Уперлись с командой в очень необычный кейс ...

Вот у нас есть три предобученные модели, на тесте эти модели дают метрику 0.90, 0.80 и 0.70. (чем больше, тем лучше)

Мы решили построить и отвалидировать ансамбль из трех моделей на трейне. Подали прогнозы моделей как фичи + дополнительные фичи в бустинг. Как итог, бустинг отранжировал выходы моделей по важности абсолютно противоположно тесту. Более того, на тесте ансамбль дал значение метрики r ~ 0.75 😳 Хотя если тупо усреднить с весами, дает >0.9

Вот думаем, что делать) Как смешивать? Как выбить мета моделью больше 0.9? Метрика на тесте - корреляция Спирмена.

Из идей, навесить на фичи веса, чтоб бустинг через "не хочу" ранжировал фичи в соответствии с информацией с теста.

#Kaggle