🥈Baseline удержал в топ 2 с первого сабмита🔝

🤡Уже не в первом соревновании с текстом побеждаю с этой идеей, хотя на питче вызывает недоумение.

🗑Часто вижу в качестве базового решения извлечение фичей из текста руками или CountVectorizer'ом и обучением бустинга. А продвинутый пайплайн представляет из себя новый BERT от Сбера с линейным слоем.

📍Хочется как-то объединить подход с фичами (особенно, когда в таблице не только текст) с сильными трансформерами, "понимающими" текст.

📌Давайте пропустим текст через энкодер предобученного трансформера, last_hidden выход через разные пулинги и объединим.
📌А что нам мешает взять таких несколько? В эпоху HuggingFace эта идея ограничена лишь объëмом ОЗУ.
📌По итогу получили много фичей (мой рекорд >30k), обучим на этом CatBoost и всё это без больших затрат GPU


@danasone_blog