Сорев от ВТБ

Заглянул посмотреть соревнование ВТБ, которое они запустили перед своей конференцией Data Fusion. Там предлагают три задачи:

- Сделать классификатор названий товаров по категорийному дереву
- Прогнозирование неизвестных временных рядов по клиенту-юрику
- Предсказание медианных остатков на счету клиента

Впечатления смешанные

Почему сорев ВТБ - это в целом хорошо

В отличии от международных площадок соревнований, российские соревнования посвящены прикладным задачам. Если посмотреть Kaggle, там один конкурс страннее другого. Все ориентировано на рисерч и узконаправленный Deep Learning: то предсказать последовательность РНК, то научиться решать олимпиадные задачи по математике. Откровенно говоря, большинство ML инженеров занимаются совсем другим. Поэтому ВТБ спасибо за то, что поддерживает поток соревнований с задачами, похожими на настоящие.

Качество задач - не оч

Задача, которую я взял смотреть меня расстроила. Я пошел классифицировать названия товаров и обнаружил, что категорийное дерево в задаче - хуже некуда. Оно просто нереалистично плохое, словно его нагенерили с помощью LLM.

Да, задача ориентирована на плохие данные. Ну пусть разметка будет плохая, пусть классы представлены неравномерно. Но зачем же матчить данные на плохое категорийное дерево?!? Это бессмыслица какая-то. Да и зачем вообще ВТБ матчить названия товаров? Или они маркетплейс покупают?

Развлекался сборкой образа

Я уже думал бросить соревнование из-за отсутствия практического смысла, но мне почему-то захотелось собрать решение с векторным поиском по e5-multilingual эмбеддингам со своим докер образом. Да, там можно в решение дать свой докер образ. Бейзлайн я сделал минут за 30, но со сборкой провозился много часов. Пришлось разобраться как собирать образы с CUDA на mac m1. А еще docker desktop у меня распознается как malware и пришлось ставить опенсорсный аналог - Colima.

Итоге все заработало. Прямолинейный векторный поиск вообще не прям чтобы круто работает, но скор бейзлайна улучшил в 2 раза. Я доволен.

Поделитесь реакциями, что думаете о конфе и сореве ВТБ: круто 🔥, сомнительно 🌚