Интересная задача для ML-специалистов

Центр Big Data МТС организовал состязания для специалистов по машинному обучению. Участникам было необходимо по обезличенным данным определить возраст интернет-пользователей.

Среди данных, которые могли использовать IT-специалисты на соревнованиях, — регион, населенный пункт, производитель, модель, тип, цена и операционная система устройства, домен, с которого пришел рекламный запрос, дата, время, число запросов и ID пользователя.

Директор центра Big Data МТС Виктор Кантор отметил, что его команде было интересно было посмотреть на применение новых трансформерных архитектур, которые сейчас используются везде, в том числе в нашумевшем ChatGPT. По итогам мероприятия было предложено множество интересных идей, которые можно будет попробовать использовать в продакшен-среде.

В мероприятии приняли участие более 2,2 тыс. ML-специалистов. Они объединились в 500 команд и представили 7 тыс. решений задачи.

В итоге победил ML-специалист Владимир Баженов, который преобразовывал словесные данные в набор чисел с помощью режима обучения Self-Supervised Learning. Чтобы определить, насколько хорошо работает модель, участник использовал функцию потерь Additive Margin Softmax. Такой подход позволил объединять сайты, которые посещал пользователь, в группы и достаточно точно определять его возраст.