(!) Подробный тех репорт про обучение T-lite/T-pro 🚀

Выложили ну очень подробный репорт про обучение наших моделей.

Простой файнтюн не решает наши задачи по адаптации моделей. Нам нужно обучать модель новым скиллам и глубоко адаптировать под доменные зоны и под язык.

Пришлось придумать гибридный подход: используются веса opensource модели, и потом мы повторяем почти все стадии обучения, добавляя правильные данные.

Много про подход и хаки. Очень много про данные: правильный микс данных оказался ключом к успеху. Отдельно рассказали про использования кода в датамиксе, много интересных штук. Например, мы перевели часть комментариев в коде на русский язык.

Фактически, это рецепт, как вам самим можно глубоко адаптировать готовые базовые модели под свои задачи. Используйте!

Горжусь ребятами 🥳 и результатами и подходом к шерингу деталей работы

Напомню, модели в опенсорсе, найти можно тут