Яндекс выпустил YandexGPT 5 Pro
Ребята написали подробную статью на Habr про реализацию. И даже выложили 8b претрейн в опенсорс.
Внимательный читатель может прочитать что ребята решили все-таки бросить затею обучать модель с нуля и инициализируют свой пайплайн весами от Qwen-2.5. Ну и правильно, бессмысленная трата денег. upd: только для большой модели
Замечу тут что это не файнтюн, ребята делают полный цикл обучения модели, но стартуют претрен этап не с нулевых весов. Собственно, похожий подход применяли мы в своих моделях T-Lite / T-Pro.
По выложенным бенчмаркам какие-то прям выводы делать сложно - вроде модели хорошие. Тут главное чтобы в продуктах классно работало (Алиса поумнеет наконец?) и b2b-пользователи довольны были.
Поздравляем!
Post #199
5.35K
- ❤ 58
- 🔥 28
- 🤡 1