Думать предложениями

Вчера выпустили статью на Хабре про наши исследования в области авторегрессионной генерации предложений — Sonar LLM. Модель предсказывает эмбеддинг следующего предложения, но обучается через стандартную потокенную кросс‑энтропию через замороженный SONAR‑декодер. В итоге модель обрабатывает не тысячи токенов, а десятки токенов предложений💪

По формальным метрикам удалось немного, но превзойти vanilla LLM, только генеративная метрика на базе GPT-4o отдала пальму первенства классическим моделям.

Детали в статье на Хабре👇
https://habr.com/ru/companies/airi/articles/941960/