Выложили пэйпер про T-pro 2.0

До-тренировка опенсорса на другой язык дает лучше результат на этом языке и значительно эффективней в инференсе за счет локального токенизатора и оптимизированного спекулятивного декодера.

Все расписали в репорте: архитектура, датамикс, подход к обучению, токенизации и прочее.

Если вы захотите повторить наш опыт, можете пользоваться рецептом.

Поставьте нам лайкосов на Hugging Face 🤗

HF | arXiv