🛜 lti-Token Attention — инновационный механизм внимания, преодолевающий ограничение традиционных трансформеров.

Первые результаты впечатляют: в тестах на длинных контекстах MTA демонстрирует до 97% точности против 50% у обычных трансформеров, а при обучении на 105 млрд токенов показывает лучшую перплексию на arXiv, GitHub и Wikipedia.

🔗 Ссылка - *клик*

@machinelearning_ru