💳 Руководитель лаборатории T-Bank AI Research Даниил Гаврилов в эксклюзивном интервью НЦРИИ рассказал об особенностях новой нейросети для работы с длинными текстами

❓Какую главную проблему решает ваша разработка?

Она открывает возможность использования LLM, применяя для этого меньше ресурсов. Это важно, потому что часто бывает так, что существующих ресурсов недостаточно, чтобы использовать самые передовые LLM. Конкретные продуктовые применения нашей нейросети ограничены только способностями самих LLM.

❓В чем отечественная разработка отличается от решения ученых Стэнфордского университета?

Исследователи Стэнфорда первыми начали смотреть на способности эффективных архитектур и работать с контекстным обучением. Но в эффективных архитектурах, даже после разработок Стэнфорда, есть потери в качестве. Мы вносили изменения в их конкретную архитектуру, меняя ее устройство, и добились лучшего качества в контекстном обучении.

❓В чем новая модель Т-Банка "ReBased" превосходит аналогичные модели?

Эффективность нейросети "ReBased", по сравнению с моделью "Transformer"*, растет пропорционально увеличению объема обрабатываемого текста. Так, для относительно коротких текстов (не более 1000 токенов), прирост может быть 4х кратным, а для длинных (более 4000 токенов) он будет уже 14х кратным.

❓Заменит ли модель от Т-Банка "Transformer"?

Эффективные архитектуры все еще не целиком догоняют Трансформер в контекстном обучении, поэтому нет, назвать ее прямым заменителем нельзя. Пока нет ничего, что однозначно превзошло бы его. Как правило, все эффективные модели сегодня, включая нашу, это компромисс между качеством и вычислительными затратами.

*Transformer – вид нейросетевой архитектуры, который хорошо подходит для обработки последовательностей данных и использовалась для создания больших языковых моделей ChatGPT, GPT-4 и LLama. Transformer была представлена в 2017 году в статье "Attention Is All You Need" и была разработана исследователями из Google Brain.

🇷🇺 Национальный центр развития искусственного интеллекта при Правительстве РФ

#мнениеэкспертов #интервью