Компания Magic (работает над вычислениями с длинным контекстом для создания безопасного AGI в области кода) представила модель LTM-2-Mini (LTM - Long-Term Memory) с контекстным окном 100 миллионов токенов, это 10 миллионов строчек кода. По словам разработчиков, модель имеет большой потенциал для применения в разработке ПО. Например, для синтеза кода. Модели можно передать в контексте весь массив данных проекта: и уже готовый код, и документацию и библиотеки.

Кроме размера, Magic используют принципиально новый подход для оценки эффективности и обучения модели - HashHop. Вместо классической «иголки в стоге сена» - в большой текст (контекст) добавляют случайный факт («иглу») и просят модель найти его, в Magic настраивают модель на поиск пар случайных хешей или даже цепочек последовательностей хешей (Лайкните если интересно - сделаем статью, как это работает). В итоге (по утверждению Magic) модель способна к более сложным рассуждениям и удерживанию внимания в нескольких точках контекста по сравнению с традиционными моделями.

Magic заявляют, что получили $465 млн инвестиций и партнерство с Google Cloud и NVIDA. Не исключено, что учебники по RAG скоро можно будет сдать в макулатуру (такую цифровую макулатуру, где устаревшие PDF перерабатывают в байты для новых знаний). Ваш проект поместится в 10 млн. строчек кода?