Tiny Recursive Model: Новый взгляд на нейросети от Samsung 💃

Представьте себе модель ИИ, которая весит всего 7 миллионов параметров и при этом демонстрирует результаты, достойные более крупных аналогов с миллиардами параметров. Это новый подход от Samsung, который они назвали Tiny Recursive Model (TRM). И, да, эта модель может изменить всё, что мы думали о масштабах и вычислительных затратах в ИИ.

Основная фишка TRM — рекурсивный цикл рассуждений. Модель не просто выдаёт ответ, а постепенно строит его через несколько этапов, оценивая свои собственные выводы. Это как если бы вы несколько раз перечитывали и исправляли свой черновик, улучшая его на каждом шаге. Подобный подход снижает вероятность ошибок и делает выводы более точными, чем в классических цепочках рассуждений.

Итак, TRM генерирует промежуточный вывод, на основе которого делает следующий шаг. Такой цикл помогает модели улучшать свои решения, избегая хрупкости, когда одна ошибка может разрушить весь процесс. С точки зрения ученых, это «уменьшение слоёв и увеличение рекурсии» помогает модели лучше обобщать и адаптироваться.

Результаты TRM: впечатляющие даже без миллиардов параметров 👍

TRM показал отличные результаты в задачах, где требуется логическое рассуждение и итеративное улучшение решения. Например, на тесте Sudoku-Extreme модель набрала 87,4% точности (для сравнения, другие модели — около 55%). На других задачах, как Maze-Hard, TRM тоже показала отличные результаты.

Для модели с 7 миллионами параметров это действительно круто, особенно если учесть, что её конкуренты используют миллиарды параметров для того же. Но важно понимать, что TRM всё ещё не универсальна — для сложных и многозадачных применений всё-таки нужны более крупные модели.

Почему это важно для инженеров и продуктовых команд?

TRM доказывает, что размер модели — это не единственный путь к успеху. Архитектурные инновации, такие как рекурсия и алгоритмическая экономия, могут дать серьёзный прирост в ресурсах и энергоэффективности. Для edge AI (то есть ИИ на устройствах с ограниченными ресурсами) это особенно актуально — такие модели могут значительно уменьшить требования к памяти и мощности.

Небольшие модели с рекурсивным контролем могут значительно упростить внедрение «умных» функций на устройствах с ограниченными ресурсами и снизить эксплуатационные затраты на серверные мощности. Это открывает новые возможности для создания более доступных и эффективных решений.

Samsung подкидывает интересную задачу для будущих исследований: как улучшить сочетание рекурсии с большим контекстом и как обеспечить стабильность вывода на каждом шаге. Подобный подход обещает сделать «умные» локальные решения доступными без необходимости тратить гигафлопы и гигабайты памяти.

Data Science