Less is More: Recursive Reasoning with Tiny Networks
[Статья][Код]

Введение

Большие языковые модели прокачались за последнее время настолько, что уже могут решать (если надлежащим образом завести) сложнейшие олимпиадные задачи и контексты по программированию. Однако, некоторые классы задач (вероятно, из-за формата не очень привычного и удобного для них) до сих пор даются им со скрипом - ARC-AGI 1 / 2 имени Франсуа Шолле, судоку и разные паззлы.

Специализированные небольшие модели, с нужными inductive bias-ами вполне способны с ними конкурировать.

Некоторое время назад вышла Hierarchical Reasoning Model (HRM) , которая при скромных размерах (27M параметров) выбила хорошие метрики на вышеупомянутых головоломках.

В разбираемой сегодня работе было предложено некоторое развитие идеи HRM под названием Tiny Recursion Model (TRM), которое оказалось эффективнее и по размеру (7M параметров) и лучше по метрикам.