Ещё вчера был классный доклад про рекурсивные архитектуры

Есть ряд статей про такие архитектуры — HRM, TRM и URM (гуглим). Суть в том, что небольшая сеть, переиспользуя свои собственные веса, может многократно уточнять решение какой-то задачи, прежде чем выдать ответ.

Оказалось, что это хорошо ложится на логические задачи типа задач с ограничениями (судоку и другие варианты латинских квадратов, какуро и т.п.), лабиринтов, автоматов типа игры в жизнь и в целом задач с абстрактным рассуждением (ARC-AGI бенчмарк).

Из минусов то, что не получается загнать все такие таски в одну сеть, надо обучать под конкретную задачу. Из плюсов то, что одна модель может на своей задаче давать качество лучше любой LLM, быть сильно дешевле, быстрее и т.д.

Ребята собрали свою архитектуру на этой базе — STARM (Single Task Algorithmic Reasoning Models), оптимизировали её, получили SOTA качество. Выложили код.

👉 Хабр | GitHub