маленькая модель за 67 центов набрала на ARC-AGI-1 столько же, сколько системы за $158

Исследователь Митхил Вакде обучил с нуля трансформер на 75 млн параметров и получил 44% на публичном eval ARC-AGI-1, бенчмарке из тысячи задач на цветных сетках, где у каждой своё правило. Обучение заняло полтора часа на одной RTX 5090; аренду карты автор оценивает в $0,67. На графике рядом TRM с теми же 44% за $158.

Метод: модель дообучается на самих задачах при скрытых ответах, для сеток используются обучаемые 3D RoPE. Отказ от обучения на входных токенах поднял результат с 40% до 44%, и автор честно пишет, что не понимает почему. На ARC-2 та же модель даёт 7%.

Код под MIT, эксперимент воспроизводим на игровой видеокарте. Ограничения замера и что это говорит о бенчмарке, на сайте.