Трансформер на 75 млн параметров взял 44% на ARC-AGI-1 за 67 центов

ARC-AGI много лет был аргументом в спорах «умеют ли нейросети рассуждать»: тысяча задач на цветных сетках, у каждой своё правило, запомнить ответы нельзя. Исследователь Митхил Вакде обучил маленький трансформер с нуля и получил 44% на публичном eval-наборе. Полтора часа на одной RTX 5090, аренда карты обошлась примерно в $0,67.

Трюк в обучении во время теста: модель дообучается на самих задачах при скрытых ответах, а для двумерных сеток используются обучаемые 3D RoPE. Самое честное место поста: когда автор убрал обучение на входных токенах, результат вырос с 40% до 44%, и он пишет «я не понимаю почему». На ARC-2 та же модель даёт 7%.

Код открыт под MIT, эксперимент можно повторить на игровой видеокарте. Что именно измеряет бенчмарк после такого результата, обсуждаем на сайте.