⚡️ Вышел ARC-AGI-3

Это новая и наиболее продвинутая версия одного из самых известных бенчмарков в мире. На сей раз тест предназначен специально для агентов и состоит из игр.

Фишка – в интерактивности. Обычно все бенчмарки статичные, а тут акцент смещён на динамические среды, которые требуют не просто распознавания паттернов, а именно настоящего усвоения новых правил и навыков прямо по ходу игры.

Каждая игра в бенчмарке устроена так, что ее правила, цели и механики неизвестны участнику заранее. Человек справляется с такими задачками легко, с абсолютным скором 100%. А вот ИИ с треском проваливается: даже самые свежие модели выбивают чистый 0.

Ключевые проверяемые способности — самостоятельное исследование, быстрое обучение, адаптация к новым ситуациям, умение планировать и гибко перестраиваться. В общем, все то, что делает интеллект человека по-настоящему сильным.

Учитывается, кстати, не только успешное прохождение, но и то, сколько шагов понадобилось игроку. Это напрямую позволяет измерить скорость приобретения новых навыков – считай еще одна прокси-метрика.

Сейчас ARC-AGI-3 в стадии превью. Пока опубликована малая часть финального набора, и разработчики ждут фидбэка от комьюнити.

Кстати, вы тоже можете проверить свои силы: создатели снова сделали специальный лендинг для людей, где каждый может попробовать решить задачки из бенчмарка aka поиграть в игры. Выглядит как то, на что можно залипнуть на всю субботу ✌️