Я все еще в чем-то лучше ИИ — вышел обновленный бенчмарк ARC-AGI-3, который показал одну из главных проблем моделей.

Логично, что ИИ легко решает то, что видели и что попало в их обучающую выборку. ARC-AGI же проверяет умение моделей учиться и адаптироваться сходу.

По итогам теста из 135+ мини-игр результаты неутешительные: люди решают почти 100% задач, а вот модели меньше 1%.

Порешать и самоутвердиться перед железяками можно тут.🍺