Результаты решения теста ARC Challenge нейросетями, 2019–2025 (e/acc)

ARC Challenge (Abstraction and Reasoning Corpus Challenge) оценивает способность ИИ к абстрактному мышлению и обобщению, приближённую к человеческому. Иными ловами, этот тест позволяет оценить, насколько близко нейросеть приблизилась к AGI. На картинках — примеры задач из теста

На диаграмме указан % решения этого теста сильнейшей на тот момент языковой моделью. Примечательно, что с декабря 2024 года рост выглядит экспоненциально

Другие наши публикации о том, как ИИ проходят тесты:
— Политическая ориентация 24 крупнейших языковых моделей
— Как хорошо справляются с тестами DeepSeek-R1 и ChatGPT o1
— Как менялись возможности систем ИИ по распознаванию речи и изображений относительно способностей человека, 1998–2020
— Как развивалась индустрия генеративного ИИ, 2014–2023