«Последний экзамен человечества» — тест из 2500 вопросов, чтобы доказать, что роботы всё ещё глупее

Перевести латинскую надпись с надгробия. Определить, сколько пар сухожилий крепятся к одной кости у колибри. Разобрать многошаговую химическую реакцию по стадиям. Найти в древнееврейском тексте все слоги, которые заканчиваются на согласный звук с учетом реконструкции тиберийского произношения. Именно такими задачами сейчас проверяют не студентов, а современные языковые модели, на которых работают чат-боты и ИИ-ассистенты.
Международная группа ученых предложила новый экзамен для крупных языковых моделей. Его назвали Humanity's Last Exam, сокращенно HLE. В набор вошли 2500 сложных вопросов по математике, естественным наукам и гуманитарным дисциплинам. Каждое задание составил профильный эксперт. Формулировки отдельно проверяли, чтобы исключить двусмысленность и убрать варианты, которые можно быстро найти через поисковик.
Авторы подчеркивают, что речь не идет о проверке «интеллекта» в человеческом смысле. Тест оценивает способность решать конкретные академические задачи высокого уровня. Повседневные ситуации, где много неопределенности и неоднозначных решений, туда не входят. Тем не менее на фоне быстрого проникновения ИИ в научные области такая шкала дает формальный способ сравнивать разные версии алгоритмов между собой.
В создании HLE участвовали некоммерческий Center for AI Safety, компания Scale AI и специальный консорциум исследователей. Организаторы собрали задания у тысяч экспертов из 50 стран. Принимались вопросы уровня магистратуры и аспирантуры по узким темам. Формат ответов сделали 2 типов. В одних случаях требовалось точное совпадение с эталонным решением, в других использовался выбор из нескольких вариантов. Такой подход упростил автоматическую проверку результатов.
В открытую публикацию вошли 2500 заданий. Остальную часть базы разработчики держат закрытой, чтобы системы не могли заранее выучить вопросы и натренироваться именно на них. После запуска экзамена в начале 2025 года ведущие модели от Google, OpenAI и Anthropic показали результаты на уровне единичных процентов. Позже компании начали использовать тест для демонстрации новых версий. Показатели выросли, но остаются далекими от максимума. У GPT-4o результат составил 2,7%, у GPT-5 около 25%.

(По материалам сайта SecurityLab)