OpenAI представила новый бенчмарк GDPval для тестирования производительности ИИ-моделей в сравнении с человеческими профессионалами из разных отраслей. Компания заявила, что GPT-5 и Claude Opus 4.1 от Anthropic приближаются к качеству работы отраслевых экспертов.

В первой версии GDPval-v0 опытные профессионалы сравнивали отчеты, созданные ИИ, с работами других специалистов и выбирали лучший вариант. Например, инвестиционным банкирам предлагалось создать анализ конкурентов в сфере доставки последней мили и сравнить с ИИ-отчетами. OpenAI подсчитывала процент побед ИИ-модели против человеческих работ по всем 44 профессиям.
Звучит очень впечатляюще, только вот сегодня ночью на запрос "ходульный бентозавр" Джипити выдал вместо рыбы-треноги ответ о вымышленном динозавре. Или у нас и человеческие эксперты нынче такие же?