Все эти MMLU и HumanEval - детский сад по сравнению с реальной жизнью. Если мы хотим доказать существование искусственного интеллекта, нам нужен суровый отечественный ЖКХ-бенчмарк. Суть проста: скармливаешь квитанции за полгода и несколько фотографий счетчиков, сделанных на тапок где-то в темном коробе за унитазом, и просишь разобраться с правильностью начисления платежей. Никаким vision-тестам такой треш и не снился: тут вам и красное-черное, и неверный угол, да еще и некоторые цифры стыдливо застыли в промежуточном значении.

Дальше переходим к math-части, и тут тоже все жестко: бухгалтер ТСЖ производит начисления как Боги на душу положат, а некоторые позиции явно привязаны к фазам Луны. И как вишенка на торте - мистические строки «недопоставка» и «корректировка», которые искажают пространство и здравый смысл.

Я прогнал несколько моделек через это чистилище:

⬖ Fable 5 - фото распознал, математику посчитал верно, но сделал неверный итоговый вывод.
⬖ Opus 5 - фото распознал, но в расчетах намотал целый ком галлюцинаций, окончательно сдался и посоветовал ножками дойти до ТСЖ.
⬖ Sonnet 5 - фото интерпретировал неверно и предсказуемо посыпался в вычислениях дальше.
⬖ Gemini 3.1 Pro - фото распознал, но в расчетах поплыл и также посоветовал обратиться за разъяснениями к ТСЖ.
⬖ Gemini 3.6 Flash - фото распознал отлично, но ошибся в расчетах.

Итоговый счет: ЖКХ - ИИ 5:0, всухую. Теперь я думаю, что Skynet решит уничтожить человечество только потому, что не сможет понять, откуда взялись пени в 12 рублей при регулярной переплате.

#пятничное