Свежий ресёрч от ребят из Cohere Labs, MIT и Stanford вскрыл интересную деталь: популярная площадка для сравнения AI-моделей — LMArena — оказывается, немного подкручивает свои результаты в пользу больших игроков.

Как это делается?
Google, Meta и OpenAI, не особо светясь, гоняют на Arena кучу разных версий своих моделей. Потом публично показывают только те, которые зашли лучше всего.
Ещё круче: Google и OpenAI вместе занимают больше 60% всех тестов. Мелкие открытые модели почти не видят живых юзеров. А 205 моделей вообще незаметно удалили с платформы — и почти все открытые.
Но самое вкусное — Arena cливает данные о тестах. На этих данных можно натренироваться специально под её задачи и показать классные цифры. Это уже не проверка способностей, а соревнование кто хитрее «перетренируется».

LMArena, конечно, клянётся, что всё честно. Но после эпичного фейла с Llama 4 Maverick уже никто ничему не верит.

И что?

Для фаундеров и инвесторов это не просто сплетня. Если вы выбираете модели по рейтингу — осторожно. Возможно, вы вкладываете не в лучший ИИ, а в лучший маркетинг.

А вообще, вся индустрия сейчас держится на доверии к рейтингу и репутации. И это доверие можно слить очень быстро.

Следующая большая ниша для инвестиций — прозрачные платформы оценки ИИ, а не те, кто тихо подыгрывают гигантам.