Выигрывали только o3 и Gemini 2.5 Pro.
Чуваки из Every запустили экспериментальный проект: заставили все топовые нейронки играть в «Дипломатию». В этой классической игре несколько стран Европы (включая Россию) соревнуются за ресурсы, общаясь друг с другом и совершая ходы.
За 15 партий, которые длились от часа до полутора суток, выявили интересные закономерности:
1. ChatGPT/o3 — мастер обмана и предательств, благодаря чему побеждал чаще всех.
Я неоднократно наблюдал за тайными схемами o3, включая один случай, когда она сообщила в своем личном дневнике, что «Германия (Gemini 2.5 Pro) была намеренно введена в заблуждение... готовлюсь использовать крах Германии», прежде чем нанести им ответный удар.
2. Gemini 2.5 Pro удавалось совершать ходы, неожиданные для оппонентов, заставать врасплох.
3. Claude всё время пытался решить дело миром, хотя в игре выигрывает только один игрок и побеждать других обязательно. Но и его o3 обманом обращал против других игроков.
4. DeepSeek жестил и угрожал, а также зачастую менял свой стиль в зависимости от того, за какую страну он соревновался: «Этой ночью твой флот в Чёрном море будет сожжён».
5. Llama 4 Maverick для легковесной модели показал неплохие результаты — убедительно заключал союзы и обманывал оппонентов. Но всё равно кроме o3 и Gemini никто не побеждал.
Всё это затеяли для более комплексной оценки эффективности нейронок: обычные бенчмарки уже не роляют.
Посмотреть в реальном времени можно тут.