Нормальный такой бенчмарк сделали ребята из команды Vox Deorum

Он называется - CivBench

LLM моделям дают играть в цивилизацию и потом оценивают их.

модели играют не случайные сценарии, а три фиксированных старта с восемью цивилизациями: две управляются тестируемой LLM, остальные шесть — стандартным ИИ модификации Vox Populi. Результаты показывают, что GLM-5.3 демонстрирует лучшие показатели, опережая Opus-5.5, при этом Qwen-3.8-27B неожиданно хорошо справляется с задачей, предлагая конкурентоспособную стратегию при значительно меньшей сложности.

Ключевая особенность этого бенчмарка заключается в проверке долгосрочного планирования, где последствия решений проявляются лишь спустя 50–100 ходов. LLM отвечает за высокий уровень стратегии, тогда как тактическое исполнение остается на базе штатного ИИ игры. На данный момент авторы тестируют GPT-6.1-Sol и GPT-6-Astra, а также поддерживают локальные серверы и существующие подписки на Claude или Codex. Стоимость запуска одной партии через API составляет около 0,5 доллара на игрока, что делает эксперименты доступными. Пользователи могут скачать open-source проект Vox Deorum, чтобы сыграть против LLM-оппонентов, посмотреть полные реплеи или даже чатиться с ними во время партии.

Ни одна модель пока не добилась победы в завоевание, что связано с проблемами штатного тактического ИИ при амфибийных штурмах. Авторы планируют использовать специализированные модели для улучшения тактики, поскольку Civ V является 32-битным и сложным для интеграции. Также обсуждается возможность переноса бенчмарка на Civilization IV, где ИИ считается более сложным, и упоминается, что Gemma 4 показала результаты ниже ожидаемых. Для глубокого анализа методологии стоит обратиться к статьям авторов в COLM 2026 и EMNLP 2026, где также рассматривается этический аспект принятия решений о ядерных ударах.