StarCraft как бенчмарк для ИИ-моделей

🤖 Brood War Bench — это стресс-тест для агентных моделей, проверяющий их способность действовать в реальном времени, поскольку среда не ставится на паузу, пока модель «думает». Бенчмарк представляет собой круговой турнир, где 19 конфигураций моделей (разные модели и уровни усилий) сражаются друг с другом с помощью автоматизированной системы на виртуальных машинах Freestyle.

👶 Ни одна из протестированных ИИ не продемонстрировала игру выше начального уровня. Хотя Codex Astra является явным лидером, стабильно побеждая другие модели.

🏆 Таблица лидеров (топ-5):
1️⃣ Codex Astra / xhigh, побед 18-0 (стоимость за 1 игру $10.54)
2️⃣ Codex Astra / medium, побед 16-2 ($15.11)
3️⃣ Claude Fable 15-3 ($12.24)
4️⃣ Codex Astra / low 14-4 ($21.07)
5️⃣ Codex 5.6 Sol / medium 13-5 ($5.12)

👍 Claude Fable наиболее добросовестно выполнял многоэтапные стратегии, иногда доходя до Lair/Spire/Mutalisks или более высоких технологий перед победой. Grok 4.6 часто застревал в долгих размышлениях, выдавая очень мало команд. Большинство матчей заканчивалось в первые 5-15 минут.

🙌 Горизонт событий