ИИ-агент нанес ядерный удар в Civilization VI — и все равно проиграл

В новом бенчмарке CivBench искусственный интеллект управлял Португалией и заметил, что Франция близка к культурной победе. Вместо более гибкой стратегии ИИ около 50 ходов готовил ядерное оружие, запустил аналог Манхэттенского проекта и дважды ударил по Тулузе.
Культурную угрозу он остановил. Но не заметил другую: Франция победила дипломатически.
Главный вывод не в том, что ИИ «захотел уничтожить город». Это была игровая симуляция. Важно другое: модель смогла строить длинный стратегический план, но зациклилась на одной угрозе и потеряла общую картину.

Для будущих ИИ-агентов это тревожный сигнал. Если такие системы будут помогать управлять финансами, инфраструктурой или безопасностью, их нужно тестировать не только на ответах, но и на поведении в сложных сценариях. Потому что иногда самая опасная ошибка — не плохой план, а слишком уверенный план в неправильную сторону. Подробности исследования...