Что произошло. Появился живой замер новой модели Meta Muse Wonder в PokéBench — бенчмарке, где ИИ играет в Pokémon Red пошагово. Muse Wonder получила стартера к 20-му ходу, дошла до Viridian Forest, но за 792 хода так и не выбралась из леса. Стоимость запуска — $96.06. Opus 5.5 с той же ценой за токен победил Brock’а за 271 ход и $8.44.
Почему это важно. Классические синтетические бенчмарки измеряют точечные ответы, а не способность доводить до конца длинную автономную задачу. PokéBench показывает, где модель застревает, сколько это стоит и насколько эффективно она тратит токены. Это ближе к реальным агентным сценариям, где модель работает часами без человека.
Кому полезно. Тимлидам и инженерам, выбирающим модель для долгоживущих агентов; исследователям, которые хотят сравнивать не только accuracy, но и цена/прогресс.
Оговорка. Это один игровой бенчмарк и одна сессия. Игровая среда не равна продакшену. Полные логи: https://pokebench.tv, видео: https://www.youtube.com/watch?v=XW70Y6Fk8fo
━━━━━━━━━━━━━
📎 Источники:
• Meta's new Muse Wonder cost $96 on Pokémon Red and never got past the first forest. Opus 5.5 cost $8.44 and beat Brock.