первые тесты, ну какого-то монстра создали Антропики, ждём чем ответят OpenAI👹

На графике GDPval-AA, который оценивает выполнение профессиональных рабочих задач, Opus получает примерно 1575 Elo за $0,85 на задачу, а лучшая показанная конфигурация Astra около 1542 Elo за $4,50. То есть оценка чуть выше, а расчётная стоимость примерно на 81% ниже. Но также обращают внимание, что на max Opus 5.5 расходует больше выходных токенов среди всех моделей.