1. ARC-AGI 2 — Opus 4.5 обошел Gemini 3 Pro в тесте на абстрактное мышление. Тут я подробно писал про тест и результаты Google. Так вот, Opus 4.5 очень близко подошел к человеческой планке.
2. SWE-Bench — тест на кодера. Тот самый, где дают реальные задачи и нейронка сама работает с GitHub. Результат Opus 4.5 — 80%. Новый абсолютный рекорд. Для контекста скорости прогресса: 11 месяцев назад GPT-o1 прошла тест на 40% и это бы прорыв 🙃
Давайте теперь простым языком. Это реально сложные тесты. Это не история ради хайпа и они намеренно задуманы ломать самые сильные нейронки. Но… больше не ломают.
Цитата исследователя Anthropic (Claude):
Думаю, в первой половине следующего года, мы добьем кодерство. Уже не будет смысла перепроверять Claude, как мы не перепроверяем компилятор. Мне самому страшно, что будет дальше. Но кроме кода есть ещё много задач.
Анонимный и суперавторитетный инсайдер Jimmy Apples уже не первый раз повторяет одну мысль именно после релизов Claude:
Athropic даже сдерживают себя, чтобы с новым релизом скачок не оказался слишком большим.
Следующий год будет очень интересным 📈
Пет-проект