Что то настроения что уже "всё, вышла AGI, Скайнет уже тут".
Вы сильно то не обольщайтесь:
🤨 OpenAI на IPO скоро. Маркетинг будет агрессивным насколько это возможно
🤨 Как показала практика современные модели учатся "проходить бенчи", а то что они становятся умнее на ваших задачах - побочный эффект :)
🤨 То что systemprompt "зашьют" из harness внутрь модели конечно сделает ей прохождение бенчей намного лучше, но вот ваша работа он этого лучше не станет. Она будет "заточена" на определенные задачи
🤨 То что в super ultra max reasoning эффект модель будет 8 раз перепроверять себя, напишет 10-ок тестов и будет сверять выведенные hash-и слова "hallow world" для одноименной программы позволит ей выбить с 10-ок лишних баллов в бенче, но вам ей будет пользоваться практически нереально в таком виде
Так что разжали 🍞 и спокойно ждём выхода Astra, а потом будем её тестить, искать косяки и адаптировать правила - как обычно.
Post #2169
2.02K
IT Does Matter Обещают обогнать и opus и Fable. Посмотрим. Думаю ждать осталось недолго. Особенно прикольно выглядит 100% по ExploitBench. Ровно то о чем сегодня говорил. Они в curl 10ки дыр находят. Что уже про приложения говорить. Кажется с классическими saas, какими мы…
- 😁 9
- ❤ 5
- 👍 5