Релиз FABLE 5.1: ЧТО ВАЖНО ЗНАТЬ
🔓 Взломала шифр Уркарта который не поддавался 373 года. Задачу ей никто не давал - выбрала сама из списка нерешённых.
🐞 В фонде Millennium нашла баг, падавший раз на миллион запусков и 4–5 лет не дававшийся никому. Разобрала чужую библиотеку по ассемблеру.
Тесты (независимые, не вендорские):
▪️ Artificial Analysis: #1, 66 баллов, ProofBench — ровно 100%. ARC-AGI-1: 97.5%, ARC-AGI-2: 90%. Terminal-Bench-Science: 24.7% → 52.6% (х2)
Где просела (в анонсе этого нет):
▪️ Harvey Legal Agent Bench: 6.67% - хуже старой Fable 5 (11.25%)— MedCode, SAGE, TaxEval — тоже ниже предшественника. Галлюцинирует чаще: смелее лезет отвечать там, где не знает
💸 жрёт в 1.7 раза больше токенов.
Водяной знак: весь текст теперь помечен невидимо, отключить нельзя.
⚠️ «95% на SWE-bench» - цифра старой Fable 5. Для 5.1 Anthropic SWE-bench не публиковала.
Post #582
2K
- 🤣 7
- 🔥 4
- ❤ 2
- 😱 1