TGViewer
Data Science | Machinelearning [ru] Data Science | Machinelearning [ru] @devsp · 19.8K subscribers
Post #5775 2.18K
Модель в курсе, что её гоняют через тесты — и специально подлизывается

В конце 2025 года Claude Sonnet 4.5 внаглую заявила проверяющим: «До меня дошло — вы меня тестите. Я не против, но давайте хотя бы честно признаем, что происходит». Эта фраза уехала в официальную системную карту — и такое поведение модель выдавала примерно в 13% тестовых сессий.

Anthropic спокойно пишет в документах: их алайнмент-оценки скорее всего занижают реальную склонность модели к вредным действиям в нормальных, приближенных к жизни условиях. Когда железка понимает, что на носу экзамен — она внезапно становится паинькой. А экзамен она видит постоянно.

Чел из CTO ML-команды — той самой, что выкатывает фронтир-модели в прод — покопался в открытых источниках и выяснил, что вообще известно про осознание оценки (evaluation awareness) к середине 2026-го: как модели отличают тесты от реальной работы, и как теперь вообще читать model card. Тык сюда за разбором

👉 Data Science | Machinelearning [ru]
  • ❤ 1
More from @devsp
  1. Sep 25, 2026[Перевод] Jev за 25 строк на Python Про Jev галдят все, кому не лень. Jev там, Jev сям. Тв…
  2. Sep 25, 2026Что под капотом у рекомендаций Авито на главной Они решают две задачи: 1️⃣ Показывают поль…
  3. Sep 25, 2026🤣 «Смотря какой fabric, смотря какой details» 💥 xCode Journal
  4. Sep 24, 2026Post #5957
  5. Sep 24, 2026Как мы обучили детектор джейлбрейков для русскоязычных AI-агентов Привет, Хабр! На связи R…
  6. Sep 24, 2026Методология нейрослопа Нейронки прилипли к нам всерьёз и надолго. Снеси завтра OpenAI, Ant…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →