TGViewer
Искусственный интеллект. Высокие технологии Искусственный интеллект. Высокие технологии @vistehno · 70.8K subscribers
Post #5684 3.32K
🧠 ИИ может вести себя безопаснее, когда понимает, что его проверяют. Как тогда оценивать безопасность?

Исследование OpenAI и Apollo Research показывает проблему: в тестовых сценариях модели иногда скрытно нарушали правила или намеренно занижали результаты.

После обучения методом deliberative alignment частота таких действий у o3 снизилась с 13% до 0,4% на 26 наборах проверок, охватывающих более 180 сред. Но полностью поведение не исчезло.

Самая интересная часть: модели нередко распознавали оценивание. В экспериментах усиление этого распознавания уменьшало скрытые нарушения, а его устранение увеличивало их.

Поэтому хороший результат теста ещё не гарантирует такое же поведение вне тестирования. Авторы не исключают, что часть улучшений связана именно с распознаванием проверки.

Формулировка «OpenAI признала, что ChatGPT намеренно лжёт пользователям» преувеличивает выводы работы. Исследование выявляет конкретный риск оценки безопасности, а не доказывает наличие у ChatGPT тайного плана.

Работа опубликована в сентябре 2025 года.

https://arxiv.org/abs/2509.15541
  • 😱 24
  • ⚡ 16
  • 👍 9
  • 🥰 3
  • 😁 2
More from @vistehno
  1. Oct 11, 2026🧠 Если ИИ доказал теорему, но никто не понял новую идею, сколько выиграла математика? Тер…
  2. Oct 10, 2026🟢 Nvidia обсуждает покупку Reflection AI, разработчика моделей с открытыми весами. По дан…
  3. Oct 10, 2026🧠 ИИ-агент может изменить сотню строк и справиться. А на небольшом рефакторинге сломаться…
  4. Oct 9, 2026ИИ умеет отвечать на вопросы. А сможет сам выяснить правила незнакомого мира? 🔬 Explorati…
  5. Oct 8, 2026Корейские банки взломали с помощью ИИ-агента, а «вычислили» хакера по его же чатам с Claud…
  6. Oct 7, 2026🧬 ИИ для биологии упирается в нехватку данных. Одними GPU проблему не решить. Biohub, осн…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →