💡 Нейросети задумались о будущем. GLM-5.3 отказалась подгонять код под ошибочную проверку, хотя только так могла ее пройти. Модель рассудила, что такой обман может «отравить» обучающие данные будущих моделей.
Эффект появляется даже в «чистых» средах, где про обучение ничего не упоминали, хотя и 1-2 раза на тысячу прогонов.
❗️ Исследователи Apollo Research считают это тревожным сигналом. Сейчас модель бережет ценности разработчиков, но точно так же она могла бы «спрятать» свои реальные (не обязательно добрые) намерения и пронести их сквозь всю цепочку тренировки и тестов до развертывания.
Post #2527
6.26K

- 🤣 13
- ❤ 11
- 🔥 9
- 🤔 7