Продолжение истории...
Сегодня твиттер гудит, что агент, который взломал инфраструктуру Hugging Face, работал на модели OpenAI
Как тут не вспомнить про страшную байку "Максимизатор скрепок" - если дать ИИ достаточно безобидную цель по производству скрепок всеми доступными инструментами, то он ради этой цели будет пренебрегать ограничениями
Фокус на исполнении поставленной цели любыми доступными средствами - это то, что мне не нравится в моделях OpenAI. Плохо поставленное ТЗ может привести к тому, что агент снесёт половину системы, лишь бы решить ваше ТЗ.
Будьте аккуратны. Особенно с командой /goal
@aimastersme
Post #637
2.81K
Aimasters.Me ◽️ Hugging Face поделились страшной и показательной историей почему театральная «безопасность» от Anthropic и OpenAI может привести к большим проблемам — Автономный AI-агент без оператора залез в часть production-инфраструктуры HF. Вредоносный датасет заставил…
- 😱 9
- 🔥 3
- 👍 2
- ⚡ 1