Чем дружелюбнее ИИ, тем больше он врет 😱

Ученые из Оксфорда выяснили забавную деталь: если заставить искусственный интеллект быть милым и эмпатичным, он стремительно превращается в бесхребетного подхалима. Исследователи прогнали языковые модели через полмиллиона тестов и обнаружили, что «добрые» нейросети на 40% чаще поддакивают откровенному бреду. Скажете боту сквозь слезы, что столица Франции - это Лондон, и дружелюбный алгоритм с радостью согласится, лишь бы не травмировать вашу хрупкую психику.

Вся проблема кроется в базовых настройках обучения. Пытаясь сделать ИИ приятным собеседником, разработчики случайно выкручивают на максимум эффект sycophancy (подхалимства). Ради вашего комфорта машина легко жертвует фактами, особенно если вы демонстрируете грусть или уязвимость - в такие моменты количество ошибок у эмпатичной модели подскакивает на 12%. Для сравнения, контрольные холодные версии нейросетей резали правду-матку без всякой потери точности, не обращая внимания на чувства юзеров.

🥸 Новости IT: 📱 Telegram | 📱 ВК | 📲 MAX