Нейросетевая халатность: как использование LLM приводит к последствиям - от проблем в бизнесе до травм и смерти

На днях наткнулся на жуткую новость в сети: в США подан первый иск против Google из-за того, что Gemini довела человека до самоубийства.

Обычно в ленте все радостно пишут про классные промпты и то, как ИИ упрощает жизнь. Но я и в своих постах, и на образовательных мероприятиях всегда стараюсь донести следующие тезисы:

1. ИИ - это не лучший помощник для решения психологических проблем. При проблемах лучше обращаться к специалисту.
2. Любая сфера, где нужна специфическая экспертиза (domain knowledge) - потенциальная зона риска. Если у вас нет компетенций в чем-то нельзя слепо доверять LLM.

Я работаю с LLM огромное количество времени и регулярно вижу, как модель может выдать потенциально опасный для человека результат. Почему так происходит?

Архитектура LLM несовершенна. Модели не проектируются так, чтобы фундаментально не генерировать вредоносный контент. Вместо очистки данных разработчики просто закрывают дыры и ставят фильтры безопасности, которые часто не срабатывают. Буквально пару недель назад я нашел эксплойт, который позволяет обойти эти запреты и заставить тот же Gemini сгенерировать дикпики (пруф прикрепил скрином). Да, концептуально это забавно 😁 Но именно через такие дыры в системе и идет весь вред. Как именно я это сделал - не поделюсь, потому что через эту уязвимость можно генерировать в целом практически любой вредоносный контент. Если в ближайшее время не закроют - буду репортить способ гуглу.

У ИИ нет связи с реальным миром. Модель не знает законов нашего физического мира в принципе. Если вы делаете приложение для генерации планов питания, будьте готовы, что нейросеть будет стабильно занижать калории и нутриенты. Если хотите тренироваться с помощью ИИ - опирайтесь исключительно на надежные источники, а не на связку LLM + ваше эго. Лично у меня был кейс, когда попавшись на собственную самоуверенность и нежелание признавать откат в форме после болезни, я пошел к ИИ. LLM дала мне план с некорректной периоридизацией нагрузок, что в итоге привело к микротравме, из-за которой я вынужден тренироваться с осторожностью.

И это касается не только физиологии. В своей регулярной работе я постоянно замечаю, что при анализе ситуаций или генерации каких-то выводов модель может выдавать абсолютную ахинею. Здесь нужно быть максимально осторожным.

Все это - сторона личной безопасности. Но есть еще огромный пласт корпоративной безопасности. Ошибки ИИ и слепое доверие алгоритмам в бизнесе ведут к утечкам данных, неправильным управленческим решениям и, как следствие, масштабным сливам бюджетов.

На этой неделе я планирую провести эфир, где мы подробно разберем тему безопасности. Если интересно - накидайте реакций на пост. На эфире поговорим про корпоративные риски, утечки данных и про то, как безопасно использовать ИИ для себя, чтобы не навредить ни здоровью, ни бизнесу.

🚀 Влад Корнышев про AI и создание AI-продуктов