И завершая про безопасность. Не совсем вектор атаки, но несколько примеров неудачной реализации.

Любое внедрение ИИ стоит считать как интерфейс доступа. Пусть даже через текстовый чат.

Кейс 1: есть база знаний - доступ к разным страницам и разделам строго регламентирован. Решили добавить ИИ, которую "дообучили" на всем контенте базы. На вопрос "покажи финансовые показатели" ИИ радостно сливало закрытую информацию.

Кейс 2: система транскрибации звонков сохраняла текстовые расшифровки и они использовались ИИ для ответов на вопросы "какие задачи мы обсуждали вчера". Все круто, но в какой-то момент забыли, что надо проставить ограничения доступов. Круто было узнавать что обсуждали в других командах, руководство и пр. ИИ очень услужливо выдавал все что можно и нельзя.

Кейс 3: редкий случай, когда ИИ добавили в курс, чтобы он мог отвечать на вопросы по контенту. Предполагалось, что пользователи будут просить "объяснить другими словами" или "привести примеры" по сути урока. Но нашлись и те, кто спросил какие будут вопросы в финальном тесте. И да - ИИ их отдало вместе с правильными ответами.

Кейс 4 из прошлого поста - получаение доступа к курсу, которого не должно было бы быть - тоже пример скорее безалаберности.

Кейс 5: разработчики поняли, что ИИ может писать SQL запросы в БД по описанию простыми словами. Офигенно удобно для работы с людьми, которые не шарят в базах данных. Настроили доступ и автоматизацию (написанный запрос выполнялся), ИИ получала ответ и могла даже сделать выводы. Даже о безопасности подумали - попросить ИИ удалить базу можно не выйдет. Но вот попросить список всех пользователей с телефонами и адресами почт - без проблем. А потом мы гадаем как наши данные утекают.

То есть в данном случае даже "ломать" ничего не надо было, просто разработчики не отнеслись к ИИ с должным пониманием.

Все, что вы отдаете в ИИ потенциально становится доступно всем, у кого есть к ней доступ.