Внедрить ИИ в бигтех НЕРЕАЛЬНО (сложно)

Когда разрабатывал последний проект с ИИ-агентами, акцент на безопасности был самым важным. Проект находился во внутреннем контуре и безопасность данных превыше всего. Все сервисы либо внутренние или самописные решения, все данные уходящие в LLM должны маскироваться/анонимизироваться. Проект проходил обязательную проверку у архитектора, СБ и юристов. И я конкретно показывал архитектору и СБ какие сервисы мы используем чтобы данные никуда не ушли.

📇Представьте большую компанию связанную с телекоммуникациями, например ТМС. Сколько там данных? Сколько там отделов? Тысяча отделов и сотни тысяч терабайт данных. Все это должно также проходить фильтр, чтобы данные не выходили из внутреннего контура. Здесь просто не подставишь ключик от LLM и пользуйся. Очень много сил, времени нужно уделить чтобы внедрить ИИ в большую компанию.

📊В небольшой компании с некритичными данными всё иначе. Зарегистрировал аккаунт, вставил API-ключ, написал пару промптов. Через день ИИ-ассистент уже отвечает клиентам. Никаких юристов, никаких согласований, никакого отдела безопасности. Просто работает.

🫥У меня на проекте был отдельный сервис анонимизации который обрабатывал данные отдельно перед тем как отправиться в LLM.
Данные маскировались подобным образом:
Костик → [PERSON_1]
kostya@gmail.com -> token_2fsaf5
+7999999999 -> +7999*****999
И в результате в LLM отправялось «[PERSON_1] из [ORG_1] отправил [EMAIL_1]»

LLM видит только анонимизированный текст и работает с плейсхолдерами. Ответ тоже содержит плейсхолдеры, которые затем при необходимости заменяются обратно.
Такой сервис можно назвать LLM Gateway.

Внедрение ИИ в большой ентерпрайз это не про промпты. Это про архитектуру, безопасность и доверие к системе.
LLM никогда не увидит имя реального клиента. Только [PERSON_1]. И это важно понимать и обрабатывать.