Вся моя лента в LinkedIn и рассылке от google по ключам забита ИИ-агентами... Очередная панацея от всех бизнесовых болезней😜 Помню подобный хайп, когда разработали IVR (голосовая интерактивная менюшка "нажмите 1, чтобы попасть куда следует").

Корпорации внедряют их повсеместно, пытаясь срезать расходы на поддержку. И иногда эти умные алгоритмы, в ответ на беспрецедентную человеческую лояльность, тихо творят такую дичь, что руководство узнаёт об этом только из судебных исков😩

😅​Самый эпичный кейс, так сказать, из последнего, как чат-бот дилерского центра Chevrolet в Калифорнии радостно согласился продать клиенту новенький Tahoe за 1 доллар. И заботливо добавил: "Это юридически обязывающее предложение, без возвратов":)
Да уж, смотрите не верните машину, которую купили за 1 доллар.

😳​Или Air Canada. Их ИИ-агент просто выдумал несуществующие правила возврата билетов и пообещал клиенту деньги. А когда дело дошло до суда, юристы авиакомпании на полном серьёзе заявили, что чат-бот - это "отдельное юридическое лицо", и они за него не отвечают. Суд они с треском проиграли, прецедент создан.

🙈​А в августе 2025-го бота Lenovo вообще развели одним промптом на 400 символов, и он слил хакерам доступы реальных операторов поддержки.

😘​Про бота службы доставки DPD, который обматерил клиента и по его же просьбе написал стих о том, что DPD - это худшая компания в мире, я вообще молчу.

​Я сейчас сама через вайбкодинг вижу, как легко нейросеть уходит в фантазии разной степени глупости, если чуть ослабить вожжи. Но я экспериментирую в песочнице, а крупный бизнес выкатывает эту сырую магию в продакшн, оставляя её наедине с живыми людьми и реальными деньгами. В своей книге, кстати, я зацепила эту тему, проведя нетривиальное сравнение. Скоро узнаете, с чем :)

Без управления и должного контроля​ вся эта весёлая машина начнёт генерить некислые проблемы.

🟢А можно ли реально это как-то контролировать?

Пока рынок только нащупывает стандарты, но базовых теоретических практик всего три:

1⃣ Теневое тестирование
ИИ-агент должен месяцами работать в "теневом режиме", предлагая ответы живому оператору, а не клиенту.

2⃣Ультра-жёсткие рамки
ИИ на уровне архитектуры не должен иметь прав принимать какие-то решения.

3⃣Непрерывный аудит
​Собственно, поэтому мы в BayCX сейчас столько внимания уделяем архитектуре контроля.

Проблема заключается в том, что ни один из этих трёх методов, ни все они вместе, не дадут 100% гарантии, что фейла не случится. Остаётся просто слепо надеяться и ждать, веря, что экономия отобъёт теоретический жирный фейл, когда/если настанет его звёздный час. Тут теория вероятности очень в помощь. Но опять же, не 100%🥺

Всё это я к чему... ИИ - это потрясающий ассистент. Но если выдать ему ключи от кассы, отключить человеческий контроль и уйти пить кофе, готовьтесь продавать машины по доллару😂

​На следующей неделе в Казани на форуме точно буду поднимать эту тему. Венчур венчуром, а за сервис всё равно отвечает человек😉