Мы с Жене Никитиным недавно зарубились на эту тему. Он говорит, что adoption важнее. Я категорически не согласен!
Измерение экономического эффекта нужно не для отчёта перед начальством. Оно нужно, чтобы не перепутать использование с пользой. Метрики adoption (какой процент пользуется продуктом) — ещё не эффект. Допустим, все пользуются.
Никому не стало лучше. Это эффект?
Adoption показывает, «прижилось ли».
Экономический эффект — «зачем оно вообще живёт?». Не пора ли убрать очередную мертвую лошадь из упряжки?
Не измерять эффект — тоже управленческое решение. Просто очень дорогое. Очень.
Пора понять простую вещь. То, что дорого измерить, не становится бесплатным. Не меряете эффект от ИИ? Ничего. Его измерит ваш финансовый директор. Одной строкой — «расходы». И это даже может продолжаться долго. Пока не закончатся деньги.
Ладно, допустим, я вас убедил, что эффект считать надо. Но
продуктивность отдельного человека — ещё не производительность системы!
Маркетолог написал текст за двадцать минут вместо двух часов.
Победа?
Редактор потратил час на проверку фактов.
Юрист нашёл недопустимое обещание.
Руководитель получил пять вариантов вместо одного и ещё сорок минут выбирал.
Все еще победа?
Пока дорога прямая, погода хорошая, а из-под капота не дымит — приборы действительно кажутся не нужными.
Можно ехать в два раза быстрее.
И в два раза быстрее приехать не туда. И от этого ИИ вас никак не застрахует. ИИ умеет ускорять работу.
Но он не умеет сам решать, какую работу стоило не делать.
Чем меньше мы доверяем мальчику, играющему со спичками, тем больше людей должны стоять вокруг него с огнетушителями.
Ок. Иногда экономический эффект от ИИ действительно можно не измерять.
Но сначала придётся измерить, можно ли его не измерять.
Есть простая формула, дарю:
Ценность ИИ = изменение бизнес-результата − полная стоимость изменения процесса.
Из чего же состоит полная стоимость изменения процесса?
Стоимость внедрения.
Сколько стоит не запустить ИИ, а встроить его в работу.
Интеграции. Обучение. Контроль. Безопасность. Переделки. Люди с огнетушителями.
Обратимость решения.
Влияет на цену отката. Насколько дорого признать: «Мы ошиблись» — и вернуть всё назад.
Выключить помощника для черновиков можно за минуту.
Выпутать ИИ-агента из продаж, найма или ценообразования — уже операция наживую без наркоза.
Чем сложнее откат — тем меньше права на «давайте просто попробуем».
Остается вопросом, как оценить в деньгах удар по эго того, кто предложил и всех тех, кто согласовал.
Цена ошибки.
Сколько будет стоить один неправильный ответ?
Низкая вероятность ошибки ещё не делает риск низким.
Ошибка агента, который общается с тысячами клиентов быстрее разлетится в мемах, чем яркая корпоративная презентация про успех в правильных цветах по выверенному шаблону.
Поэтому считать нужно не только сэкономленные часы и радоваться низкой цене токенов.
Нужно вычесть из будущих прибылей цену перестройки, контроля, ошибок и возможного отката.
Вы не будете покупать помидоры и огурцы за токены. За ужин в хорошем ресторане вы не заплатите промтом. Таксисту плевать, какой у вас adoption. Всем нужны ваши деньги. Так, почему бы не считать в них и эффекты от внедрения ИИ?
Интересен другой взгляд? Читайте пост Жени!