Уже рассказывала тут про закон Гудхарта, про который любимый нами мем «результаты хорошие, потому что мы неправильно считаем». Но это не единственное популярное искажение, связанное с неудачной оптимизацией ситуации под метрику. Встречайте, perverse incentive (буквально, порочный стимул)🤯
В экономике так называют случай, когда попытка стимулировать какие-то действия приводит к нежелательному результату, который технически действительно растит выбранную метрику.
Иногда также используется название «эффект кобры», потому что популярным примером является объявленное якобы когда-то в Индии вознаграждение за каждую пойманную и убитую ядовитую змею, которое побудило местных жителей их разводить с целью получить ещё больше денег за поимку🐍
Более реалистичных примеров тоже немало:
⭐️ если в здравоохранении вознаграждать лечение болезни, а не должную профилактику, то может случиться сдвиг в игнорирование первых симптомов, пока не будет уже диагноза;
⭐️ ловушка социалки, когда человеку невыгодно устраиваться на низкооплачиваемую работу, так как это повлечёт расходы на дорогу и потерю пособий, и в итоге у него будет меньше денег
Самое интересное, что иногда метрика ломается даже на вполне стандартных продуктовых механиках. Например, я купила платье, которое очень хотела, долго думала над этим из-за цены, но в итоге решилась🎀 а через неделю началась распродажа, платье подешевело, а выгулять купленное я ещё не успела (!).
И да, я сдала и купила его заново. То есть сначала на мне заработали
X рублей, потом сделали скидку, чтобы побудить меня потратить ещё, а я вместо этого заплатила на 30% меньше.И если в вопросах ядовитых змей и нечестных врачей всё же применимы вопросы морали, то с оптимизацией заработка или использования промоакций в современном капиталистическом мире сложно спорить — мы просто пытаемся рационально реагировать на то, какие действия стимулирует сама система👀
➡️ Так, ну а что там с ИИ?
На волне хайпа вайбкодинга многие компании вдруг поверили, что надо заставить всех работать только так и чуть ли не объяснительную писать, если что-то закоммитил сам. Но метрики, связанные с количеством потраченных токенов — это же просто новая ⭐️иллюзия бурной деятельности⭐️, которая ничем не лучше, чем мерять количество коммитов (а там буквально эффект кобры: понял, что сделал баг? отлично, пофикшу уже следующей версией, будет две вместо одной😎)
Для этого даже появилось забавное слово tokenmaxxing📈
По мне так кринж, хотя даже топовые компании проявляют чудеса эффективного менеджмента (к сожалению, в мемном смысле) и поощряют на performance review именно это😏
“If your $500K engineer isn’t burning $250K in tokens, I am going to be deeply alarmed.” — сказал CEO NVIDIA Jensen Huang.
С AI-агентами в поддержке тоже всё красиво в основном только на дашбордах. Если цель — снижение доли обращений к человеку, бот может начать не помогать пользователю, а просто максимально долго не отдавать его оператору. Метрика зелёная, бизнес вроде бы «сэкономил», но юзер ушёл к конкурентам, а продуктовый аналитик сидит, взявшись за голову🤦♂️
(Так что пока что безопаснее закручиваться в полноту (recall) эскалаций к человеку, даже если это в моменте дороговато)
Хорошая новость в том, что адоптить AI тоже можно с умом. И чем больше причастных помнят про идею заградительных метрик, понимают такие «законы» аналитики и что-то знают про когнитивные искажения, тем больше шансов действительно кого-то обогнать продуктово при помощи AI-агентов🤖
➡️ В общем, всё интереснее жить! А вы что думаете?
Накидайте, что ли, тоже примеров этого эффекта из жизни🌟
😘 картинку утащила отсюда
#аналитика_и_жизнь #развитие_ии
@analytess 👩