#печенкин

[3/4] Cиндром Самозванца

Экстраполируя личный опыт, могу предположить, что среди разработчиков синдромом самозванца особенно ярко страдают ML инженеры: ты можешь 3-6 месяцев что-то строить, обучать, собирать какие-то пайплайны и совсем не факт, что они доедут до прода. Если что-то делает бекендер, какая-то информация будет выдаваться пользователю или не будет. Если что-то делает фронтендер, какая-то кнопочка будет нажиматься или не будет. Если что-то делает дата инженер и аналитик – какой-то дашборд будет рисоваться или не будет

Как пощупать результат работы ML инженера? – да хуй его знает, чем они там занимаются. Разговаривают на своём птичьем языке, понятный только другим MLщикам: оверфиты, фичи, пайплайны. Больше всех получают денег и меньше всех понятно, что они там делают и когда будет готов результат. Недоверие к MLщикам/DSам растёт экспоненциально, особенно если ты занимаешь чуть ли не единственную data-роль в компании и не совсем понимаешь, с чего нужно начинать выстраивать data-driven культуру в компании

Собаки лают на то, что не понимают
– Гераклит

По статистике от Claude Research, от 48% до 85% ML/AI-проектов или не достигают продакшена, или не приносят ожидаемой бизнес-ценности. Вопреки ожиданиям, с ростом популярности GenAI и, казалось бы, "простоты внедрения", ситуация не улучшилась, а даже ухудшилась *pikachu face*

Из-за того, что к MLщикам со стороны бизнеса такое недоверие, по моим наблюдениям они сильно раньше, чем остальные разработчики вынуждены погружаться в бизнес-метрики, методологию A/B-тестирования и другие методы "внешней", "честной" оценки эффекта своей работы, выраженной в деньгах: сколько ты помог заработать или сколько ты помог сэкономить. Мы с Валерой 5 лет назад даже разработали целый практикум на 1500+ человек "Симулятор ML", нацеленный на то, чтобы помощь начинающим ML инженерам сократить гэп между ML-как-алхимией и ML-для-бизнеса, проложить мостик между обучением моделей и продуктизацией своего ML/AI решения

Кстати, неспроста, например, при "взрослом" ведении ML-проектов, обязательным этапом разработки является написания ML дизайн-документа. И как ни странно, уже второй-третьей секцией такого документа является оценка потенциального аплифта целевой (сколько денег заработает или сэкономит проект, в худшем и лучшем случае - при той или иной стадии масштабирования?), бюджета на команды (сколько недель/месяцев займёт разработка и R&D по этому проекту? сколько специалистов нужно какого уровня?), а также "build or buy?" (нам быстрее/дешевле это всё-таки строить самим, или проще купить коробку? возможна ли коробочное решение такого типа который нам нужен?). Чтобы узнать, как писать такие документы и из каких секций они должны состоять, рекомендую прочитать книгу Валеры и Арсения "Principles of Machine Learning Design", в написании которой я участвовал сам (вариант книги на русском)

Итого, для борьбы с "синдромом самозванца" нужно:

1) научиться, блять, считать деньги, которые ты приносишь или экономишь

2) работать над тем, что приносит или экономит деньги

3) по возможности, не работать над всем остальным

Самые очевидные вещи даются сложнее всего. Чтобы худеть, тебе нужно сжигать больше калорий, чем потребляешь. Чтобы накопить много денег, тебе нужно откладывать. Чтобы растить аудиторию, нужно регулярно писать посты, которыми хочется делиться с друзьями

"Считать юнит-экономику по себе как сотруднику" – кажется, проще сказать, чем сделать. Но примерно в 10 случаях из 10, когда мне кто-то говорит, что что-то в бизнесе нельзя оценить в деньгах, я слышу только лень сделать своё домашнее задание. Можно. Просто ты ещё не знаешь как. Не пробовал. Это защитная реакция говорит, что невозможно. Если я на тебя посмотрю глазами бизнес-оунера, я найду способ, в крайнем случае можно дать все вводные ChatGPT/Claude и распутать воронку вашего бизнес-юнита

Кстати можем устроить мини-челленж, пишите в комментарии именно под этой частью свою роль и проект (насколько позволяет NDA), а я или кто-то другой будем предлагать способы оценки экономического эффекта