Павел Шерер

А вот вам альтернативная точка зрения. IT-мир неоднороден, он развивается и иногда разницы трактовок вызывают недопонимания. Я противник любых культов. И не особо важно, методолические они, продуктовые или поклоняющиеся «успешным примерам индустрии». Проёбываются все одинаково

Live stream finished (1 hour)

Live stream started

Давайте поговорим о культе метрик и к чему он может привести.

Если на вопрос «а нахуя» вам отвечали «так показала аналитика» или в своих продуктах вы были вынуждены повышать какую-то нелепую (по вашему мнению) метрику, то этот пост для вас.

За последние 10-20 лет в IT аналитика стала решающим фактором в принятии продуктовых решений. Дашборды, отчёты, графики и схемы — это то, на чём мы строим свои продукты. Это не плохо, данные для того и нужны, чтобы их анализировать.

Но частенько мы даже в мыслях не допускаем, что наши дашборды могут врать. Что одна метрика, возведённая в ранг культа, может если и не похоронить всю компанию, то как минимум сделать противоположное своему назначению.

Давайте я приведу несколько примеров:

В 2015-2017 Facebook убеждал медиа «переходить на видео», показывая им астрономические показатели Average Watch Time и Video Views. Позже в суде оказалось, что ребятишки малость погорячились (до 900% по данным иска) и Facebook знал об этом больше года. Издатели уволили сотни текстовых редакторов, вложились в видеопродакшн, но получили только просадку по баблу. В итоге Facebook выплатил $40 млн компенсации рекламодателям, а понятие «pivot to video» стало мемом.



В 2010 году соц-новостник Digg решил угодить издателям: в четвёртой версии приоритет отдали автопостам медиа, а не голосам пользователей. Через неделю комьюнити устроило «Quit Digg Day» и дружно съебало на Reddit. Трафик Digg рухнул на 25% за месяц, а к 2012-му — на 90%. Команду урезали, компанию продали за копейки. Метрика «объём партнёрского контента» стала главенствовать, и комьюнити просто вышло из чата. 



В 2018 Snapchat решил поднять Time in App, и расхерачил интерфейс, как ты свой палец с заусенцем: разделили чаты и сторис, усложнили навигацию. Пользователи взбунтовались, петицию против редизайна подписали 1.2 млн человек, сервис впервые потерял 3 млн DAU. Акции просели на 20%, и компания врубила заднюю. Я прям вижу, как топы спускают «надо поднять минуты в приложении», а дизайнеры «хуйня вопрос, усложним UX»

Да, там было не всё так просто, но это — большие, публичные компании. Сколько таких проёбов было у компаний помельче?

Следование одной понятной и легко измеримой метрике — это классический пример туннельного зрения. Почти всегда продукт сильно шире одного показателя. Цифры должны служить, а не командовать.

Что делать на практике?

1. Держите пул из 3–5 метрик: рост, удержание, качество, выручка, удовлетворённость и тп. Не выделяйте одну, стройте иерархию. Если нижняя метрика растёт, а верхние нет, то должны возникнуть вопросики.

2. Валидируйте данные. Стройте контрольные отчёты, проверяйте формулы, смотрите срезы. Важно построить процессы таким образом, чтобы каждый показатель подтверждался другими.

3. Ставьте «гвардейцев» — вторые метрики, которые тормозят злоупотребления (например, NPS к Time in App). Это позволит вовремя очнуться, даже если «зависимые» метрики не ведут себя подозрительно.

4. Слушайте пользователей: юзтесты, саппорт, соцсети. Не только цифры в дашбордах, но и реальные отзывы.

Я для себя обычно разбиваю показатели на 3 слоя:

1. North Star (LTV/CAC, валовая маржа). Это то, к чему идёт продукт и компания. На короткой дистанции их толком не посчитаешь.

2. Здоровье продукта сегодня (конверсия оплаты, churn). А вот это как раз можно измерять если и не в моменте, то почти.

3. Пульс системы (5xx ошибки, latency, аптайм). Это чаще технические метрики, от которых зависит качество продукта.

Важно: все эти слои не изолированы, а связаны сквозной аналитикой. Потому что поклонение какой-то одной цифре — это как минимум глупо

Ровно через сутки стрим про этичную, нравственную и православную (простите, не удержался) манипуляцию.

А ещё завтра будет пост про аналитику как религию.

Не переключайтесь.

Думаю, вы у же поняли, что всё это было вступление. Я набираю новый поток. На этот раз платный, ибо нехуй.

Я начинал в нулевых как разработчик, потом ушёл в дизайн и аналитику, теперь продюсирую всякое. Отпахал семь лет на стартапах, потом покорял корпоративные эдельвейсы (VISA, Альфа, Сбер, Лукойл, ВК, Атом etc). С 2017 года активно преподаю в ВУЗах, веду корпоративное обучение. В случае наставничества мы вместе с вами разрабатываем индивидуальный план и стараемся ему следовать.

Что я могу дать:

1. Всё, что связано с управлением. Продуктом, проектом, командой, финансами, рисками, ожиданиями и всем, что ведёт к успешному запуску.

2. Продуктовый дизайн, аналитика, разработка, архитектура. Тут всё просто: харды они и в Африке харды.

3. Помощь в карьерном росте: как горизонтальном, так и вертикальном. Могу помочь с победой в политических баталиях, подтянуть уровень до новой позиции или подготовить к переходу в другую компанию.

4. Настройка процессов. От внедрения AI до перевода бухгалтерии на ЭДО. Разработка, внедрение, борьба с саботажами и прочие прелести.

5. Вообще всё, что на стыке дизайна, технологий, бизнеса и аналитики.

Пять человек максимум, больше не потяну по времени. Один-два раза в неделю с домашними заданиями, которые нельзя проёбывать. По цене всё индивидуально. Пишите в личку.

Некоторые из вас знают, что я ещё и ментор, часто помогаю студентам и коллегам. В каждой компании, с которой я сотрудничал, стабильно находились менти (да, это так называется).

Несколько лет назад у меня была практика: ко мне приходили ребята, которым нужна была помощь с ростом, а в конце месяца они переводили произвольную сумму на выбранный мной благотворительный фонд (кто-то пятьсот рублей, а кто-то 50 тысяч). Мы так, кстати, собрали почти лям на добрые дела и во время пандемии даже помогли паре малых бизнесов не сдохнуть.

Для меня всегда наставничество/менторство было чем-то безбабловым. Я преподаю в нескольких ВУЗах, и это вообще не про деньги (кто знает ставки преподов и академруков, меня поймёт). Да даже этот канал я не планирую никак монетизировать. Если тут и появится какая-то реклама, то исключительно с вашего одобрения.

Но, будучи охуительным (по версии моей мамы) наставником, я регулярно сталкивался с одной фундаментальной проблемой. Частенько мои менторства прерывались, когда я давал по-настоящему сложную задачу своим менти.

Такую, которая требует усилий больше, чем выделение слота в календаре. Порефлексировать и родить матрицу собственных компетенций; пообщаться с коллегами и выяснить их мнение по поводу накосяченного; сесть за изучение синтаксиса питона или SQL; да просто проработать список источников дохода, которые хочется развивать.

Потому что работать над собой и своим ростом — это не про попиздеть два часа в неделю с ментором. Это про искреннее желание стать лучше (в этическом, профессиональном или финансовом эквивалетнте). Ментор — это, в лучшем случае, штурман/навигатор, но никогда не пилот. Он поможет вам расти, только если вы сами к этому готовы.

Я потратил непростительное количество времени и ресурсов на тех, кто этого не догоняет. Я больше так не буду.

Live stream scheduled for May 15, 2025 at 17:00

В ближайший четверг, 15.05, поговорим про то, как этично манипулировать и продавать практически любую идею команде и руководству. Встреча будет без записи и цензуры. Встречаемся через пять дней тут, на канале.

Шарьте

И у нас самая неубедительная победа за всю историю этого канала. Этичная манипуляция обошла риски и роадмап с отрывом в 1 (один) голос. Посему силой, данной мне авторством всего этого дерьма, нарекаю победителями сразу три темы. Будем миксовать

Мне тут в личку вчера прилетело неожиданное. Пишу с разрешения источника прилёта.

Претензия была про мат. Мол, ты же профессионал, с хуя ли позволяешь себе ругаться перед аудиторией? Друзья, я по образованию не программист, а вообще филолог. Мат — естественная часть моего лексического разнообразия. Я не ругаюсь матом, я изъясняюсь с его помощью.

Обсценной лексикой я не брезгую в общении с семьёй, друзьями и клиентами. Единственное исключение — дети. Да и то лишь из-за воспитания (поверьте, ваши дети с садика знают все «плохие» слова).

Так что сорян, поборцы нравственности, но здесь так.

И кстати, раз уж на то пошло. Дайте мне благозвучный аналог слова «ебеня»

Забыл сказать: шарьте опрос, так даже не подписчики смогут повлиять на результат (а я получу новых подписчиков)

Техдолг.

Вообще не страшное слово. Это такой долг, который и можно, вроде, отдать, но всегда есть что-то поважнее. Мы ебошим хотфиксы в проде, оставляем «на потом» проектирование пограничных состояний, делаем архитектурные допущения. Не понимая, что каждое такое решение добавляет грамм взрывчатки под нашу задницу. Техдолг — это не пыль, которую можно загнать под ковёр, это тротил под фундамент проекта.

Не верите? Вот несколько примеров:

В 2012 Knight Capital Group была крупнейшим трейдером акций с долей около 17% на фондовой нью-йоркской бирже. В очередном обновлении ребятки залили патч, который, как оказалось, реанимирует кусок легаси-кода. За 45 минут роботы накупили акций на $7 млрд. В итоге убыток в $440 млн компания не пережила и была поглощена конкурентом.

Через 10 лет, в 2022, зимний шторм немного подморозил авиасообщение в Штатах. У авиакомпании Southwest Airlines из-за резкого увеличения отмен рейсов прилегла устаревшая система расписания экипажей. Ребятам понадобилось восемь дней, чтобы её починить. Как итог, 16 700 отменённых рейсов, $800 млн прямых потерь.

Вы можете подумать, что я против техдолга (а значит, против бизнеса, «за всё хорошее против всего плохого»). Это не так. Техдолг — это неизбежный спутник роста. Я против того, чтобы он неконтролируемо размножался.

Бизнес не видит немедленной ценности рефакторинга (зато видит повышение на 0.01% конверсии после редизайна корзины). Оценку рисков ведут в часах, а не в деньгах и репутации компании. Отсутствует единый реестр долга — всё лежит в головах или в разрозненных джира-тикетах.

Техдолг делает из кода легаси, UX наполовину состоит из заплаток, а аналитика не понимает, почему данные дублируются. И рано или поздно проект детонирует.

Что можно сделать, как обезвредить эту хрень?

1. Используйте Debt Ledger. Каждая затычка фиксируется с формулой: стоимость дефекта * вероятность * время до взрыва.

2. Миксуйте спринты: на 2 спринта фич — 1 спринт «детокса» кода, аналитики или юикса.

3. Капитализируйте техдолг. Покажите руководству, сколько будет стоить взрыв и сколько — его предотвращение.

4. Не будьте ленивым мудаком. Если можете что-то поправить прямо сейчас, правьте.

А давайте немного поговорим о банальном. У меня тут недавно пригорело на одном проекте, спешу поделиться: идите в жопу со своими CJM. Не подумайте, я отлично понимаю их значимость, но кажется, что мы с вами сделали культ из промежуточного артефакта.

Типичная сиджиэмка: пользователь просыпается, открывает сайт, логинится, выбирает товар, оформляет заказ — профит. Последовательно. Логично. Красиво. Как сценарий выпускного спектакля в театральной школе.

Но в реальности всё не так. Пользователь зашёл с мобилы, стоя в очереди. Промахнулся мимо нужной ссылки, нажал на баннер, перешёл на форму какой-то заявки, нажал на отмену, его редиректнуло на главную и в конце показало модалку «оцените наш сервис».

CJM на это не рассчитана. Она не живёт в отказах, тупиках, рандомных путях и параллельных процессах. Она — нарратив. Утопия. Диаграмма про то, как должно быть, если вдруг в мире наступит product heaven, а все люди превратятся в линейно действующих болванов.

В продуктовом дизайне CJM даёт лишь иллюзию контроля. Ты вроде бы всё распланировал, проработал и воплотил. Но система-то работает иначе: по своим законам, со своими ошибками, логикой, ограничениями и неожиданностями.

И вот ты уже проектируешь не поведение системы, а красивую легенду. По которой потом делают прототип, влюбляются в него, и с этим полусказочным артефактом бегут в разработку. А потом начинаются велокостыли и попытки натянуть кипиайную робу на и так страдающий продукт.

Я начинаю не с journey, а с архитектуры и состояний. С тем, что может пойти не так. С роли системы, а не только роли пользователя. С точек провала. Кто видел мои концепции, знает, что там всегда, в 100% случаев, есть раздел про риски и ограничения.

CJM хороша, чтобы поштормить о драйверах/барьерах, но я оставляю её для презентаций. Для реального дизайна — беру реальность. Да, она некрасивая. Зато работает.

Live stream finished (1 hour)

Live stream started

Через 4.5 часа стрим, поговорим о скорости ваших продуктов и почему важно успевать за пользователем. Сто процентов зайдёт дизайнерам, аналитикам, продактам и даже маркетологам. Давайте уже ускоряться агрументированно.

Шарьте всем причастным

Аналитик (а есть у профессии аналитика феминитив? аналитикесса?), которая подошла после выступления по поводу участия в проектах. Пиши в личку, созвонимся и сразу добавлю тебя в папку телеги, чтобы не потерять