Лев Корнев - Развитие продукта

Brand Health Tracking: чекап бренда

Brand Health Tracking помогает понять, что пользователи думают о бренде и почему выбирают именно его.

Обычно в рамках BHT в динамике замеряют знание бренда, предпочтение относительно аналогов, ключевые ассоциации и готовность рекомендовать.

Например, знание бренда выросло после рекламной кампании, а предпочтение осталось прежним: люди запомнили рекламу, но причины выбрать продукт пока не появилось. Эти разрывы и помогает находить Brand Health Tracking.

Метрикой обычно владеет маркетинг, сильный бренд повышает органическое привлечение, рекомендации и конверсию в первую покупку.
Brand Health Tracking часто рассматривают как опережающий индикатор будущего роста продуктовых метрик.

❤️ измеряем здоровье бренда

#словарикпродакта #pm #product #marketing

Diff-in-Diff: когда A/B-тест невозможен

Difference-in-Differences помогает оценить эффект изменений без рандомизации.
Метод сравнивает изменение метрики относительно изменения от начального показателя похожей контрольной группы.

Например, изменение воронки сначала запустили только в одном регионе. Продажи выросли на 10%.
Это успех или просто сезонность?
DiD сравнит изменение с регионом, где ничего не запускали, и попробует отделить эффект релиза от всего остального.

Метод давно используют в экономике, медицине и государственной политике, где эксперименты часто невозможны или неэтичны.

Важное ограничение: метод предполагает, что без изменений обе группы продолжили бы двигаться примерно одинаково. Если это не так, выводам доверять уже нельзя.

Если нельзя провести A/B, DiD становится наилучшей альтернативой оценить эффект.

❤️ да, было
😈 сравнивал до/после

#pm #product #словарикпродакта

Парадокс Симпсона: средняя метрика умеет врать

Simpson’s Paradox - ситуация, где общий результат показывает рост, а внутри важных сегментов всё становится хуже.

Например, выкатываем новый чекаут. В агрегате конверсия выросла с 6% до 6,5%, команда открывает шампанское и катит на всех.
Потом смотрим глубже: у новых пользователей и старых просадка, на iOS просадка. В итоге просто в тест случайно попало больше теплого трафика, который и так покупал чаще.

Защита от ошибки обычная: заранее определить ключевые сегменты, проверить баланс трафика.

Удивляюсь, что попадаются термины, с которыми работал, но не знал их академического названия, а вы?
❤️ структурирует мысли
😈 это всё ЭмВиПи

#pm #product #словарикпродакта

RAT: проверяем самое рискованное в идее

Riskiest Assumption Test - проверка самого рискованного допущения в идее

MVP проверяет жизнеспособность: ценность, сценарий, решение, иногда экономику.
RAT нужен раньше, когда еще страшно тратить недели команды даже на маленькую версию продукта.

Пример:
Хотим сделать быстрые ответы для родителей в чат-боте по питанию.
Самое рискованное допущение: родители вообще хотят задавать такие вопросы на платформе.
В этом случае можно проверить через fake door: показать кнопку "Задать вопрос по питанию",
посчитать клики и собрать реальные формулировки вопросов.
За дверью может быть ручная обработка, форма или честное "скоро запустим".

Плюс RAT: быстрее проходим путь до знания, меньше влюбляемся в решение
Минус RAT: принять решение по реализации, проверив RATом слишком узкий кусок

Проводите RAT или всегда проверяете через MVP?
❤️ да, было
😈 из RAT только крысиный чатик на работе

#pm #product #словарикпродакта

8 шагов перемен Коттера

Изменение нельзя просто объявить. Его нужно воплотить через организацию.

Сильный пример таких изменений я видел в Яндекс Маркете при смене CEO: появилась более живая стратегия, новые смыслы старались доносить не только через большие презентации, но и через маленькие победы, регулярную коммуникацию, материалы на кофепоинтах и заставки телевизоров в переговорках.
Сохранил себе структуру Коттера, которая ниже, чтобы было куда смотреть в будущих изменениях.

Коттер описал 8 шагов, которые помогают провести изменения системно:
1. Создать ощущение срочности
2. Собрать коалицию изменений
3. Сформулировать видение
4. Донести его до команды
5. Убрать барьеры
6. Дать короткие победы
7. Не сбавлять темп
8. Закрепить новый подход в культуре

После Наш айсберг тает схема ощущается менее учебниковой, пингвины проходят ровно этот путь. Признают проблему, собирают сильную группу, объясняют стае, зачем двигаться, находят первых героев и превращают разовый переезд в новую норму.

Кстати, книга может работать как дешевый тренинг для команды: дать прочитать за неделю, а потом обсуждать изменения уже через общую историю- поможет выделить группу для второго этапа.

#pm #управление #изменения #книжныйклуб

Что почитать?

Наш айсберг тает, Джон Коттер
Кому: тем, кто пытается провести изменения и не понимает, почему очевидная проблема не становится очевидной для всех
Количество страниц: 76, читается за вечер
Оценка: 10 пингвинов-разведчиков из 10

Отзыв:

Книга состоит из двух частей 1-детская сказка, 2-теоретический комментарий
Притча рассказывает про пингвинов, которые поняли, что их айсберг тает, и начали искать решение. Внутри понятная модель изменений Коттера: создать ощущение срочности, собрать команду, объяснить видение, вовлечь остальных, показать первые победы и закрепить новый порядок.

Книга хорошо показывает, что изменения идут через коммуникацию. Постеры, символы, истории, герои, общественное мнение. Местами вдохновляет, местами слегка пахнет пропагандой Бернейса:)

Что забрал себе:
1) Изменения не заканчиваются Большой победой, она только доказывает системе, что новый путь возможен - главная ценность в создании и принятии процесса..
2) В изменениях важно придумать посыл, через который в него смогут поверить остальные.

Часть 2. Как читали в клубе
Книга читалась ОЧЕНЬ легко, обсуждение получилось неожиданно объемным.

Много обсуждали пропаганду. Говорили про то, почему команда не ввела режим военного времени. Возможно, это ускорило бы решения, но могло сломать доверие и превратить изменения в приказ сверху.
Искали себя среди пингвинов. В каждом нашлось что-то узнаваемое: Фред с тревожной наблюдательностью, Алиса с энергией действия, Профессор с объяснением сложного, Бадди с умением разговаривать с людьми и даже Нет-Нет со своим сопротивлением.

Если вам интересно не просто читать, а разбирать книги через управленческий опыт, присоединяйтесь к нашему Книжному клубу для менеджеров.

@product_lev
#чтопочитать #книжныйклуб #менеджмент #изменения #productmanagement

Продакт, который не понимает экономику, управляет интерфейсом

Удобная кнопка и понятный сценарий могут улучшить пользовательский путь, хотя продуктовая ценность становится полной только там, где это сходится с деньгами.

Продакту важно держать в голове два слоя: как пользователь доходит до ценности и какую ценность это создает для бизнеса:
конверсия может вырасти вместе с падением маржи, GMV может красиво смотреться в дашборде при красной юнит-экономике, а промо может научить пользователя покупать только со скидкой.

Жизненный пример из b2b2c: искали баланс по сроку хранения заказов на ПВЗ. Если держать долго: пользователю удобно, выше выкупаемость, но ПВЗ забиваются и мерчанты теряют деньги на зависших посылках.
Если сокращать срок: разгружаем точки и ускоряем оборот, падает выкуп и растет недовольство мерчантов.
В итоге искали вин-вин через сегментацию, А/В и гибкие правила

❤️ считаю ue
😈 полирую кнопку
#pm #productmanagement

Продакт как играющий владелец клуба

Мне на стажировке говорили, что хороший продакт должен уметь нарисовать прототип на бумажке, теперь хороший продакт может собрать PoC самостоятельно.

Кажется, это одно из самых важных изменений профессии за последние годы. Генеративная разработка дает продакту возможность делать первый проход самому. Не писать ТЗ или PRD, а показать работающий прототип, из которого артефакт документации будет собран автоматически.

Для меня главным открытием оказалось, насколько ИИ позволяет быстро разобраться в области, которая раньше была черным ящиком. Не стать разработчиком за выходные, а достаточно глубоко погрузиться в предмет, чтобы понимать ограничения, задавать правильные вопросы и говорить со специалистами на более близком вокабуляре.

Специалистов это не отменяет. Архитектуру и сложные решения по-прежнему лучше проверять с сильными инженерами. Но разговор меняется: вместо идеи на салфетке ты приходишь с работающим черновиком и вопросом: Я собрал первый вариант. Как его усилить?

Поэтому мне кажется, что генеративная разработка меняет роль продакта. Он остается владельцем продукта, но теперь может иногда выходить на поле сам.
Не как тренер, все же тренер чаще сам бывший футболист и может наставлять в прикладном плане команду. А как владелец клуба/футбольный менеджер.

Как играющему менеджеру усилить команду на матче? Не придумал сильной аналогии)
❤️ генерировать сильные тактические розыгрыши
😈 во время пенальти ложиться на траву

#pm #ai #productmanagement

Продакт и его Джарвис

На прошлой неделе я давал Codex несколько параллельных задач и прям почувствовал это ощущение работы с Джарвисом. Уже меньше делаю попой(долго-муторно-операционно) и больше управляю потоком решений.

Скриньте: для продакта это важный сдвиг: ИИ-агенты повышают качество первого шага. Продакта не заменят, а усилят.

Сейчас многие вопросы упираются в очередь к смежникам. Будущий продакт сможет быстрее собрать первую версию сам: черновую, местами кривую, достаточно осмысленную для нормального разговора с командой.

Это сменит тон обсуждения. Придешь уже с конкретной гипотезой, первичной проверкой, слабыми местами и вопросами.

Особенно интересно это в приоритизации. В RICE confidence это личное ощущение. Агент сможет сделать его более доказательным: хочу увидеть, как агент впрягается или спорит со мной.

Короче, процессы остаются.
Меняется качество первого шага.

Вы уже ПОЧУВСТВОВАЛИ?
❤️ чувствую
😈 чувствую fomo

#pm #ai #productmanagement

Зачем продакту комьюнити?

Конференции, комментарии в каналах, общие продуктовые чаты, книжные клубы❤️, внутренние сообщества компаний - форматов много, но ценность в другом и на разных этапах карьеры она разная.

Когда только входишь в профессию, приходишь за знаниями: хочется понять, как всё устроено, послушать чужой опыт, собрать инструменты в копилку.

Потом начинаешь приходишь с конкретными вопросами: появилась проблема, которая зудит. Можно обсудить её с людьми, которые уже проходили похожий путь.

Ещё позже начинаешь использовать комьюнити как способ сверить свою картину мира с рынком. Какие вопросы сейчас обсуждают сильные специалисты? Что считается хорошей практикой? Где мои точки роста? Услышать, что похожие проблемы есть не только у тебя.

А ещё комьюнити постепенно превращаются в рынок репутации. Здесь находят коллег, сотрудников, проекты и новые места работы..

..Я уже 2 года в VK!
Как говориться: VK, конечно, хорошо
Поэтому приглашаю вас в VK, тут хорошо
Ищу крутого проджекта для внутреннего EdTech стартапа - пишите в лс:)

Продуктовые комьюнити - мой личный сорт третьего уровня пирамиды Маслоу, помогают не терять ощущение связи с профессией.

Но! Главное помнить, что всё хорошо в меру: даже самая полезная среда не заменит собственный опыт.

А какие продуктовые комьюнити оказались для вас самыми полезными?
🔥 конференции
❤️ чаты и каналы
✍️ клубы по интересам
🤝 внутренние сообщества компаний
#community #productmanagement #pm

Что почитать?

Наедине с собой. Размышления, Марк Аврелий
Кому: всем, кто хочет посмотреть на стоицизм не через рилсы про контроль эмоций, а через дневник человека с огромной властью и ответственностью
Количество страниц: 280
Оценка: 10 добродетелей из 10

Отзыв:
С этой книгой легко начать, но тяжело закончить.
Текст короткий, смыслы понятные, но в какой-то момент начинаешь улетать мыслями за пределы. Потому что это не мотивационная книжка, а внутренние заметки человека, который буквально уговаривает себя жить достойно.
Мне было интересно читать Марка Аврелия на фоне популярного броицизма - дженерик стоицизма для ленивых: держи лицо, будь эффективным, не ной, контролируй эмоции.
На самом деле все тоньше, стоицизм у Марка про добродетель: не предать себя, не разменяться, не потерять способность поступать правильно.
Книгу можно читать как автобиографию очень крутого менеджера.
Император, огромная система, власть, войны, ответственность, раздражение на людей и постоянная попытка собрать себя обратно.
Обсуждали в книжном клубе про стоицизм как способ справляться с тревожностью, бимбо-стоицизм и броицизм.
Лично я прошел книгу волнами.
Начал с большого интереса к стоицизму, потом начал разочаровываться, но собрав картину целиком укрепил свою любовь к нему.
Помогло посмотреть на правила Марка не как на набор запретов, а как на попытку держаться добродетели.
Заметки с полей:
Стоицизм не отменяет эмоции, он пытается не отдавать им руль.
Самоконтроль без добродетели быстро превращается в токсичную продуктивность.
Даже императору иногда нужно просто сесть и напомнить себе: соберись.
Если хочется понять, что было со стоицизмом до инфоблогеров - Марк Аврелий отличный выбор.

А если хочешь обсудить книги про мышление, лидерство и управление собой - присоединяйся к нашему Книжному клубу для менеджеров!

#чтопочитать #МаркАврелий #стоицизм #книжныйклуб #менеджмент #лидерство

Не разогнаться в стену: guardrails

Guardrails - защитные метрики, которые не дают продукту вырасти ценой поломанного бизнеса или пользовательского опыта

Запустили скидки → следим не только за GMV, но и за маржой
Ускорили онбординг → проверяем, не вырос ли черн через неделю
Подняли конверсию в оплату → смотрим, не стало ли больше возвратов и жалоб

Главная метрика говорит: куда бежим
Guardrails проверяют: не снесли ли мы по дороге забор, склад и поддержку..

Как вам?
❤️ полезный заборчик
😈 звучит как бюрократия

#словарикпродакта #guardrails #pm

STAR на собесе: структура ответа

На днях собеседовал кандидата с интересным опытом и экспертизой.
НО! решение задач, да и рассказ о себе, приходилось из него доставать с силой.

Хочу порефлексировать через пост про фреймворк STAR.
Первично это метод диагностики софтсклилов, но можно применить для структурирования ответов на кейсы.
Пример:
ВОПРОС> В приложении резко упала конверсия в оплату. Что будете делать?
ОТВЕТ> Посмотрю аналитику, соберу гипотезы, запущу A/B-тест.
Это плохой ответ, своего рода диалоговый черри пикинг: мышления не видно.

А через STAR видно:
Situation
Локализую проблему: когда началось, у кого, на какой платформе и на каком шаге воронки..
!Уточняем ситуацию у интервьюера.
Task
Задача: быстро понять, это баг, релиз, платежка, трафик, оффер или сломанная аналитика.
Action
Оцениваю охват и вес проблемы.
Напрягаю дежурного разработки: проверить релизы, ошибки API, логи и изменения в платежах.
Если баг: фикс или rollback.
Смотрю дэши: по воронке: тариф → кнопка оплаты → платежка → успешная оплата, сравниваю платформы, сегменты и источники трафика.
Если продуктовая просадка: выделяю сегмент, гипотеза, быстрый эксперимент.
Result
На выходе решение: откатить релиз, починить оплату, оплатить Tilda, упростиь флоу или идти в эээксперименты.

Вот так на кейсах делай и интервьюер скажет: я тебя вижу 🤌

❤️ решаю структурно
😈 запускаю A/B на всё

#продуктовыйменеджмент #собеседование #STAR #pm

Ты вообще знаешь, за что мы платим в AI?

TLDR; Платим за compute budget: сколько вычислений сервис тратит на запрос.

Почему какой-то AI дороже?
1. Больше токенов на входе и выходе
История диалога, файлы, инструкции, результаты поиска и сам ответ превращаются в токены.
Чем больше нужно обработать и сгенерировать - тем дороже запрос.
2. Тяжелее модель
У сильной модели больше параметров, слоев и выше размерность векторов.
Значит, каждый токен проходит через более дорогую математику.
3. Больше reasoning
Для сложных задач модель может делать дополнительные внутренние шаги: разложить задачу, проверить варианты, найти противоречия.
Внутри больше вычислений.

#ai #cost #gpt #token #pm

Ты вообще знаешь, как AI превращает вопрос в ответ?

Напишем в ChatGPT:
> Что такое токен?

ОБРАБОТКА ВОПРОСА:
1) Собирается контекст
В него попадает: вопрос, системная инструкция, история диалога, ограничения по формату и длине.
2) Текст режется на токены
3) Токены превращаются в числа
В словаре токенизатор по токену находит ID, а ID указывает, какую строку взять из embedding-таблицы.
такое -> 912 -> [0.34, 0.11, -0.67, ...]

На этом этапе наш запрос превратится в перечень векторов:
> Что такое токен? -> [Что],[такое],[токен],[?]...+весь хвост контекста тоже в векторном виде

НАСЫЩЕНИЕ ВОПРОСА КОНТЕКСТОМ:
4) Строка проходит через слои уточнения
В каждом слое работают два механизма:
1 механизм: Self-attention
Модель пересчитывает связи между токенами: за это отвечает attention: механизм, который помогает понять, какие части контекста важны друг для друга.
Уточнены веса связей между токенами
2 механизм: Feed-forward / MLP-блок
Модель уточняет, что за смысл, роль и контекст у каждого токена.

На этом этапе векторы стали умнее - контекстно насыщенными:
> Что такое токен? -> pm спрашивает про токен в AI/GPT, нужно дать объяснение

ВЫРАЩИВАНИЕ ОТВЕТА ИЗ ВОПРОСА:
5) Модель считает вероятности следующего токена
Модель смотрит на весь контекст и считает, какой токен должен идти следующим
> Что такое токен?
высокие шансы могут быть у вариантов Токен, Это, В, AI
Выбирает один токен и добавляет его в конец текста, итого:
> Что такое токен? -> Что такое токен? Токен
Потом процесс повторяется...
Что такое токен? Токен -> Что такое токен? Токен — -> ... -> Токен — это кусочек текста, с которым работает...

В итоге получаем целиковый текст ответа на изначальный запрос.

Как вам?
❤️ огнище, просто и понятно
😈 просто и понятно, огнище

#ai #how #pm

Ты вообще знаешь, как GPT работает? Что такое токены

Когда мы пишем модели запрос, она сначала режет текст на маленькие кусочки - токены.

Это может быть слово, часть слова, эмодзи или кусок кода.
Например: cat может быть одним токеном, а продакт менеджмент почти точно разрежется на несколько.

В токенах считается контекст модели, стоимость запроса, объем файлов и длина ответа.

Лимит 128к токенов - это общий бюджет: на промпт, историю диалога в контексте, приложенные документы и будущий ответ, а не 128к слов.

#словарикпродакта #token #ai #pm

Что-то пошло не так: fallback
В честь майской жары короткий пост для #словарикпродакта

→ Fallback → запасной сценарий, если основной перегрелся и отвалился

Не загрузились рекомендации → покажем популярное
Не ответил сервис доставки → “уточним сроки позже”
ИИ не справился → отдадим безопасный шаблон

→ Fallback нужен, чтоб пользователь не упал в пустоту

как оно?
❤️ что-то пошло так
😈 что-то пошло не так

#fallback #pm

Ты вообще знаешь, как интернет работает? Откроем страницу в браузере

1) Пользователь открывает карточку товара
site.ru/product/123

2) Идет в DNS
Узнает, на какой IP сейчас указывает домен site.ru.

3) Устанавливает HTTPS-соединение
Браузер проверяет сертификат сайта и договаривается о шифровании данных.

4) Отправляет HTTP-запрос
Например: GET /product/123 - дай мне карточку товара по этому адресу

5) Запрос заходит в инфраструктуру сайта
Интернет → CDN → WAF → балансировщик → nginx.
CDN - сеть серверов, которая отдает пользователю тяжелые файлы поближе: картинки, стили, скрипты.
WAF - защитный фильтр перед сайтом, который отсекает подозрительные запросы.

6) nginx роутит запрос
Понимает, куда отправить его дальше: к фронт/бэк апи/статике..

7) Сервис готовит данные
Может сходить в базу, обработать данные, сходить в другой сервис

8) Параллельно события могут улететь в Kafka
Потом их читают аналитика, рекомендации, антифрод и другие системы.

9) Ответ возвращается в браузер
Это может быть HTML или JSON. CSS, JS, картинки и шрифты часто догружаются отдельными запросами.

10) Параллельно загрузке браузер проверяет кеш
Вынес отдельно как важный этап: загружаться с сервера могут не все данные, что-то может быть в кэше браузера

11) Браузер собирает страницу
Строит DOM - внутреннее дерево элементов страницы, применяет стили, запускает JavaScript и показывает интерфейс пользователю.

Вот так без предисловий:) Что-то новое узнали?
❤️ да, теперь знаю, что браузер строит DOM
😈 нет, итак знаю наизусть все 400ые ошибки

#интернет #культпросвет

Ты вообще знаешь, как интернет работает? Kafka

Решил немного технически обогатить #словарикпродакта. Вайбкодинг подталкивает. Поэтому стартую Цикл заметок-разбираловок.

Вы слышали про Кафку?
Kafka - это платформа для передачи потоков данных: один сервис публикует событие, другие сервисы его читают и обрабатывают. В официальной документации Apache Kafka описывается как платформа, которая позволяет публиковать, читать, хранить и обрабатывать потоки событий.

Пример
Пользователь оформил заказ,об этом должны узнать оплата, склад, доставка, уведомления, аналитика, антифрод..
Можно заставить каждый сервис напрямую дергать другие сервисы. Но так быстро появляется клубок зависимостей.
Kafka делает иначе: сервис публикует событие order_created, остальные подписанные системы забирают его себе.
На фото пример из статьи про муьтиплатформенный продукт

Вы точно слышали про Кафку! Но знали ли что это такое?
❤️ да, было понимание про очередь событий
😈 нет, "Несведущий человек действует смелей… Несведущему человеку все кажется возможным." Ф.Кафка

#словарикпродакта #инфра #kafka

Плохие выводы из хорошего A/B-теста

Финальная мысль - скелет лекции готов:)

Можно идеально разлить A/B-тест, проверить SRM, дождаться выборки, получить p-value и всё равно принять плохое продуктовое решение.

Что моет пойти не так:

Статзначимость без продуктового смысла

На большой базе можно поймать эффект в +0,1%.
Да, статистически значимо.
Нет, большого смысла выкатывать нет, если вы не Амазон.

Нужно оценить, окупает ли эксперимент разработку
не просаживает ли guardrail-метрики, не усложняет ли продукт, не конфликтует ли со стратегией

Можно выиграть тест, но проиграть продуктово.

Сегменты после итогов

Представьте, тест не прокрасился, но мы же не зря запускали!
Можно выковырять, что у новых пользователей на iOS из Воронежа в вечернее время выросла метрика!

Если нарезать кучу сегментов, где-нибудь почти всегда найдется победа.

Лучше зафиксировать ключевые сегменты до старта, а приятные находки после - считать не прокрасом, а новой гипотезой.

A/B-тест снижает неопределенность, помогает оценить сигнал.
Но не снимает с продакта ответственность за вывод и
не принимает за него решение, стоит ли по этому сигналу менять продукт.

#pm #abтесты #аналитика