Вправо Вверх 📈 Михаил Табунов

Записали с Колей Белоусовым подкаст https://youtu.be/cQwJn0epn1g

Перемыли всем кости, обкашляли важные вопросики, все как вы любите

В январе я писал про тест с вотермарками https://t.me/bossofyourboss/182, тогда я получил кучу фидбека от вас, в том числе про то почему вотермарк развернут вертикально, ведь так неудобно читать.

Мы прислушались к комментариям, и развернули вотермарк горизонтально. Результаты такие же плохие: получили всего 5 установок и около 1000 открытий ссылки, которая стоит на вотермарке.

Возможно, на вселенских масштабах как у TikTok это и работает, но мы пока оставили всё по-старому

Очень неоднозначный тест мы провели на iFunny.

Мы сортируем ML-ленту по убыванию вероятности лайка и других действий. Это круто работает и дает рост ретеншена, но есть одна проблема: если пользователь не делает никаких экшенов – качество ранжирования сомнительно.

Мы решили сделать сортировку по вероятному времени просмотра. По каждому мему мы начали собирать количество секунд, которые пользователь потратил на просмотр мема. На основе этих данных обучили модель, которая ставила наиболее залипательное вперед.

Результаты такие:
- В когорте low activity есть рост глубины просмотра, и им явно это зашло
- В когортах medium/high activity упали метрики вовлечения (лайки, шеры), но время в приложении чуть выросло
- Субъективно, стало больше контента который нельзя быстро осмыслить

Однако ретеншен никак не изменился.
Тестим дальше

​Элон Маск параллельно ведет 8 бизнес-проектов. Как это возможно? А как же фокус? Что скажут инвесторы и инфобизнесмены?

У меня есть давняя мечта – оседлать виральность, и сделать продукт который будет распространять сам себя. И единственный на сегодня пример такой виральности – инвайты по телефонной книжке. Пользователь дает доступ к контактам, и дальше рассылает приглосы друзьям.

Мы проверили такую схему в ABPV, и результаты первых тестов плачевные. Мы тестили кучу офферов, пять разных дизайнов, и в самом лучшем варианте инвайтит всего 0.1% юзеров.
Не получили даже сотню инсталлов за период с теста.

Будем копать дальше, ждите новых постов

Мы продолжаем копать онбординг в ABPV. Вместе с аналитиками узнали, что если пользователь ставит приложение после 19:00 NY time, то сидит без пушей целых 13 часов, и поэтому ретеншен таких пользователей ниже.

Сделали тест: расписание пушей рассчитывалось от времени инсталла (первого старта). Пуши в тесте приходили так: первый пуш через 15 минут после установки. Далее через 1, 3, 5, 7, 9 и 11 часов. Всего 7 онбординговых пушей, специально выбранных по CTR.

Казалось бы, беспроигрышный тест. Больше пушей – выше ретеншен – больше бабла. Но жизнь сложнее.

В нулевой день в тестовой группе был яркий позитив – больше сессий, больше просмотров, больше вовлечения. Но на первый день ретеншен был хуже. Оказалось, что новые пользователи пугались такого объема пушей, и удаляли приложение.

Теперь делаем второй тест, где онбордящих пушей не семь, а три, и приходят они не так часто.

вспомните эту картинку когда будете оплачивать курсы по продакт менеджменту

Наш новый проект ABPV на этой неделе пробил 100К DAU. В день он зарабатывает уже в два раза больше русского АйДаПрикола, где 300К DAU. И это только первый квартал.

Богатый рекламный рынок в США, очень богатый.

​Тестили новые вотермарки в iFunny и APBV. Картинки прилагаю.

Результаты плачевные: никто не вбивает текст с картинки в браузер. Видимо, слишком геморно и непонтяно зачем. С нескольких сотен тысяч шеров и сейвов за две недели мы получили 6 инсталлов. Конверсия просто супер мизер. Сама воронка нормальная, просто никто не вбивает домен приложения в браузерную строку.

Плюс к этому, в тестовой группе пользователи начинали меньше сохранять и расшаривать. Для нас это минус, так как рекомендер контента хуже учится.

В результате отрубили

​Результаты года в iFunny отражу графиком среднего времени в приложении на юзера. Выросли почти на 40%, c 40 минут до 55, при росте всех основных аудиторных метрик (DAU/MAU/WAU).

В основном за счет работы с контентом, многоруких бандитов и ML. В этом направлении копали последние два года.

Вся команда большие молодцы. Всегда приятно работать с профессионалами. 🍾

Последнее время воюем с кучей багов в ABPV и iFunny. На удаленке не хватает коммуникации, да и далеко не все оказались готовы к удаленной работе. По этому поводу решил вспомнить самый лютый баг в моей карьере:

Дело было в 2013, я работал CTO коуба, и дебажил странный баг. Я написал что-типа current_user = User.find(1) для простоты отладки, починил баг, и хуйнул сразу в прод.

Через 5 минут звонок на телефон. Звонит очень дальний знакомый и говорит: слушай, я тут на твой сайт зашел, и почему-то сразу под тобой залогинился. Это что, у вас новый прикол такой?

На 30 минут я залогинил всех юзеров коуба в свой админский профайл. Почти пол часа любой имел доступ ко всем админкам, удалялкам и банилкам.

Факап я быстро откатил назад, и вроде никто из пользователей особо не спалил. Но запомнилось надолго.

Поделюсь болью: для персонализации нам нужен пол, возраст и геопозиция пользователя. Запросили у фейсбука доступ в девелопер консоли, и пять раз получали реджект. Скоро отправляем в шестой раз. Что не нравилось:

1. Не могли запустить билды
2. Было непонятное описание, зачем нам эти пермишены. Хотя оно в 6 абзацев текста
3. Пользователь не может логинится в один клик

Короче, лютейше они озверели. Самый дикий стор приложений на данный момент. Даже в Apple Store такого нет.

Многие думают что развитие рост продакт-менеджера заключается в получении новых навыков: касдев, работа с аналитикой, юнит-экономика, приоритизация, статистика, итп. Так мы получаем менеджеров, которым есть что написать в резюме, но они ни в чем не разбираются.

Основная ценность менеджера продукта – глубокое знание рынка, пользователя и его потребностей. Выберите свою нишу, и досконально изучите бизнес и рынок. Начните изучать пользователей: задавайте вопросы, находите на них ответы с помощью тестов и аналитики. Смотрите на конкурентов: как часто релизятся, что запускают, кого нанимают, считайте их экономику, итп. Копите знания.

На это уйдут годы, но эти знания на рынке стоят миллионы. Невозможно стать крутым продактом, работая 2 года в екомерсе, потом 2 года в играх, и еще 2 года в B2B SAAS сервисе для учета финансов. Знания везде будут поверхностные, и в результате дорого себя не продашь.

​Зацените какой рост нам дал тест пушей по таймзонам.

Как было: пуши рассылались 7 раз в день, в одинаковое для всех таймзон время. Первый пуш в 5 утра LA, последний в 7 вечера.

Как стало: начали слать пуши по таймзоне юзера. За счет этого получилась ступеньчатая рассылка пушей: пользователи первой зоны получают 20 пушей в равных пропорциях, и перед рассылкой во вторую зону мы выбираем лучшего по CTR и шлем только его. Получается, для каждой рассылки выбираем максимально доступный CTR.

Смотрите графики. В целом рост 15-20%, и есть что оптимизировать.

Пока мы делаем тесты и работаем с продуктом, наши пацаны воюют с бруклинскими гуманитариями. Денис написал отличный пост про это, подписывайтесь на него https://t.me/memeuar

Больше трех лет я бился над увеличением ретеншена новых пользователей в наших проектах, и вот наконец это получилось сделать. Перед тем как меня осенило, мы провели 15 тестов различных онбордингов в iFunny и ABPV.

Сработала очень красивая и простая идея:
– Взяли TOP пушей за последние 90 дней по убыванию CTR
– Построили TOP контента за последние 90 дней по убыванию Action Rate (отношение действий на 1000 просмотров)

И новым пользователям в тесте слали первые 7 дней только пуши и контент из этих топов. Запустили тест, и
ретеншен сразу отреагировал, рост более чем на 10% в первый и все дальнейшие дни.

Дальше будем развивать это направление: делать персонализацию, тестить топы пушей, вкручивать туда бандитов, итп.

​Записали вчера кейс как мы используем ML и многоруких бандитов в iFunny. Смотрите тут https://epicgrowth.ru/seasons

Напомню как работает наш продукт: пользователи постят всё в общую ленту Collective, а кор-аудитория ставит этому контенту лайки. На их основе мы каждый день публикуем 300 лучших мемов в главную ленту.

Раньше редакторы сидели в админке, искали лучший по их мнению контент в Collective, и собирали выпуски лучших.

Мы решили переосмыслить суть редакционной работы. Сделали алгоритм, который сам дает на апрув редактору лучшее на основе интервала Вилсона. И редактор или апрувит или отклоняет.

Тест шел в четырех группах: дефолт, роботы, US редакторы, и московская редакция.

Роботы сразу показали минус, поэтому их отрубили через три дня. По остальным результаты такие:
– Рост глубины просмотра и длины сессии во всех тестовых группах
– Рост Smiles Rate, Shares Rate и остальных метрик вовлечения на 5-20%
– Рост ретеншена в группе с US редакцией

Получается, что редактора пропускали часть крутого контента, и за счет этого мы теряли пользователей.
После раскатки этого теста мы пробили порог в 100 лайков на 1000 показов.

Теперь представьте себе классическое медиа с главредом, редакционной политикой, и редакторами, которые что-то там выбирают. У этого просто нет будущего.