ANDRON ALEXANYAN

Новый канал ❕

Душа требует говорить не только про аналитическое, но и про предпринимательское — маркетинг, продажи, управление, батхерт из-за роста налогов и многое другое. Поэтому, чтобы не мешать все в кучу, я завел для этого отдельный канал!

Там честно рассказываю про свой предпринимательский путь — как развиваю бизнесы, как запускаю новые проекты, как сажусь в лужу (надеюсь такого будет поменьше 🤓) и просто всякие фишечки операционки, которые работают у меня.

Если вам интересно понаблюдать за этим, а также регулярно получать порцию полезностей — буду рад вашей подписке: https://t.me/andron_alexanyan

Уже опубликовал посты:

— Как подружить маркетинг и продажи
— Несколько рабочих механик для найма людей (и парочка приколов)
— Как принимать правильные решения, а неправильные не принимать

Скоро уже опубликую новые, так что подписывайтесь и читайте с удовольствием ✌️ А всем новым подписчикам — подарок в закрепе)

P.S. Здесь также остаюсь на связи и продолжаю писать про аналитику 🤝

Ну что, выкладываю обещанный пост про выбор неправильных пороговых значений!

Часто при проведении аналитики нам приходится задавать некоторые «критерии» вручную. Это довольно субъективная штука, так что ошибиться очень легко. И в то же время цена ошибки может быть очень большой, потому что именно от этого зависят конечные управленческие выводы.

Несколько примеров таких «критериев»:

— Как выбрать пороговые значения для групп А/B/C в ABC-анализе ассортимента (взять стандартные 80/15/5 или сделать как-то иначе?)
— Как выбрать пороговые значения для групп X/Y/Z в XYZ-анализе стабильности спроса (взять стандартные <10/<25/25+ или сделать как-то иначе?)
— Какие значения считать большими, какие средними, а какими маленькими в каждой из групп по Recency, Frequency и Monetary в RFM-анализе клиентской базы (здесь вообще нет стандарта — придется выдумывать самому)

Буквально недавно я и сам столкнулся с проблемой, что несколько раз подряд был вынужден корректировать «критерии», потому что промахивался с выбором. Так и родился этот пост — поделюсь, на что я опирался, когда принимал решение, что все-таки ошибся)

В моем случае задача была настроить сегментацию клиентов (что это такое, писал тут) для нового проекта. То есть в отдел продаж попадают заявки и нужно прописать критерии квалификации — кого мы считаем квалифицированным, а кого нет.

По мере накопления данных я менял и количество критериев, и сами критерии, и распределение значений внутри конкретного критерия. Например:

— Изначально одним из критериев была «Осведомленность о компании», потом я этот критерий убрал.
— Внутри критерия «Предпочитаемый формат» опция «Рассматривает только офлайн» сначала относилась к С-сегменту (квалифицированный, но слабо нам подходит), а затем я перенес это значение в D-сегмент (это уже неквалифицированная сделка и мы ее закрываем).

На что я опирался при принятии решений (вы можете делать также в своих задачах):

1. Соблюдение принципа «пирамиды»

Почти во всех подобных задачах объекты в группах должны быть распределены по принципу пирамиды.

Например, в случае моей задачи А-лидов (то есть супер горячих) должно быть прям немного, B-лидов (достаточно горячих) должно быть побольше, а С-лидов (квалифицированных, но есть к ним вопросики) — существенно больше. Если у вас получилось, что Ашек прям много, Bшек почти нет, а Cшек сопоставимо с Ашками — вы явно сделали что-то не так.

Тоже самое в АБС-анализе — группа ААА априори не может быть больше группы BBB или даже ABC. Если вы провели анализ и весь ваш ассортимент супер топовый — вы просто недостаточно жесткие требования к нему предъявили)

2. Имеется адекватный минимум

Этот пункт как бы продолжает предыдущий с одной стороны, но и противопоставляется ему одновременно. Идея в том, что при выполнении принципа пирамиды надо не пережать — в каждой группе должны быть объекты и их должно быть достаточно.

Условно, если у вас 300 лидов и из них одна Ашка или их нет вообще — это странно. Если у вас 1000 товаров и в группе ААА всего один товар — это странно. Если в RFM анализе у вас VIP-клиентов один человек из 5000 клиентов — это странно.

В таком случае, скорее всего, это повод немного «разжать тиски» и сделать критерии более мягкими. Например, в случае с сегментацией клиентов я могу ослабить критерий «готовность платить» с «готов платить в течение суток» до «готов платить в рамках недели». Какой смысл иметь красивый критерий, если под него никто не подходит)

Но здесь есть ловушка. Такое вполне может быть, что вы привели 100 лидов и Ашек там действительно нет. Не факт, что критерии кривые — возможно вы просто привели холодный трафик. Поэтому такие решения надо принимать на бОльшей выборке и только после ручной перепроверки.

3. Что происходит после работы с этой группой объектов

Когда мы разбиваем объекты на такие группы, это всегда делается для того, чтобы потом с ними как-то поработать. Например, заявкам мы присваиваем сегменты, чтобы понять, как им потом продавать. А клиентскую базу делим на RFM-группы, чтобы понять, что им предлагать, чтобы их реактивировать и увеличить выручку с одного клиента.

Соответственно, если вы получили какие-то группы, затем предпринимаете какие-то действия, но получаете не тот выхлоп, который вы ожидали — возможно проблема не в действиях, а в том, как вы сформировали группу.

Пример: я на опыте знаю, что С-сегмент лидов — это квалифицированные лиды, которые так или иначе закрываются в продажу. Да, это занимает больше времени. Да, с ними нужно по-особому работать. Но конверсия там ненулевая. Так вот когда я увидел, что у нас уже несколько сотен С-лидов, прошло достаточно времени и работаем мы с ними адекватно, но там даже намека на сделку нет — я понял, что проблема не в нас, а в слишком позитивной расстановке сегментов.

Именно так критерий «рассматривает офлайн» и перекочевал из С в D сегмент (писал выше) — в результате просмотра сделок «глазами» я понял, что именно эта штука создает нам ложную картинку.

4. Обязательное наличие дисперсии у каждого критерия

Тут все просто — если у какого-то критерия одинаковые значения по всем объектам, то нафиг такой критерий нужен) Ну условно, если на вопрос «Знаете ли вы нашу компанию» 99% заявок отвечают «нет» — убери этот критерий, не усложняй жизнь менеджерам и клиентам и поработай над своей репутацией и брендом))

Заключение

Это не все приемы — есть еще несколько, но они уже не влезут в пост) Кроме того, помимо самих приемов, есть еще масса методов борьбы с этим — например, делать ABC-анализ не вручную, а через кластеризацию.

Если эта тема вам интересна — накиньте реакций!) Как соберем 50 реакций, продолжу серию постов на эту тему!)

В прошлом июне я писал личный пост о том, что меня прям торкнуло, когда мы анонсировали запуск совместной магистратуры с МИФИ. В потоке рабочих задач не замечаешь, как жизнь вокруг меняется — а в тот момент оглянулся и вдруг увидел, как большой путь мы прошли: от первой демо-версии нашего курса в гугл-доке до совместной маги с ТОП-2 ВУЗом страны!

Прошло чуть больше года, и все опять незаметно поменялось. Год был объективно непростой (здесь шутка про бензин 🤡), но мы шли вперед и росли — в том числе в плане магистратуры.

Каждую неделю мы проводили совещания, следили за прогрессом магистров, придумывали какие-то нововведения, находили узкие места и допиливали продукт. Я лично просидел больше 15 часов на личных зум-встречах с нашими магистрами, подробно расспрашивая их про их опыт учебы у нас, что нравится, что улучшить и тд.

И результат на поверхности:

— Почти все студенты в исходном составе закончили первый курс и уверенно двигаются в сторону защиты магистерской диссертации.
— Средняя оценка материалов — 8.9 / 10. Посмотрел буквально перед написанием поста, свежачок) И это очень хороший результат, учитывая, что отзывов сотни!
— В этом году мы набираем в 4 (!!!) раза больше студентов, чем в прошлом году.
— Многие из студентов, которые поступают на первый курс, пришли по рекомендации — это дорогого стоит!

В общем, горжусь тем, что мы делаем! Будем продолжать в том же духе — надеюсь, в следующем году будет такой же пост, с еще более мощными изменениями!)

Что сказать напоследок... Да наверно просто напомню, что через 2 дня прием документов закрывается и больше поступить в эту магистратуру возможности не будет. У нас еще осталось несколько мест в последней группе, еще успеете запрыгнуть → записаться можно здесь

Если вы хотите стать крутым аналитиком данных с сильной экспертизой в дата-инженерии — наша магистратура идеально вам подходит. У меня точно такой же диплом — будем с вами в одном клубе (а здесь скромный понт про то, что я вхожу в ТОП-10 аналитиков России по версии NewHR 🤡).

Учиться супер удобно:

— Обучение полностью онлайн, никуда ездить не нужно, преимущественно асинхронно
— Все преимущества студента МИФИ — отсрочка, студенческий билет, скидки в музеях, налоговый вычет, выпендриваться перед друзьями и коллегами за столом
— Максимально прикладное обучение, а не голая совковая теория
— Вы не одни — с вами работает опытный ментор, кураторы Симулейтив, а наш Карьерный центр поможет с трудоустройством

Если хотите записаться или просто узнать подробности — переходите в бота. Через несколько дней заканчивается приемная кампания во всех ВУЗах и поступить после этого уже будет нельзя, так что не тяните)

P.S. И остаемся на связи — на днях выложу пост про маркеры того, что вы выбрали неправильные пороговые значения при проведении аналитики.

Друзья, мы начинаем! Подключайтесь: https://start.bizon365.ru/room/73631/liveweb_bootcamp_june

UPD. Закончили)

Приходите сегодня в 19 мск на открытый эфир со мной!

1. Будем практиковаться: писать SQL-запросы и строить дашборд для руководителя
2. Поговорим про рынок труда — какие коррективы вносит развитие ИИ, кризис и отсутствие бензина 🤡
3. Поговорим про карьеру — расскажу, как можно стать аналитиком за 10 недель

Плюс для всех участников подготовили бонус — дополнительная домашка по мотивам того, что разберем на занятии!

Ссылочку вкину сюда перед стартом 😏

В продолжение темы по временным рядам — иногда умение работать с ними помогает решать и другие, сильно более утилитарные задачки.

Например, недавно я проводил вебинар, где на примере оценки рекламных кампаний показывал концепцию прокси-метрик. Идея простая — иногда у нас тупо нет времени/денег тестировать рекламу и ждать результат «в деньгах» (ну то есть как наши заявки с рекламы сконвертируются в оплату). И чтобы ускорить эксперимент, часто выбирают прокси-метрику — метрику, которая достаточно сильно связана с нашей целевой.

И вот это «сильно связано» можно формализовать как раз с помощью временных рядов. Обычно берут 2 ряда данных (например, данные по продажам и данные по стоимости заявки), строят регрессию и смотрят на коэффициент R2. Если он больше 50% (то есть одна метрика объясняет более 50% разброса другой величины), то метрику можно считать прокси.

И таких примеров очень много — навык прогнозирования вообще часто пригождается в подобных задачках (хоть иногда и приходится повозиться).

Если тема временных рядов вам интересна — мы на несколько дней открыли записи наших закрытых эфиров по временным рядам. Один из них как раз про прогнозирование.

🔗 Забрать эфиры

В аналитике есть задачи, которые сложно решить не потому что «у вас не прокачано продуктовое мышление», а просто потому что для решения этой задачи нужны специальные знания. Причем иногда даже смотришь на проблему и не подозреваешь, что уже существуют готовые инструменты для решения подобных задач.

Одна из таких тем — работа с временными рядами. На мой взгляд, это очень недооцененный и полезный навык: огромное число бизнес-задач можно решать именно с помощью обработки рядов. Вот несколько примеров из моей практики.

Одно из больших темных пятен для селлеров на маркетплейсах — как связаны события «человек добавил товар в корзину» и «человек сделал заказ» (да, представьте, некоторые маркетплейсы не показывают такую статистику). Эта информация очень важна — иначе ты вообще не понимаешь, как связаны:

1/ реклама, которую ты крутишь СЕГОДНЯ
2/ корзины, которые люди кладут СЕГОДНЯ с твоей рекламы СЕГОДНЯ
3/ заказы, которые люди делают СЕГОДНЯ, а еще все последующие дни...

Можно, конечно, проводить шальные эксперименты формата «сегодня покрутим, завтра отключим — посмотрим на дотекания заказов». Но, во-первых, алгоритмы рекламные такое не любят. Во-вторых, не все готовы жертвовать выручкой ради инсайтов.

А решить эту задачу можно достаточно качественно с помощью обработки временных рядов. Банально — взять временные ряды рекламных кликов, корзин и заказов и посчитать кросс-корреляции.

Например, на одном проекте мы так выяснили, что один товар заказывают день в день, а у другого похожего товара заказ делают с лагом почти в 7 дней! И это очень полезная информация — после этого мы можем более точно оценивать окупаемость маркетинга + планировать запуск рекламы, оптимизируя рекламный бюджет.

Но иногда просто посчитать кросс-корреляции недостаточно и нужно копать глубже. Тогда помогают инструменты типа псевдоконтроля, causal impact и другие инструменты проведения экспериментов без А/B-тестирования. И в их основе тоже лежит работа с временными рядами!

Вообще, тему временных рядов я люблю — у меня много статей на эту тему и кандидатская диссертация про обработку временных рядов)

Если вам интересно разобраться глубже в этой теме — на 3 дня открыли для вас записи практических эфиров по временным рядам.

🔗 Забрать можно в телеграм-боте

Первый эфир — про прогнозирование. Второй — про анализ многомерных рядов и влияние рядов друг на друга. Уверен, что после просмотра вы точно захотите закопаться в эту тему поглубже (я вот уже 10 лет копаюсь и все никак не могу остановиться 😄).

Еще буквально несколько лет назад в любой современной компании были задачи, которые ОЧЕНЬ важны, но при этом решать их всегда было невероятно сложно/дорого/долго. Например:

🕊️ Контроль качества звонков менеджеров по продажам. Позволить себе такое могли только достаточно крупные компании и расходы на ОКК составляли миллионы рублей ежемесячно — для этого привлекали десятки «специалистов», которые тупо по чек-листу слушали всего лишь 10% (!) диалогов (больше было тупо дорого).
🕊️ Проводить исследования аудитории (кастдевы, глубинные интервью и проч). Это очень нужно, чтобы дорабатывать свой продукт, формулировать маркетинговые офферы, лучше понимать запросы аудитории и проч. Но это всегда было узким местом — горящие проекты всегда натягивали на себя внимание и для такого не оставалось пространства. Большие компании нанимали целые отдельные (и дорогие) команды продактов или заказывали ресерчи на аутсорсе.

Список можно продолжать очень долго — это всего лишь несколько примеров.

Но с развитием AI все очень сильно поменялось — за счет невероятного роста качества транскрибации + анализа диалогов, в компаниях буквально появился новый (недооцененный!) источник данных.

То есть в любой компании можно настроить супер дешевый и супер простой механизм:

🕊️ все телефонные диалоги с каждым клиентом транскрибируются
🕊️ далее все переписки + все транскрибации по каждому клиенту сгружаются в ИИшку
3️⃣ далее с помощью несложных промптов происходит обработка всего массива диалогов
4️⃣ во время обработки выделяются важные (для конкретной компании) признаки — например, «упомянул ли менеджер, что мы выдаем государственный диплом», «в какой сфере работает потенциальный клиент», «что самое важно останавливает клиента от покупки», «какой основной страх клиента», «что самое важное для клиента при выборе» и т.д.

Естественно, это делается не вручную, а настраивается автоматически, с помощью несложных Python-скриптов.

По сути, если немного повозиться, на выходе мы можем получить размеченную базу данных с такой информацией:

— номер сделки
— купил / не купил
— упомянул ли менеджер ...
— в какой сфере ...
— другие признаки ...

То есть мы взяли месиво из неструктурированной информации (а кучу транскрибаций диалогов иначе и не назовешь) и построили 2 стандартных ETL-пайплайна:

🕊️ забираем из API нашей CRM-ки (например, AmoCRM) записи звонок (буквально mp3-файлы) с помощью несложного скрипта на Python → закидываем каждый звонок с помощью этого же скрипта по API в Whisper / ChatGPT / еще какую-то AI-приблуду, которая может превратить наш звонок в текст за не очень дорого → загружаем полученные транскрибации в базу/хранилище/озеро данных (да хоть в файлики, по сути не так важно)
🕊️ берем полученные записи → закидываем их новым Python-скриптом по API в тот же ChatGPT / еще куда-то для выделения признаков с помощью промптов (писал выше) → получаем уже структурированный набор данных (пример выше) и записываем его в классическую базу данных

А дальше — работаем с этими данными, потому что это бесконечный источник полезной информации или аналитических исследований! Вот несколько примеров, что можно делать:

— Провести анализ — какие боли/страхи клиентов чаще всего мешают покупке и приводят к неуспешным сделкам
— Провести анализ трендов — как от месяца к месяцу меняется упоминание возражения «не хочу учиться долго, хочу максимально быстро освоить профессию»
— Выявить паттерн изменения болей клиентов — по каждой боли построить динамику изменения за каждый месяц и посмотреть: какая боль убывает, а какая наоборот набирает обороты

И чем дальше мы в это будем погружаться, тем больше нам захочется копать глубже! Только раньше у нас таких возможностей не было, а теперь появились!

Здесь хочется подчеркнуть важную мысль, про которую я говорю каждый раз. Аналитика — это сфера, в которой аппетит приходит во время еды.

Как только компания получает в руки отчет, который раньше она делать не могла — в ту же секунду такой уровень отчетов становится для них нормой и они сразу же начинают хотеть смотреть глубже.

Это всегда так работает — именно поэтому аналитики обеспечены работой гарантированно навсегда 😄 Развитие ИИ нам на руку — чем больше он прогрессирует, тем больше у нас задач и пищи для анализа.

Кроме того, сама ценность аналитики кратно повышается. Раньше очень много было ретроспективной аналитики — мы анализировали и считали метрики по историческим данным. Теперь все больше мы можем строить прогнозы в формате «мы видим вот такой паттерн у наших клиентов, давайте попробуем изменить наш продукт».

И такие штуки применимы не только в поиске новых продуктовых фич — вы можете строить похожие пайплайны в анализе обращений в саппорт, в анализе новостного поля, в анализе ваших конкурентов и много-много всего.

Что еще прикольно — я тут вот вроде описал какие-то сложные, на первый взгляд, вещи (API, питон-скрипты, пайплайны, автоматизация и проч). А на деле это парочка несложных Python-скриптов, которые отправляют запросы в API нескольких сервисов и складывают данные в базу. Любой студент, который прошел ключевые модули нашего курса, обладает достаточным уровнем технических знаний, чтобы решить эту задачу. А с учетом того, что часть кода вам сама ИИшка и поможет написать, задача еще сильней облегчается)

Это я к чему — это все не какая-то алхимия, это очень простые вещи, которые вы можете делать уже прямо сегодня, даже если только начинаете свой путь в аналитике. И этот путь стал еще занимательней: вы сами видите, буквально на наших глазах появляются новые крутейшие и интереснейшие задачи, которые раньше могли себе решать только бигтехи с огромными командами. А теперь такое могут делать все и спрос на это будет расти и расти)

Мы, кстати, и сами активно такими штуками пользуемся. Например, последнее время мы проводили глубокое исследование и решили кардинально пересобрать наш флагманский продукт — курс «Аналитик данных». Уже через 1 день, с 1 июля, старая версия будет недоступна для новых студентов.

Мы очень сильно его переосмыслили — про причины и изменения напишу отдельный пост: что увидели, как считали и почему приняли именно такие решения.

Отчасти эти изменения были неизбежны. Глупо отрицать, что мир не изменился. Он изменился очень сильно и продолжит меняться дальше. Сейчас есть короткое окно возможностей, и мы хотим, чтобы наши студенты стали бенефициарами этих изменений.

Поэтому приглашаю вас пройти путь «с нуля до крутой карьеры в аналитике» вместе с нами.

Сегодня и завтра — последние 2 дня, когда вы можете вписаться в программу «Аналитик данных» по старым, самым выгодным условиям. Уже послезавтра, 1 июля, мы анонсируем новый продукт — условия уже будут другие, но если вы оплатили раньше — мы переведем вас без доплат.

Если вы готовы доверить свое обучение в наши руки — просто переходите в ботика и оставляйте заявку. И можете быть уверены — мы вас не подведем!

P.S. Кто уже учится у нас и читает этот пост — не переживайте, в ближайшие пару дней мы подробно опишем вам процесс перехода на новый формат.

P.P.S. Пока писал пост, общался с одним из наших студентов и прям в моменте придумали классную штуку — мы добавим в курс мастер-класс от меня лично, где я покажу, как строить эти самые пайплайны с ИИшками, API и прочими штуками, которые описывал в этом посте. И каждый студент сможет себе в портфолио положить такое — это вообще бомба будет!)

Только что закончили вебинар — всем спасибо, кто пришел в лайве! Круто посидели, навалили кучу пользы и даже не потратили 3 часа, как обычно это у меня бывает 🤡

Основной задачей моего рассказа было показать, что «делать аналитику в теории» и «делать аналитику на практике» — две очень разные задачи. И не потому что во время учебы дали «тепличный пример» или потому что «аналитика не работает». А потому что в реальной жизни ты постоянно сталкиваешься с ограничениями, которые невозможно предусмотреть заранее (да и вообще они уникальны каждый раз) — грязные данные, дефицит информации, недостаток времени/бюджета на тесты и куча всего еще.

На вебинаре мы на конкретном примере посмотрели: как из «правильного» теста объявления за 11 миллионов (!!!) рублей мы сократили тест до 1500 тысяч рублей и результат остался статистически значимым (!). Мы не обманули систему, не пожертвовали точностью — мы просто адаптировали классический «идеальный» подход под реалии жизни)

И такие конструкции работают везде. Например, когда делаешь анализ ассортимента в реальной жизни, сталкиваешься с вещами, о которых даже не мог подумать — сезонность, обязательный ассортимент, ценовые сегменты, десятки групп и подгрупп, неоднородность ассортимента в разных точках, эластичность... Но эту задачу можно решить — это будет все тот же ABC-анализ, только на стероидах и с кучей адаптаций.

И именно про это полтора года назад я запустил свой авторский тренинг «Как делать аналитику». За последние годы я поработал с десятками проектах в самых разных нишах — B2C, B2B, ecom, маркетплейсы, ритейл, аптеки, медицина, образования, gamedev... Даже аренда люксовых авто и частных джетов были!!! И я по крупицам выработал для себя рабочие инструменты и подходы, которыми пользуюсь до сих пор каждый день — как РЕАЛЬНО делать аналитику в условиях РЕАЛЬНОЙ жизни.

Если вы опытный аналитик, то тренинг — именно тот шанс, который вам нужен для скачка на следующий уровень. Если вы только начинаете — тренинги станет отличной базой, дальше вы будете наслаивать новые знания на уже окрепший фундамент. Если вы просто работаете с данными (руководитель/маркетолог/продакт/кто угодно еще) — для вас тоже будет много полезного.

Чтобы записаться на тренинг или обсудить конкретно ваш запрос — просто оставьте заявку и мы подробно вас проконсультируем.

Мы открыли набор уже давно, но я первый раз пишу об этом здесь — до старта осталось всего 4 дня, не упустите возможность запрыгнуть в последний вагон. Предыдущий поток мы запускали полгода назад и больше не планировали — решили сделать еще один запуск по просьбам студентов. Следующего потока, вероятно, уже не будет.

Важный момент — это не курс. Эти материалы вы не найдете на ютубчике: весь материал — это выжимка моих знаний и накопленного опыта, поэтому тренинг и называется «авторский». Более того — вы сможете задать мне абсолютно любой вопрос лично: я вникну в ваш кейс и дам подробный ответ. И эта опция, вместе с материалами, останется у вас навсегда.

В общем, если вам актуально прокачать свою мышцу делать выводы, искать инсайты и проводить аналитику даже в тумане — записывайтесь на тренинг 🤝

[ВЫ ЗАРЕГИСТРИРОВАНЫ НА ВЕБИНАР]

Сегодня в 19:00 мск проведу вебинар «Аналитика в реальной жизни: как делать выводы, когда из данных ничего не понятно?».

Тема очень горяченькая. Буду рассказывать на примере рекламных объявлений, но полезно будет абсолютно всем, чтобы посмотреть — как использовать аналитику не в сферическом вакууме, а в реальной жизни, где постоянно не хватает времени/денег/еще чего-то.

Если опираться на умные книжки, то чтобы получить статистически значимый результат «объявление нужно отключить» иногда нужно потратить по 2-3 миллиона рублей на каждое. Понятно, что это бред) Получается, аналитика — бесполезна?

Нет, на вебинаре как раз конкретно покажу — как адаптировать это к реальной жизни и проводить тесты «дешево и сердито». Все, как мы любим)

И еще раз — актуально будет не только маркетологам и не только гуру математики. Все буду объяснять максимально понятно и на жизненных примерах) Моя задача — показать одно из применений аналитики на практике, чтобы у вас выстроился мостик «теория → практика». Приходите!)

Ссылку на подключение закину сюда за 10 минут до начала.

Буквально только что во внутреннем чатике наша студентка с курса по аналитике данных написала полезный фидбек на мой пост (Ольга, спасибо!). И я понял, что немного обосрался — сейчас исправим 🤡

В своем посте я забыл подчеркнуть одну маленькую, но КАПЕЦ КАКУЮ ВАЖНУЮ деталь:

Я говорил не о том, что вам нужно знать, чтобы зайти в профессию.

Я говорил о том, в какую сторону вам нужно продолжать развиваться, чтобы оставаться конкурентоспособным и расти в профессии, когда вы уже стали аналитиком.

Вырос ли порог входа в аналитику за последние годы? Да, абсолютно точно — и это нормально, потому что профессия аналитика достаточно молодая сама по себе.

Но Ольга очень точно заметила:

На одном из вебинаров, когда я только начала учиться в Simulative меня вдохновила фраза одного из менторов курса, что да, требования выше становятся, но и людей меньше, которые доходят до конца. И в моменты желания отложить курс, я вспоминала, что продолжая учиться, я попаду в этот маленький процент, и будет меньше конкуренции.

Именно так! Это так и работает. И про это и есть мой самый первый и самый главный тезис — «учитесь решать (и любить решать) сложные задачи».

Представьте двух кандидатов:

* Первый закончил курсы, на собесе чувствует себя неуверенно, портфолио пустое или с какими-то элементарными проектами, разбор которых есть на Хабре
* Второй — с легкостью решает задачи на собесе и с мощным бизнесовым портфолио

Кому отдадут предпочтение? Конечно второму! И не потому что он красивое портфолио собрал. А потому что работодатель понимает, что уровень задач, которые сможет самостоятельно решить второй — сильно выше. Он сможет решать сложные задачи (ну то есть вообще сможет их решать), простые задачи сможет решать быстрей и так далее. Это вы-год-но.

Итак, подытожу:

1. Чтобы войти в аналитику, достаточно знать самые основные темы — SQL, Python, метрики и базово BI. Если знаете больше (например, можете автоматизировать скрипт) — это точно плюс, но не блокер.
2. Но знать эти базовые темы нужно на продвинутом уровне — иначе вот в этом моменте вы проигрываете конкуренцию. Раньше проигрывали только другим кандидатам, которые чуть усердней вложились в свою подготовку, а теперь еще маркетологу, который сам может навайбкодить себе что-то.
3. Но если вы уже на старте круто разбираетесь в базовых темах (кто у нас учится — если вы, например, сложные кейсы по SQL из курса решаете) — у вас все круто, можете не переживать.
4. Еще раз подчеркну — НЕ НУЖНО УЧИТЬ ВСЕ СРАЗУ. В математике есть термин «максимально минимально». Вот и тут так — ваша задача освоить максимально быстро максимально минимальное количество тем, чтобы как можно быстрей выйти на рынок труда и получить оффер. Все остальное — в процессе.
5. А вот дальше, чтобы развиваться, нужно будет прокачиваться дальше. ДЕ, ИИшки, продуктовый подход. Это нормально — сейчас мир супер динамичный и было бы странно, если можно было бы иначе. За последние полгода несколько профессий просто исчезли с лица земли. Аналитику это точно не ждет, но трансформации будут (и вот про них как раз написал в предыдущем посте).

Это в целом про концепцию lifelong learning — сколько живешь, столько и учишься. Постоянно узнаешь новое и развиваешься, как профессионал. И это на самом деле очень круто — ты мало того что постоянно растешь (в зарплате тоже, кстати), так еще и постоянно испытываешь вау-эмоцию, типа «оу, это так можно было! как я жил без этого!»

И раз пошла такая пьянка — позволю себе незапланированный продакт-плейсмент) Пост вышел спонтанно, я вообще другой задачей занимался и не планировал ничео писать. Но если вам такая штука откликается — присмотритесь к нашей ПОДПИСКЕ НА ВСЕ КУРСЫ. Платите один раз и получаете доступ ко всему, что уже выпущено (и там как раз и аналитика, и DE, и A/B-тесты, и курс по ИИшкам, и тренинг про продуктовое мышление), так еще и ко всему, что еще будет (а планов у нас ого-го!!!).

У нас до конца июня идет акцию на подписку — даем огромную скидку (а для наших студентов еще больше). В июле поднимем цены (т.к. с прошлого раза туда добавилось уже 7 программ!).

Если вам интересно — напишите просто «+» или что угодно еще в чатик нашим менеджерам, они подхватят и проконсультируют вас: @simulative_team_3 🧡

На днях я глубоко погружался в записи разговоров наших менеджеров с потенциальными клиентами и заметил интересную штуку — все чаще я слышу от людей непонимание, куда вообще двигать свою карьеру, с учетом развития искусственного интеллекта.

Ну то есть люди буквально в режиме ожидания: они реально хотят поменять свою жизнь и освоить аналитику данных, но боятся, что ИИ их скоро заменит. Хочу поделиться своими соображениями на этот счет — мне (скромно) кажется, что этот пост может вам помочь, если прямо сейчас вы задаетесь подобным вопросом.

За развитием ИИ я наблюдаю давно, причем изнутри. Еще в 2019 году я участвовал в проектах, где мы разрабатывали системы распознавания лиц по фото — сейчас такие системы стоят везде, а тогда это было супер новинкой. Потом случился ChatGPT и прочие штуки — мы начали активно использовать их API для бизнеса. Сейчас технологии шагнули далеко вперед, и я активно использую ИИшки в своей работе (50% времени наверно точно), в том числе для аналитических целей. Например:

— Я навайбкодил себе сервис с глубокой аналитикой рекламы в Яндексе и предиктивным подсказками. Раз в день захожу в сервис, трачу 10 минут на овервью всех кампаний, раздаю всем звездюлей и иду делать другие дела.
— Сделал ИИ-агента, который подключен к нашей корпоративной базе данных. С агентом можно общаться как с ChatGPT — текстом или голосом, и он по запросу отвечает тебе в цифрах на вопросы или даже формирует эксельки с выгрузкой. Сейчас тестирую сам, скоро раскачу на команду.
— Постоянно анализирую то, что раньше было невозможно — например, раньше я бы никогда не обработал 1000 звонков с клиентами (я с этого начал пост). Сейчас я это сделал за 5 минут и выделил несколько неочевидных для себя «болей» наших клиентов, которых раньше не было.

И таких кейсов я могу привести очень много. Реально, отрицать эту революцию просто глупо — если вы не хотите стать кожаным мешком на службе у роботов через пару лет, нужно серьезно задуматься о том, как стать бенефициаром этой революции)

Очевидно, что старые форматы перестают работать. Если ты просто «умеешь писать SQL-запросы» — тебя не наймут (или даже сократят). Но рынок не умирает, рынок меняется — это важно!!! И, если вы правильно видите изменения в рынке, то вы можете обойти многих своих конкурентов на рынке.

Итак, из своего личного опыта и десятков часов ковыряния с ИИшками, вот ТОП-5 штук, на которые вам нужно надавить, чтобы не прошляпить момент и круто стартануть/бустануть свою карьеру:

1/ Учитесь решать сложные задачи и закапываться в детали

Если схема базы данных легкая или нужно собрать элементарный отчетик — любой маркетолог с подключенной к БД LLM-кой справится с этой задачей и без вас, не зная SQL.

Но как только возникает сложная структура данных, куча корнер-кейсов, навороченные отчеты — LLM-ка начинает упускать детали, а менеджерам впадлу вникать и докручивать до результата. В этой части вряд ли будут существенные сдвиги, потому что это связано не с «глупостью» LLM, а с недостатком контекста по задаче.

Поэтому аналитики, которые могут решать реально сложные зубодробительные задачи — будут на коне. Мы всегда в это верили — именно поэтому про наши задачи в курсах часто говорят «Так сильно я еще никогда не потел, но оно того стоило».

Многие аналитики годами работали по факту переводчиками — просто переводили не с русского на английский, а с менеджерского на SQL-ный. И как правило запросы были не сильно навороченные. И ребята, которые остались на этом уровне или собираются заходить с таким уровнем знаний — вот у них будут проблемы. А на коне будут те, кто будет уметь реально сложные задачи.

2/ Разбирайтесь в инфраструктуре

Реальность такова, что сейчас каждый может навайбкодить себе полноценный аналитический сервис или вообще что угодно. Не удивлюсь, если скоро это станет обязанностью аналитиков (это логично — я вот выше писал, что сделал себе такой сервис — ясное дело потом я передам его аналитику по наследству и он будет там ковыряться).

Но есть пласт задач, которые частично автоматизируются, но все равно требуют и будут требовать ручного вмешательства — инфраструктурные задачи. Поднять и настроить сервер, выкатить релиз, настроить права, настроить автоматические пайплайны и прочее. Ну или как минимум контролить это все и уметь вмешаться.

Это дата инженерная работа (или даже иногда ближе к девопсам), но что поделать — жизнь такая: мы уже давно говорим, что каждый аналитик должен становится фуллстак-аналитиком и прокачивать свои скиллы в дата-инженерии обязательно! Это то, что выделит вас от коллег-нубов и роботов.

3/ Привыкайте делать интеграции

Еще одна дата-инженерная функция — ценность навыка построения автоматизированных пайплайнов будет только расти. И снова, это логично: если каждый чувак в компании может навайбкодить себе сервис аналитики, то он 100% захочет подрубить туда данные из общей базы, а еще из Яндекс Метрики, а еще откуда-нибудь. И с высокой долей вероятности где-то по пути от количества задач его ИИшка начнет галлюцинировать, косячить или что еще лучше — в разных таких сервисах будут разные данные.

Поэтому в компании точно будет расти спрос на построение больших хранилищ или даже озер данных, чтобы каждый менеджер/маркетолог или дай бог всем здоровья кто угодно еще мог подключиться туда со своей LLM-кой и тянуть оттуда данные.

Так что Python + Airflow + PostgreSQL вам в помощь!

4/ Качайте продуктовое мышление

Неожиданно — мы сменили вектор от дата-инженерных задач в сторону продуктового мышления! Но я ж уже говорил — нужны фулстек-аналитики: сегодня ты пилишь пайплайны, завтра ищешь инсайты, послезавтра строишь дачу боссу дашборды 🤡

Почему нужно качать продуктовку:

* Большинство вайбкодинга твоих коллег (и тебя) так и ограничится аналитикой, до автоматизированных агентов доберутся единицы. Но так как отчетики теперь не являются узким местом сами по себе, будет расти спрос на качественные выводы — а их мало кто умеет делать, по факту.
* ИИшка без ТЗ — кусок железа и немного электричества. Если вы сами не знаете, по какому алгоритму надо собрать отчет, на что посмотреть или как выдавать рекомендации — можно, конечно, отдать это на откуп ИИшке, но лучше тогда продумайте сразу план Б на случай банкротства своей конторы)
* В жизни все сложней, чем в теории. Выводы делать очень сложно, данных постоянно не хватает, статзначимостью и не пахнет. Чтобы из этого выпутаться, нужно очень круто шарить в аналитике именно с точки зрения продуктовки.

5/ Учитесь ИИшкам

Ну и немного очевидного — ковыряйтесь в ИИшках! Не предлагаю вам тратить на это все свое время (вас все равно в это затянет, как только начнете, хех), но постоянно пробуйте новое и развивайтесь.

Чтобы подытожить, идеальный рецепт «аналитика нового поколения»:

фулстек-аналитик (шарит в аналитике, DE и продуктовке) + шарит в ИИшках + умеет решать сложные задачи качественно и быстро

ИИшки вас не заменят, если вы адаптируетесь к новым правилам игры. Они станут вашими ассистентами, помощниками или вашими личными джунчиками, на которых вы будете сгружать кучу работы. А если вы не адаптируетесь и продолжите играть по-старому — они займут ваше место)

Если согласны — накиньте реакций!

Все, что нужно знать про сегментацию — в реакциях к этому посту.

Так старался, сегментировал, а в итоге так и не понял, какого сегмента тут больше. Странно…

Итак, обещал написать про сегментацию — пишу!

Сегментация — эта штука, про которую знают все. Ну типа ничего сложного — взял свой набор данных, разбил на группы по разным метрикам и кайфуешь. Например:

— Крутим рекламу в Яндексе, берем данные по каждому объявлению за каждый день
— Разбиваем весь набор данных по полу/возрасту/гео/...
— Ищем сегменты, где целевая метрика (например, цена заявки) плохая
— Оптимизируем эти сегменты или отрубаем их вообще

Выглядит супер просто, правда? Но на деле это не так 🤡

1/ В 90% случаев, когда начинаешь нарезать на сегменты, данных о важной метрике становится слишком мало (например, если у тебя 20 заявок было за период, то при разбивке на гео будут регионы без заявок вообще, а некоторые будут с 1 заявкой) — выводы делать невозможно.
2/ После нарезки информации становится тупо слишком много и мозг начинает плавиться от такого обилия. 2 пола, 7 возрастных групп, 80 гео, 4 вида устройств... Никакой оперативки не хватит такое адекватно проанализировать — и это только одна рекламная кампания!
3/ Как только ты начинаешь делать это на практике, ты понимаешь, что сегментов сильно больше. У тебя запущено 10 рекламных кампаний. В каждой кампании — в среднем по 4 группы. Это уже 40. И вот каждую группу тебе нужно нарезать на 100 сегментов по 4 признакам (см. предыдущий пункт) — потому что у каждой группы объявлений могут быть разные аудитории...

Короче, жестко. Я частенько вожусь с сегментацией и скажу честно — до сих пор около 30% попыток заканчивается тем, что я плюю и злой переключаюсь на другую задачу. Ну потому что я думал «щас быстренько раскидаюсь», а в итоге меня затягивает в болото и вот я уже сижу весь в мху, на дворе 2026, а где-то в 2016 я просто решил просегментировать рекламную кампанию по продаже спиннеров 🤡

Вот несколько конкретных подходов, которые позволят хотя бы как-то выжить, не плюнуть и превратить сегментацию в реально рабочий инструмент:

1/ Самое важное: если метрика в сегментах примерно одинаковая — нафиг такие сегменты. На глазок особо нет разницы? Схлопывайте в один сегмент. Хотите математически обосновать? Два односторонних Z-теста для сравнения пропорций вам в помощь. Ну и иногда проверяйте — вдруг через месяц что-то поменяется и такая сегментация станет актуальна.

2/ Если данных недостаточно — используйте прокси-метрики. Если у вас 20 заявок, а показы рекламы в 80 регионах — попробуйте прокси-метрику (например, CTR объявления).

3/ Забудьте про пункт 2 (почти)!!! Используйте прокси аккуратно — сначала проверьте, есть ли прямая сильная корреляция между важной метрикой и выбранной прокси-метрикой. Очень часто она обратная: объявления с низким CTR могут приносить заявки (цепляют избранную аудиторию, но зато цепляют). Это не факт, но может быть.

4/ Конструируйте прокси-метрики из нескольких. Например, CTR умножить на % отказов (% людей, кто не просидел на сайте и 10 секунд). Иногда у них обратная зависимость и их перемножение может дать величину, которая хорошо будет коррелироваться с основной метрикой (заявками в нашем случае).

5/ Не зашкваривайтесь. Например, выше я писал, что каждую группу объявлений нужно анализировать отдельно. И это правда, если настройки разные. А если они одинаковые или даже просто близкие — то зачем? Например, "обучение по аналитике данных" и "курс по аналитике" вполне может быть в разных группах, но по сути они одинаковые — схлопните их. Автоматически так делать сложно, но вручную вполне ок.

6/ Не зашкваривайтесь (2). Если есть 2 группы объявлений, которые отличаются возрастом показа: в одной 0-18, 18-25, 25-35, а в другой нет сегмента до 18 лет. В остальном они, допустим, одинаковые. Ну так ок — просто объедините их по совпадающим сегментам, а который уникальный — смотрите отдельно. 3 группы всяк лучше, чем 5)

7/ Автоматизируйте сегментацию. Лучше потратить час времени, чтобы засунуть данные в условный Pandas, нормально сделать столбцы с признаками и дальше с помощью одной строки кода получать разбивку по сегментам, чем «сэкономить» этот час, а потом 10 лет ковыряться в эксельках (как я с рекламными кампаниями спиннеров до сих пор).

Основное рассказал, но в ближайшие пару дней мне предстоит поковыряться с сегментами — если что-то вспомню, напишу!) И, кстати, эта штука не только для рекламы применима — сегментировать можно что угодно: от клиентов до ассортимента.

И финальное, из какого вы сегмента? Проверим, кого тут больше!

— Жен, до 18 — 🤓
— Муж, до 18 — 🤓
— Жен, 18-25 — 🤓
— Муж, 18-25 — 🤓
— Жен, 25-35 — 🤓
— Муж, 25-35 — 🤓
— Жен, 35-45 — 🤓
— Муж, 35-45 — 🤓
— Жен, 45-55 — 🤓
— Муж, 45-55 — 🤓
— Жен, 55+ — 🤓
— Муж, 55+ — 🤓

PS. Про спиннеры шутка. Я уже закончил сегментацию)

Обещал пост про сегментацию, но переобулся и решил сначала рассказать свежий кейс о том, как проводить A/B эксперименты на минималках в полях.

Когда-то мы в Симулейтив делали буквально по несколько рассылок в неделю. Потом в какой-то момент мы решили, что надо увеличивать градус и с тех пор количество рассылок увеличилось примерно в 15 (!) раз по месяцу. А теперь мы дошли до точки, когда задумались — «хм, а может откат к старой механике сейчас повысит нам конверсию?».

Итак, имеем задачу:

— Есть телеграм-боты с аудиторией N десятков тысяч человек, которые получают условно 10 рассылок ежедневно и кликают на кнопки с конверсией X%
— Хотим проверить гипотезу — а станет ли конверсия лучше, если мы уменьшим количество контента до 1 рассылки в день
— При этом важно провести эксперимент так, чтобы не умереть с голоду по итогу месяца (ну типа перестали всем слать, эксперимент не сработал, а мы остались без продаж) 🤡

Получаем достаточно классический АБ-тест. Очевидно, нужно взять 2 группы — тест (шлем мало) и контроль (как слали, так и продолжаем). При этом:

— Выборка должна быть однородной. Ну то есть не должны в тест попасть, например, все неактивные, а в контроле остаться активный сегмент. Очень соблазнительно так сделать, чтобы не уронить выручку, но такой эксперимент ничего не покажет.
— Нужно сделать размер тестовой группы как можно меньше. Опять же, чтобы не уронить нечаянно выручку.
— Но при этом размер лидгена должен быть достаточным, чтобы тест показал статзначимые результаты.

Давайте проектировать и считать. У нас открыты вопросы:

— По какой метрике проводим эксперимент?
— Какой эффект ожидаем?
— Какой делать размер выборок?
— Как дробить на сегменты?
— Как определить длительность теста?
— Как оценить результат?

Погнали отвечать.

1. За метрику очень хочется взять продажи, но увы — слишком маленькие выборки и нужно долго будет тестить. Т.к. продажи сильно коррелируют с фактом оставления заявки, можно взять прокси-метрику — заявку (то есть клик по кнопке в боте). То есть сравнивать будем конверсию в каждой группе «сколько уникальных человек оставило заявку» / «сколько уникальных человек получило рассылку». И там, и там считаем уников — дубли убираем.

2. Какой эффект хотим задетектить? Пусть сейчас конверсия 3%, а хотим увидеть рост до 5%. Вроде и достаточно реалистично, но при этом на объемной выборке даст существенный буст.

3. Какой делать размер групп. Первое: т.к. нам нужно минимизировать размер тестовой группы, сразу предполагаем, что пропорция будет не 50/50, а типа 20/80.

Дальше можем посчитать размер тестовой группы по универсальной формуле:

n_test = ((1 + r) / r) × p × (1 - p) × (Zα/2 + Zβ)^2 / Δ^2

r = n_control / n_test
p = средняя конверсия между p1 и p2 (конверсии)
Δ = p2 - p1
Zα/2 = 1.96 для 95% значимости
Zβ = 0.84 для 80% мощности
(Zα/2 + Zβ)^2 = (1.96 + 0.84)^2 = 7.84

Подставляя наши p1 и p2, получаем размер тестовой группы примерно 940 человек, размер контроля — 3760. В целом адекватно, не должно сломать нам выручку))

4. Дальше идем — какой сегмент брать? Первое — очевидно, что активный. Нет смысла брать неактивный сегмент: контроль точно должен быть активным (чтобы было, с чем сравнивать), а тестовый сегмент должен быть однородным с контролем.

Нужно что-то формата «5к человек, которые зарегались за последние 2 месяца на вебинары по тематике Х из одного рекламного источника». Ну и разбить их рандомно (ну то есть чтобы не было что в тестовой группе все люди из каких-то бич-каналов, а в контроле — из золотых каналов).

Можно еще упороться и провести стратификацию, т.е. нарезать всю базу на сегменты (например, «регался 30 дней назад», «регался 30-60 дней назад» и так далее), чтобы оценить эффект этой штуки на разные сегменты базы (может где-то эффект будет обратный). Но мы не настолько хотим в это упороться — ведь чтобы оценивать по каждой страте отдельно, нужно кратно увеличивать выборку, а мы так не хотим))

5. Сколько проводить тест? Классный и неочевидный вопрос!

Обычно в АБ-тестах аудитория в группах набирается с течением времени и размер выборки определяет длительность (если надо 1000 человек, а в день приходит 100 — значит очевидно 10 дней). Но тут выборка сразу доступна вся. Из чего исходить?

Все очень просто — нужно оценить, сколько времени обычно «докатываются» заявки после рассылок. Если основная масса оставляет заявку в течение 1-2 дней после рассылки, значит эксперимент будет быстрым. Если мы еще дней 7 получаем заявки — значит подольше. По итогу — считаем это число Х и просто добавляем к нему 7 дней (чтобы захватить все дни недели и тест был более чистым).

Понятно, что чем дольше — тем лучше, потому что в этом деле много других факторов (например, в день получения зп активность выше, в праздники она может упасть и даже банально погода за окном влияет — люди склонны впадать в шашлычную кому). Но мы с вами работаем в полях, так что на сим успокоимся.

6. Ну и последнее — оценка результата. Здесь ничего нового — считаем uplift (uplift = CR_test / CR_control - 1), чтобы оценить размер эффекта + делаем односторонний z-test (если проверяем только гипотезу «конверсия выросла»), чтобы подтвердить стат значимость.

→ uplift положительный, p-value < 0.05 — эффект есть и он статзначим
→ uplift положительный, p-value > 0.05 — эффект есть, но он не статзначим
→ uplift отрицательный — мы все сломали (а чтобы понять, статзначимо ли это, нужно дополнительно посмотреть двусторонний тест)

Вот такой вот получился хендбук по наколеночным A/B-тестам)) Пойдем пробовать с командой, потом поделюсь результатами!)

Традиционная проверка связи:

— ❤️ — не кейс, а мед
— 💅 — очень интересно, но ничего не понятно
— 🤓 — пожелать удачи нашему CRM-маркетологу)))

Друзья, больше 6 месяцев я не писал сюда — это были жесткие полгода, мы работали, как могли) Исправляюсь — уже составил себе контент-план на ближайшее время, чтобы не соскочить!

Давайте для начала напомню, кто я такой и куда вы вообще попали 🤓

Меня зовут Алексанян Андрон, я основатель онлайн-университета Simulative — мы обучаем профессиям и навыкам в сфере аналитики данных и Data Science. А еще я:

→ Вхожу в ТОП-10 экспертов в РФ по аналитике данных по версии NewHR
→ Преподаю в НИЯУ МИФИ на кафедре Прикладной математики
→ Много лет занимаюсь аналитикой, постоянно развиваюсь в этой области и делюсь с вами (ниже будет дайджест)

Теперь давайте несколько слов о Simulative (за полгода пришло много новеньких). Simulative это... Точней за это время вышел закон о русификации 🤡, поэтому «Симулейтив это»:

→ 2500+ студентов и сотни крутых историй от людей, которые кардинально поменяли свою жизнь после обучения у нас (если вам прямо сейчас не хватает мотивации — почитайте вдохновляющую историю Елены, это все происходило на моих глазах!)
→ 7 курсов-профессий в сфере аналитики и Data Science
→ 8 апскил-курсов и тренажеров для прокачки своих навыков (в том числе мой авторский тренинг «Как делать аналитику»)
→ Совместная магистратура с НИЯУ МИФИ «Аналитика и инженерия данных» (уже второй год идет, сейчас как раз активно набираем новых студентов!)
→ А еще несколько бесплатных курсов, несколько вебинаров каждую неделю и куча всякого движа!

Итак, надеюсь вы освежили в памяти, кто я — а теперь давайте сделаем выжимку постов, которые я крайне рекомендую вам прочитать, если вы их еще не видели!

→ Разбираем guardrail метрики
→ Кейс: Почему просела эффективность рекламы на маркетплейсе
→ Пост с 6 видами самых частых и неочевидных ошибок в аналитике
→ Кейс: Разбираемся с реальной статзначимостью опросов

Здесь на самом деле только несколько постов — а на деле почти каждый пост в этом канале «вечнозеленый»: вещи, про которые я здесь пишу, не теряют актуальность со временем. Поэтому можете смело отматывать назад и искать интересные мысли!)

Все, думаю, пока что хватит. Не хотел ворваться спустя полгода молчания с умными мыслями, как будто ничего и не было. Решил дропнуть сначала такую штуку. А следующий пост уже будет про твердое — про важность глубокой сегментации сценариев и конкретные кейсы. Stay tuned!

Ну и финальное — в чем сила?

— 🤓 — В правде, брат
— 🤡 — В постоянстве, брат, а не раз в полгода писать
— 😎 — В Ньтонах, брат
— ❤️ — Просто рад, что ты вернулся, брат