Заскуль питона (Аналитика данных)

Фреймворк HEART

Фреймворк помогает оценивать пользовательский опыт по 5 направлениям:
Happiness, Engagement, Adoption, Retention, Task Success

📺 Видео на Youtube

❤️ Happiness. Удовлетворённость
🎯 Цель: Пользователям должно быть легко, полезно и приятно пользоваться приложением.

Сигналы:
1. Оставляют отзывы в сторах
2. Делятся мнением в опросах

Метрики:
1. TPS/NPS (готовность рекомендовать)
2. Доля 5-звёздочных оценок
3. Оценка обратной связи

😱 Engagement. Вовлечённость
🎯 Цель: Пользователи регулярно потребляют контент и взаимодействуют с продуктом.

Сигналы: Время, проведённое в приложении, растёт

Метрики:
1. Среднее время сессии на пользователя
2. Конверсия в целевое действие
3. Кол-во визитов на пользователя

🚀 Adoption. Принятие
🎯 Цель: Новые пользователи начинают находить ценность в продукте.

Сигналы:
1. Рост установок
2. Рост регистраций
3. Рост логинов

Метрики:
1. Доля установок
2. % новых пользователей
3. Кол-во логинов / DAU

🔄 Retention. Удержание
🎯 Цель: Пользователи возвращаются в продукт, чтобы снова достигать свои цели.

Сигналы:
1. Растёт число активных пользователей
2. Растёт доля повторных визитов

Метрики:
1. % повторных пользователей
2. DAU, WAU, MAU
3* Retention 7D / 14D / 30D

✅ Task Success — Успешность действий
🎯 Цель: Пользователь с лёгкостью достигает того, зачем пришёл.

Сигналы: Увеличивается число успешно завершённых задач

Метрики:
1. % ошибок
2. % прерываний (drop-off)
3. % ANR (приложение не отвечает)

В целом, HEART — это как проверочный список: что именно важно для вашего UX прямо сейчас?
А ещё классно использовать его не в одиночку, а с продактом, дизайнерами и ресёчерами — чтобы не тянуть UX в одну сторону, а двигаться вместе.

Понравился пост? Ставьте 🐳, пишите в комментарии, что разобрать дальше!

«Авито Тех» выкупает права на IT-платформу для продуктовой аналитики EXPF Sigma.

Статья

В компании планируют интегрировать систему с собственным, уже работающим на рынке решением для тестирования продуктовых гипотез и закрепить позиции в сегменте, объем которого оценивают в 1,5 млрд руб. и где пока нет явного лидера.

Что думаете? Неплохой выход для Trisigma? 😱

📺 [Youtube] Создаем AI-агентов на LangChain/LangGraph от идеи до MVP за 20 минут!

В данном видео автор делает агента, который предлагает темы для ресерча на ArXiv, делает по ним саммэри и готовый отчет.
Что изучается авторами, какие проблемы в исследованиях и на чем можно сфоркусироваться.

Агент работает как граф: каждая функция - это узел (нода), а данные переходят по рёбрам.

🤔 Логика такая:

1️⃣ Генерация подтем

2️⃣ Утверждение от пользователя (принимаем или нет)

3️⃣ Поиск релевантных документов

4️⃣ Анализ пробелов в знаниях

5️⃣ Формирование отчёта

💻 В процессе используются LangChain, LangGraph и LangSmith - для построения цепочек, логики переходов и визуализации.

💙 Делитесь постом, если он был полезен!

High Standard Deviation vs Low Standard Deviaton.

(?) without CUPED vs with CUPED. Variance reduction, yes. P-hacking…

📚 Материалы по методам снижения дисперсии
(увеличиваем чувствительность A/B эксперимента и уменьшаем его длительность):

1. VWE (Variance Weighted Estimator)
2. CUPED / CUPED Multiple Covariates
3. CUNOPAC / CUPAC / CUMPED etc.
4. Стратификация / Постстратификация
5. Outlier Capping / Winsorizing
6. ... список могу продолжить еще

😏 Линейная регрессия повсюду, а вообще я хотел просто картиночку смешную прислать.

107 или 115? Кто вы сегодня?

А про то, зачем это нужно, ныряйте в комментарии 🔽

[Статья, EN] 7 Ecommerce A/B Testing Case Studies to Learn From

Это разбор реальных экспериментов от брендов: Clarks, Swiss Gear, SmartWool и других, которые проводили A/B-тесты с целью улучшения пользовательского опыта и увеличения конверсии в e-commerce. Ниже будет приведен краткий разбор кейсов (картинки в посте) 🔽


🟣Clear Within

Гипотеза: Переместим кнопку "Add to Cart" выше, чтобы повысить конверсии - пользователи увидят её сразу, без прокрутки.

🎯 Результат: +80% к добавлениям в корзину

📌Выводы:

1. Размещение ключевых элементов, таких как кнопка "Добавить в корзину", должно быть сразу видно без прокрутки

2. Даже небольшие изменения в дизайне могут значительно повлиять на конверсию

3. Важно оптимизировать конверсию до масштабирования рекламных кампаний


🟡Clarks

Гипотеза: Акцент на бесплатную доставку повысит доверие и склонит к покупке

🎯 Результат: +2.6% CR, +£2.8 млн выручки

📌Выводы:

1. Яркое выделение бонусов, таких как бесплатная доставка, влияет на решение о покупке

2. Дизайн и пользовательский опыт имеют значение

3. Незначительные изменения в оформлении информации могут привести к значительному росту выручки

🔵Beckett Simonon — +5% CR от сторителлинга

Гипотеза: Добавим сторителлинг о ценностях бренда - повысим вовлечённость и доверие

🎯 Результат: +5% к конверсии, ROI +237% годовых

📌Выводы:

1. Клиенты положительно реагируют на честное, ценностное позиционирование

2. Истории, визуалы и смысловое наполнение сайта могут существенно повлиять на поведение пользователей

3. Соответствие ценностей бренда ожиданиям покупателей увеличивает доверие и лояльность


🟢SmartWool

Гипотеза: Улучшение дизайна PDP повысит доход на посетителя

🎯 Результат: +17.1% к среднему доходу на посетителя (ARPU)

📌Выводы:

1. Следование лучшим практикам в дизайне улучшает пользовательский опыт и увеличивает продажи

2. Единый стиль отображения товаров и чёткая подача информации влияют на решение о покупке

3. Инвестиции в дизайн страниц окупаются за счёт роста выручки и удовлетворённости клиентов


🟣Metals4U

Гипотеза: Покажем сроки доставки и добавим лого платёжных систем → снизим тревожность

🎯 Результат: +4.8% CR, через 12 месяцев: +34% общая конверсия → +£2.2 млн выручки

📌Выводы:

1. Прозрачная информация о доставке уменьшает неуверенность и снижает фрикции

2. Простые элементы — логотипы платёжных систем и сообщения о безопасности — значительно уменьшают количество отказов от покупки

3. Улучшение через итерации и эксперименты позволяет устойчиво масштабироваться


🟡T.M. Lewin

Гипотеза: Уберём барьеры — чётко опишем политику возврата, покажем бандлы сразу

🎯 Результат: +7% продаж, +50% CR от возвратного блока

📌Выводы:

1. Прозрачность условий возврата снижает сомнения и увеличивает готовность к покупке

2. Выгоды и скидки (например, мульти-покупка) должны быть чётко видны и легко доступны

3. Приоритизация по данным помогает находить точки наибольшего трения в пользовательском пути


🔵Swiss Gear

Гипотеза: Оптимизируем дизайн карточек, упростим восприятие информации - пользователи будут покупать чаще

🎯 Результат: +52% CR в обычные дни, +137% CR в пиковые (Holiday season)

📌Выводы:

1. Простота дизайна и акценты на ключевой информации помогают пользователям быстрее принять решение

2. Визуальная иерархия (цвета, шрифты) помогает выделить важное

3. Тестирование и подготовка страниц перед пиковыми периодами даёт экспоненциальный эффект


✅ Общие выводы по всем кейсам:

1. UX и структура страниц напрямую влияют на метрики: от кнопок до визуальной иерархии

2. Прозрачность и доверие (доставка, возвраты, логотипы) критичны для покупки

3. Ценностное позиционирование и сторителлинг усиливают восприятие бренда

4. Даже мелкие UI-изменения могут сильно повлиять на метрики

5. Итерации и эксперименты = устойчивый рост без кардинальных переделок

6. Чистота дизайна снижает фрустрацию и помогает принять решение

Понравился формат поста / хотите подобного рода посты? Ставьте реакции 🔥, пишите комментарии (лучший фидбек от вас)

Применяешь t-test на целевую метрику у пользователей в эксперименте, видишь pvalue 0.051... (разумеется, на уровне значимости 0.05)

😏 А потом CUPED и стратификацию применим для прокраса эксперимента, да?

🥴 Без учета дизайна эксперимента.

Только в случае ожидаемого зеленого прокраса 😍

#memes

📺 [YouTube] Деплой ML моделей: от кода до продакшена

Админ сдал диплом, скоро пойдет на вручение и будет писать вступительные экзамены

💻 Классное видео, в котором разобрано на простеньком примере, как можно задеплоить модельку с нуля от её написания до разворачивания на сервере. Автор еще Streamlit не подкручивал, результат был бы просто обернут в UI. Прям топ видео, начинающим зайдет. Всем, кто хочет быстро погрузиться в деплой ML, очень советую!

Код из видео

🧠 Что в видео:

👩‍💻 Создается публичный репозиторий в GitHub и далее клонируется в VSCode. После чего все изменения вносятся через VSCode.

👩‍💻 Сначала автор делает базовый ресерч в ipynb, обучает простенькую модель (деревья решений) на всем известном Titanic Dataset.

🔵 Затем сохраняет полученную модель (в т.ч. веса в pickle, отсюда очень удобно предсказывать значения).

🔘 Далее создается py-файл с FastAPI (с реализацией API и методов POST/GET). С помощью POST мы хотим понимать, выживет ли человек с заданными параметрами или нет, а с GET - получить метаданные. в POST забирается модель из pickle файла и дальше делается предсказание.

👩‍💻 Затем все оборачивается в Docker, создается образ и контейнеры (с соответствующими requirements.txt - это обычно нужно для сохранения версий библиотек на момент запуска приложений, чтобы не было конфликтов).

🟣.dockerignore - чтобы лишние файлы с собой не затаскивать (например, .ipynb, который нужен был для рисерча + сохранения файла модели или же .csv, откуда брали данные для обучения модели).

👩‍💻 Заносятся изменения с помощью git add ., commit, merge.

💵 После чего автор заходит на сайт, где можно арендовать дешево сервер и поднимает докер-контейнер с запуском приложения, предварительно клонируя из GitHub (открытого репозитория) все файлы, необходимые для запуска.

👍 Готово! Теперь у вас есть поднятый сервис, который может обрабатывать запросы пользователей в интернете.

Такой пайплайн — основа для любого продакшен ML-сервиса, и даже на простых примерах становится понятно, как устроен реальный цикл доставки модели до пользователя.

Понравился пост? Ставьте реакции, пишите комментарии о чем писать в дальнейшем! Очень интересно!

UX пользователей: кейсы крупных компаний

В своем Линке я выкладывал пост про сайт, где можно посмотреть на различные кейсы крупных игроков с точки зрения UX в мультяшном формате.

🔗 Так вот, ссылочка тут

Работая продуктовым аналитиком, изучаешь пользовательские пути, то, как они взаимодействуют с приложением, что на каждом этапе может нравится / не нравится.

Интересные кейсы

🟣 Audible: Build seamless purchase experiences
Рассматривается, как Audible улучшает UX при оформлении подписки, минимизируя фрикции и повышая конверсию.

🍔 McDonald’s: The Psychology Behind McDonald’s $2 Billion Self-Serve Kiosks
Анализируется, как дизайн киосков влияет на поведение клиентов и способствует увеличению продаж.

🟢 Grammarly: How to Craft Onboarding Surveys Users Love: 5 Do’s and Don’ts
Показано, как правильно сформулированные вопросы при регистрации повышают вовлеченность пользователей.

🎵 Spotify Wrapped: Spotify Wrapped: 6 psychology principles that make it go viral every year.
Разбирается, какие психологические принципы делают ежегодный отчет Spotify таким популярным и ожидаемым.

🟡 Temu: The psychology of Temu’s casino-like shopping UX
Исследуется, как элементы геймификации и случайных вознаграждений стимулируют покупки.

Всего представлено 64 кейса, которые можно посмотреть и рассмотреть с уклоном в психологию пользователей

Также выделены 106 психологических приемов, которыми пользуются топовые компании

Годный ресурс, советую каждому ознакомиться с ним.

Если пост понравился, поставьте 🔥, пишите комментарии, нужно ли делать подборку по таким ресурсам!

Визибилити в организации

Всем привет! Сегодня поговорим о такой штуке, как визибилити — или проще, видимость тебя и твоих наработок в организации. Характеристика, которая показывает, что ТЫ есть и ТЫ выполняешь конкретную функцию.

Сравним двух сотрудников

🎁 Первый: работает за нескольких человек, берет больше ответственности, иногда реально оверперформит, но рассказывает об этом только паре человек.

🎁 Второй: работает обычно, но не упускает ни одной возможности выступить — на конференциях, внутренних встречах, митапах, презентует результаты, заводит новые знакомства. В общем, светит лицом по максимуму.

🤴 Как думаете, кому из них отдадут предпочтение, когда дело дойдет до повышения или интересных проектов?

На самом деле, это не всегда вопрос справедливости. Можно быть серым кардиналом, но если про твою работу никто не знает и никто не понимает ценности твоей работы — шансы на быстрый рост гораздо ниже.

В то же время, человек, который умеет показать свой вклад, почти всегда оказывается в поле зрения руководства.
Его замечают, к нему прислушиваются, его зовут на обсуждения новых задач и проектов.

🤔 Почему так?

Бизнесу важно видеть не только результат, но и того, кто его создает.
Руководителям важно опираться на людей, у которых есть и экспертность и желание влиять на процессы.

Очень часто выбор падает не на самого трудолюбивого, а на того, кто регулярно дает знать о своей полезности, участвует в коммуникациях, умеет продать идею, а это ключевой навык в принципе.

Твой вклад может утонуть, если о нем не знают ключевые люди.

Порой кажется, что достаточно просто хорошо работать. Но если не напоминать о своих результатах — кто-то другой легко заберет твою славу, а твой проект будет восприниматься как чья-то инициатива.

Важно, чтобы результаты твоей работы приносили ценность не только тебе, но и всей команде.

Что делать, чтобы тебя замечали

1. Не бояться рассказывать о успехах на командных встречах.
2. Помогать коллегам и не забывать фиксировать совместные результаты.
3. Предлагать инициативы — даже если не все из них реализуются.
4. Писать апдейты о ключевых изменениях, которые улучшили работу или продукт.
5. Стараться делиться не только победами, но и ошибками/инсайтами — это вызывает доверие.

Если прочитал до конца — считай, ты уже на шаг ближе к визибилити.
Ставьте 🔥 и напишите, как вы делаете себя видимыми на работе! Интересно узнать)

Внезапные влеты

Привет, мир! Я вернулся после сдачи экзаменов. Тема поста - влеты.

Что такое влет? Сидишь такой, решаешь свои задачки и тут бац, срочная задача, которая должна быть сделана еще вчера

Например

📊 Просела метрика, давайте поймем, почему так.

🧑‍💻 CEO нужно показать отчет, для этого нужно предоставить те данные, которая не покрывает отчетность (через час, разумеется).

🆎 Нужно помочь завести эксперимент, определить гипотезу, метрику, аудиторию.

Есть плюсы и минусы, конечно же, давайте рассмотрим.

🟢 Плюсы

Во-первых, появляется возможность дополнить отчётность в том виде, который реально нужен бизнесу.
Ты видишь, какие цифры действительно важны на уровне решений.

Во-вторых, точка роста. Необязательно любой влет разбирать как можно скорее.
Если научиться управлять ожиданиями, то стресса будет меньше, а результат — лучше.

Ну и ещё - это шанс выделиться. Быстро собрать информацию, выдать решение, спасти день и стать тем аналитиком, которому доверяют.

Если влеты регулярны (это уже не плюс, а тревожный звоночек) - значит, нужно автоматизировать.
Алерты, шаблоны - всё это спасает и время, и нервы.

🔴 Минусы

1. Внезапный стресс. Сложно может быть понимать контекст, резко смещать фокус в рамках спринта.
2. Местами может обесценивать твою работу (твои ресурсы, планирование и др.)
3. Нарушение границ. Если отвечать постоянно ДА, то высока вероятность, что следующий влет упадет в тебя, ну а затем выгорание)

🤷‍♂️ Что можно с этим сделать?

1. Управлять ожиданиями. Например, мы не можем сделать это сейчас, давайте запланируемся и разберем. Дополнительно определим ответственных, сроки, выделим на это ресурсы человека. Важно предлагать реалистичное решение

2. Если можно решить задачу на коленке грубо, можно предоставить вариант / MVP решения того, как можно закрыть проблему.

3. Делать выводы по влетам. А почему вообще возник? С чем связан? Является ли он критичным для бизнеса?

😖 Влеты раздражают, напрягают и сбивают с ритма.
Но и это точка, где аналитик становится не просто исполнителем, а партнёром: где ты думаешь не только про задачи, но и про приоритеты, коммуникацию, стабильность.
Главное - не брать всё на себя, фильтровать, проговаривать ожидания, и не бояться говорить с заказчиками.

Ставьте 🔥, если пост понравился! Делитесь с миром.
Как часто у вас бывают влеты на работе? Что с ними делаете? Пишите в комментариях

Дашборд — это не конечный продукт аналитика, а основа для новых гипотез

❌ Особенно актуально это на тех местах работы, где проводится мало исследований или A/B-тестов, и аналитик постепенно превращается в сборщика витрин — на входе требования, на выходе дашборд.

🟢 Не спорю, это основа аналитики. Но сводить работу аналитика только к построению витрин и дашбордов — слишком узко. Гораздо ценнее периодически пересматривать отчётность хотя бы в рамках своего направления. Это помогает формулировать новые гипотезы и вместе с продуктом находить точки роста на основе реальных данных. В идеале — стремиться к тому, чтобы все ключевые процессы были покрыты прозрачной и удобной отчётностью.

🤓 По сути, это то место, где цифры можно представить в удобном формате для бизнеса для генерации новых задач,
формировании доработок в тех местах, где это нужно.

Помню первую работу: самая сложная часть — не графики, а ETL, который заключался в переливке данных для построения дашборда

-> дальше идет поддержание функционала, алерты. ТОЛЬКО продакты / проджекты генерировали новые задачи (аналитика не двигала бизнес).

🧠 Когда ты открываешь дашборд и видишь цифры в нужном срезе — это уже не просто набор красивых рисуночков, а инструмент для генерации идей.

Например.

1. На срезе X видно падение конверсии в поиск -> рождается гипотеза.
2. Общее падение заказов -> копаем в способы оплаты -> видно падение СБП.
3. Новички хуже проходят онбординг -> видно в глубине событий за первую сессию.

😎 Дашборд — инструмент для дальнейшей работы вместе с бизнесом. Хоть это и очевидно, не стоит забывать регулярно отслеживать метрики (необязательно каждый день)

15 минут в день и спина болеть не будет

🐶 Чтобы не просто отвечать на запрос, а самому формулировать следующий.
Чем чаще ты его открываешь — тем чаще у тебя будут идеи для роста бизнеса, а это ценный навык аналитика

🔥 Ставьте реакции, если пост был полезным, и делитесь своими кейсами в работе с дашбордами

Про базовые метрики в задачах классификации в машинном обучении

Классификация — это про то, как определяется класс объекта. Например: фродер или нет, показать товар или не показать, дать кредит или отказать.

Классы могут быть бинарными, мультиклассовыми, со смещением и без. Используется в антифроде, поиске, скоринге, рекомендациях, модерации и почти в любом ML-продукте.

Когда обучается модель, необходимо понять, насколько хорошо она работает.

Обычно начинают с accuracy — самой простой и часто вводящей в заблуждение метрики.

1️⃣ Accuracy (доля верных предсказаний)

Представим задачу разметки клиентов как фродеров или нет.

В выборке всего 5% настоящих фродеров.

Если модель просто будет отвечать, что все не фродеры, она окажется права в 95% случаев. Accuracy = 95%.

На первый взгляд — отличный результат.

🚫 Но такой результат можно получить, не делая ничего. В задачах с перекосом классов accuracy — почти бесполезна.

Accuracy = (TP + TN) / (TP + FP + FN + TN)

2️⃣ Precision (точность)

Отражает долю корректных среди всех предсказанных как положительные.

В нашем случае отражает долю реальных фродеров среди всех, кого модель определила как фродеров

Если модель указывает на пользователей как фродеров, а по факту из 10 таких пользователей 6 действительно фродеры, а 4 — нет, то:

Precision = 6 / (6 + 4) = 0.6

👍 Иначе говоря — насколько обоснованно модель выдала положительный класс.

При низком precision модель тревожит нормальных пользователей — что критично для антифрода, медицины, рекомендаций.

Precision = TP / (TP + FP)

3️⃣ Recall (полнота)

Показывает, какую долю реальных фродеров удалось обнаружить.

Если в выборке 20 настоящих фродеров, и модель нашла 6 из них, то:

Recall = 6 / (6 + 14) = 0.3

😱 Это означает, что 70% фродеров модель пропустила.

Проще говоря — если модель кого-то не заметила, это может дорого обойтись.

Recall = TP / (TP + FN)

🤔 Про TP, FP, FN, TN в этой задаче классификации

TP — модель предсказала фрод и это правда
FP — модель предсказала фрод, но это ошибка
FN — модель сказала не фрод, но на самом деле это фрод
TN — не фрод и модель это правильно предсказала

4️⃣ Трейд-офф между Precision и Recall

🙂 При высоком пороге модель выдает положительный класс только при большой уверенности. Precision возрастает, но recall снижается — модель пропускает многих.

🪫 При низком пороге модель ловит почти всех фродеров — recall высокий, но увеличивается число ошибок (FP), и precision падает. Поэтому часто используют F1-score — гармоническое среднее между precision и recall.

F1 = 2 * (Precision * Recall) / (Precision + Recall)

Статьи:

[ссылка_1], [ссылка_2], [ссылка_3], [ссылка_4]

Ставьте 🔥, если пост был полезным, делитесь в комментариях своими мыслями, а я выложу следующий пост про другие метрики

Заскуль питона (Аналитика данных) pinned «💡 Хочу собрать продуктовые кейсы и в дальнейшем разобрать тут Очень часто аналитиков учат SQL, Python, визуализации. Но почти не учат думать о продукте и бизнесе: зачем метрика выросла, как устроен флоу решений, почему фича провалилась. 📊 Поэтому я собираю…»

💡 Хочу собрать продуктовые кейсы и в дальнейшем разобрать тут

Очень часто аналитиков учат SQL, Python, визуализации. Но почти не учат думать о продукте и бизнесе: зачем метрика выросла, как устроен флоу решений, почему фича провалилась.

📊 Поэтому я собираю продуктовые кейсы — из разных компаний, команд и контекстов. Чтобы потом разобрать их и сделать нормальную базу практики.

Примеры задач, которые подходят:

1. продуктовая задача с собеседований
2. запуск фичи или её провал
3. борьба с оттоком, рост CR / LTV / GMV
4. нестандартный A/B
5. онбординг, ретеншен
6. или просто интересная продуктовая задача, с которой вы бились

👉 Форма на 3 минуты

Если получится классная история — сделаю по ней разбор.
Подключайтесь, будет интересно.