AB тесты и все вот про это вот все

Всем привет!
А еще мы в SberDevices ищем middle продуктового аналитика в наше ТВ-направление.
Резюме можете присылать нашему hr (https://t.me/marinatelyuk) или мне (https://t.me/ealexandr).
Ниже описание ⬇️

---------------------------------

Чем предстоит заниматься?

▶️ Помогать продуктовым менеджерам принимать решения
▶️ Формулировать и проверять гипотезы для роста продукта
▶️ Анализировать пользовательское поведение и ключевые продуктовые метрики
▶️ Находить инсайты для улучшения продуктовых и бизнес-метрик
▶️ Работать с воронками, когортным анализом, retention и др.
▶️ Строить дашборды и автоматизировать регулярную отчётность
▶️ Проектировать и анализировать A/B-тесты.

Мы ожидаем что вы:

▶️ Имеете от 2 лет опыта в продуктовой аналитике
▶️ Понимаете потребности продукта, умеете трансформировать их в задачи, исследования
▶️ Умеете генерировать и проверять гипотезы
▶️ Понимаете основные группы продуктовых метрик
▶️ Умеете формулировать, обосновывать выводы и презентовать результаты анализа
▶️ Уверенно владеете SQL (сложные запросы, джойны, оконные функции)
▶️ Имеете опыт работы с Python и основными библиотеками для анализа данных
▶️ Понимаете статистики и принципы A/B-тестирования, имеете практический опыт проведения A/B-тестов
▶️ Имеете опыт работы с BI-инструментами.

Дополнительным плюсом будет:

▶️ Опыт построения базовых ML-моделей (линейная, логистическая регрессия, случайный лес, CatBoost, кластеризация)
▶️ Опыт построения системы метрик продукта
▶️ Навыки взаимодействия с кросс-функциональными командами.

Ребят, привет!

🔵Это Искандер. Мы с командой Trisigma сделали хендбук по A/B-тестированию. В нём собрали качественную и полную базу — на примерах разобрали, как устроены эксперименты и статистический анализ. В общем, внутри всё это нужно, чтобы решения, принимаемые для развития продукта, положительно влияли на целевые метрики.

Думаю, что хендбук будет полезен и начинающим аналитикам, и опытным, чтобы освежить в памяти базу. Забрать его можно в боте.

Ждём обратной связи!



Trisigma — канал про A/B-тестирование

#trisigma

Аналитик-инженер

Наши устройства и другие системы генерируют большие объемы данных самого разного рода. Необходимо совместно с командой дата-платформы упорядочить данные, настроить процессы и превратить их в удобный инструмент для анализа и визуализации.
Твои основные заказчки - это аналитики данных.

Что вам предстоит делать?

▶️ Разрабатывать и поддерживать ETL/ELT процессы с использованием dbt/airflow.
▶️ Проектировать и оптимизировать модели в витринном слое.
▶️ Разрабатывать и поддерживать процессы по заполнению мета-данных в дата-каталоге.
▶️ Контролировать качество данных: писать тесты в dbt, осуществлять мониторинг аномалий.
▶️ Документировать данные и процессы (data documentation).
▶️ Адаптировать dbt-core для продуктовых аналитиков.

Мы ожидаем, что вы:

▶️ Знаете dbt-core, имеете опыт доработки core/адаптеров.
▶️ Умеете осуществлять оркестрацию с помощью airflow/dagster.
▶️ Хорошо знаете Python.
▶️ Знаете основы хранения данных, различий между БД.
▶️ Отличное знаете SQL и особенности Clickhouse.
▶️ Работаете с git, s3.

Будет плюсом:

▶️ Опыт разработки Data Vault.
▶️ Опыт работы с BI.

Вакансия на HH

Дата-аналитики

Да, мы ищем сразу несколько человек

Мы — дата-аналитики виртуального ассистента Салют. В зоне нашей ответственности — метрики качества GigaChat на устройствах SberDevices. В ежедневной работе много Python/SQL, работы с логами, витринами данных, статистики и экспериментов.

Что вам предстоит делать?

▶️ Разрабатывать пайплайны для анализа моделей.
▶️ Проводить эксперименты для улучшения метрик базовой модели и других LLM-based систем.
▶️ Работать со сложными пайплайнами разметки.

Мы ожидаем, что вы:

▶️ Уверенно владеете Python, SQL, Spark.
▶️ Имеете опыт проведения A/B тестов.
▶️ Понимаете ML-метрики и анализ данных.
▶️ Применяете статистику и теорию вероятностей на практике.
▶️ Умеете работать с BI-инструментами.

Будет плюсом:

▶️ Опыт работы с данными для крупных ML-моделей.

Вакансия на HH

Всем привет! Мы нанимаем аналитиков. Отличные, прекрасные вакансии в SberDevices.

У нас открыто сразу несколько вакансий.

Кого ищем?

✅ Дата-аналитики в команду Ассистента (Junior+/Middle) - вакансия на HH
✅ Аналитик-инженер (Senior) - вакансия на HH

Ну или можно писать на hr@sberdevices.ru

Ниже подробности

Привет, это Вит Черемисинов.

🔵В марте у меня вышло ещё одно большое интервью в подкасте Data Heroes от LEFT JOIN. Точно рекомендую его посмотреть/послушать, если ищете ответы на эти вопросы:

— Почему у нас не любят облачные сервисы
— Кто главные игроки на российском и западном рынках, и за чьими успехами стоит следить в домене экспериментов
— Почему иногда главный конкурент платформы для экспериментов — это не другой поставщик, а внутренний эксперт компании-заказчика?
— Как мы используем ИИ в продуктах Trisigma?

Выбирайте любую платформу:
YouTube
VK
Apple Podcasts, Яндекс Музыка

#trisigma

Чтение новостей сейчас интереснее, чем что бы то ни было. АБ-тесты эти все - так скучно. И все же отвлечемся на них.

В последние месяцы по долгу службы приходится много заниматься вопросами культуры АБ-тестирования. Это важнее, чем стат. критерии, mde, бутстрап и, конечно, аб-платформа. Об остальных умных и сложных словах и не говорю.

Шаг 0 - это оценка того, что они действительно нужны. Это не шутка. АБ-тесты нужно начинать делать не тогда, когда появились данные, пользователи, или появились аналитики, которые хотят (или умеют). Или потому что все их проводят (кажется, что часто так и бывает).

А, наверное, тогда, когда развитие продукта вслепую (наугад, бесконтрольно, безответственно и другие синонимы) становится слишком дорогим удовольствием.
Когда становится понятно, что это должно происходить под контролем, понятно, предсказуемо, тогда и становится "пора". Не раньше, и не позже.

Продолжение следует.

Подведены итоги традиционного исследования рынка аналитиков. NewHR проводит его уже не в первый раз и знает в этом толк. Ссылка.
Что внутри:
- портреты, специализации аналитиков
- грейды, зарплаты
- география работы, релокация, удаленка
- выводы, тренды, неочевидные инсайты
- и многое другое

В общем, не тратим время впустую, заходим, читаем.

На следующей неделе пройдет оффлайн-митап про АБ-тесты, AI и проч. с участием EXPF Trisigma. Все сплошь трендовые темы. Ссылка тут.

Небезинтересная статья от коллеги из Авито с критикой и проблемами использования критерия Манна Уитни. При этом Яндекс в своем Вариокубе использует Манну Уитни. Тут описывается механика и разбираются некоторые аргументы из первой статьи.

Пересматривал ролик про АБ-платформы, обратил пристальное внимание на часть, где Виталий Черемисинов рассказывает про чувствительность метрик, как ее моделировать и правильно использовать в работе. Ссылка в отметкой времени.

Почему это важно?
Как в рассказе Виталия, мы можем раз за разом брать какую-то метрику и раз за разом разочаровываться, когда наша фича снова не дала результат.
Если заняться исследованием чувствительности метрик, мы можем выяснить, что эти и те метрики у нас малочувствительны и на них не нужно акцентироваться в экспериментах. И наоборот, появится пул метрик, с которыми мы с большей степени можем добиться желаемого.
Таким образом сможем сэкономить время, силы, деньги, репутацию.

Нашел тут небольшой курс по Байесовским АБ-тестам на степике. На досуге посмотрю, что там есть, после расскажу

Хочешь превратить встречу в холивар? Предложи обсудить использование mde в аб-тестах.
Не нужно благодарностей

Всем привет! совсем недавно поменял работу, и о своих наблюдениях здесь пописываю потихоньку. На себе прочувствовал, что рыночек аналитиков сильно изменился за последние год-два.

Более полно оценить, что происходит, в очередной раз поможет NEWHR. Прошу помочь в этом важном деле.

NEWHR запустили очередное исследование рынка аналитиков (первое исследование было запущено в 2018 году, последнее — в 2024 (https://newhr.org/data/research-analysts-2024)).

Цель: выяснить, как меняется профессия, чего хочет бизнес от аналитиков, чего хотят сами аналитики, сколько зарабатывают и какими технологиями пользуются.

Рынок каких аналитиков исследуют:
➤ Дата-аналитиков
➤ Продуктовых аналитиков
➤ BI-аналитиков
➤ Маркетинговых аналитиков
➤ Веб-аналитиков
➤ Системных и бизнес аналитиков
➤ Руководителей аналитики

Что именно исследуют?
👉 Сколько зарабатывают аналитики, как эти цифры менялись за последний год и с чем были связаны изменения
👉 Рейтинг работодателей для аналитиков, с нормальной аналитической культурой, например
👉 Где работают аналитики, как работают (удалёнка/офис), какие планы на трудоустройтво
👉 Как меняется зона ответственности аналитиков и чем они хотят заниматься
👉 Как аналитики ищут работу и выбирают работодателя

Как принять участие в исследовании?
⏩ Заполнить опросник (https://survey.alchemer.com/s3/8488868/analytics-NEWHR-2025)(займет около 20 минут)

🚀 На данный момент опрос прошли уже 900+ специалистов. Цель — собрать 1500 респондентов.

Когда будут результаты?
— Итоговый результат исследования будет опубликован в начале 2026 года.
— Со всеми участниками исследования команда NEWHR будет делиться промежуточными результатами, а также пригласят на закрытый стрим, где поделятся всеми инсайтами и ответят на вопросы.

👉🏼 Пройти опрос (https://survey.alchemer.com/s3/8488868/analytics-NEWHR-2025)

P. S. Опрос можно и нужно шерить с коллегами-аналитиками. Чем больше данных, тем точнее и интереснее результаты!

Однажды в одном продукте разработали одно фичу. Что за компания, продукт и фича, не важно. Важно другое.

Фича была крупная, она могла достаточно серьезно повлиять на прибыль. Но сверху поступило указание не проводить АБ-тест, так как там были очень уверены в успехе, а АБ-тесты, как известно, для слабых и неуверенных в себе. А мы в команде, рангом пониже, не такие, и отрезали для контроля 10% на всякий случай.

По ходу снимали промежуточные результаты, где-то есть профит, где-то нет.

Проходит время, сверху приходит запрос сделать выводы об эффективности. Тут как раз и пригодился наш 10-процентный контроль. И, кстати, наверху уже и забыли про нежелание делать АБ и никак не отреагировали на наши выкладки типа "тест-контроль-аплифт".
Фича была достаточно сложная и по-разному влияла на разные сегменты пользователей.

В результате оказалось, что в одном сегменте у нас стат. значимо есть аплифт (и конверсии и хулиарды денег), в другом было близко к стат. значимости, но нет, а в остальных, самых крупных сегментах было очень далеко от 0,05.

Таким образом, благодаря тому, что мы все же сделали контроль:
1. Смогли показать успешность гипотезы и показать прирост конверсии и чистой прибыли компании.
2. Увидели, что наши нововведения по-разному в одних сегментах работают хорошо, а в других не работают вовсе.
3. Получили идеи, что теперь с этим делать дальше.
4. Получили еще одно подтверждение, что все эти чуйки и интуиции без нормального обоснования фактами могут идти лесом.

Новости интересные подъехали. Авито прибирает к рукам платформу Сигма от EXPF. Не готов сейчас обсуждать, к лучшему или к худшему это. Понаблюдаем.
https://www.avito.ru/company/press/expfsigma

Тут коллеги из Бургер Кинг рассказывают, как делают оффлайн АБ-тесты. Раз и два

Снова возвращаюсь к тому, что 10% успешных АБ-тестов считается нормой. Уже говорил, что в таком случае эксперименты становятся вместо инструмента тестирований гипотез инструментом оценки качества гипотез. Иногда некоторые компании рассказываю, что у них показатель успешных достигает 20-25%. Снимаю шляпу в таких случаях.

Качество гипотез страдает часто из-за отсутствия системности в работе с гипотезами, да и продуктами в целом. К сожалению, приходилось такое наблюдать. При этом, даже прохождение нашей гипотезы через простой чек-лист поможет откинуть большое количество мусора и сэкономить кучу времени и денег. Такие тоже встречал.

Итак, простой чек-лист. Гипотеза должна быть:

✅ Тестируема. У нас есть возможности протестировать данную гипотезу.
✅ Решает конкретную проблему. Гипотеза помогает решить заранее определенную и конкретную проблему.
✅ Есть набор изменений. Мы определили, какие изменения нужно внести, чтобы протестировать данную гипотезу.
✅ Есть обоснование. Мы можем обосновать, за счет чего и почему решение может решить проблему. Хорошая гипотеза сможет пройти допрос с пристрастием и ответить на вопросы типа «а с чего ты взял, что это поможет», «за счет чего метрика увеличится настолько». Необходимо, чтобы обоснование было подкреплено фактами, числами, а не фантазиями и чуйками, типа «я уверен в этом, зуб даю». Не нужно никому давать свой зуб, лучше показать чиселки.
✅ Измерима, выбраны метрики. Мы понимаем, как измерить эффект, выбрали метрики, изменение которых поможет нам понять, решается проблема или нет.
✅ Определены ожидаемые величины изменения метрик. Нежелательно запускать эксперимент, не предполагая, на какую величину может увеличиться метрика.
✅ Эта гипотеза — часть цепочки среди других гипотез. Гипотеза не должна существовать в вакууме отдельно от других гипотез. У нас есть понимание, что будет происходить в зависимости от результатов конкретного теста. Исследование текущей гипотезы должно вести к следующей и т.д. (в этом месте гуглим про цикл HADI)
✅ Есть полные текущие данные (количественные и качественные). Мы можем собрать текущие данные (просмотры, события и проч.) по метрикам, которые будем наблюдать при проведении АБ теста.
✅ Ведет к дополнительному знанию. В результате теста мы получим какую-то новую информацию.

О бедном т-тесте замолвите слово. Подробный разбор метода, в том числе "легендарное" требование нормальности распределения для использования т-теста.

Байесовское АБ-тестирование часто встречаю в статьях, но, насколько понимаю, его используют немногие. Тем, кто хочет быстро оценить как это работает и помоделировать, поможет эта статья - тут общее описание, калькуляция, код.