Телекомпания Вит

Я вынужден спросить – ибо меня это тяготит уже вторую неделю. У меня есть сотрудник-друлега – Артём.
Недавно я узнал, что Артём и Артемий – разные имена.
Вопрос: а вы знали?

Последние месяцы всё чаще приходят с запросами на консультации – вне моего основного дела.
Если у вас болит что-то из этого – давайте поговорим:

Продажи сложных техпродуктов. Как выстроить и масштабировать продажи там, где цикл длинный, а продукт не объяснить одним слайдом.

Партнерства и дистрибуция. Как находить и строить отношения с партнерами, которые продают ваш продукт, а не просто числятся в списке.

M&A и подготовка к нему. Что нужно иметь уже сейчас, чтобы стать интересным стратегу, и как пройти саму сделку.

Экономика продукта. Где вы сейчас по юнит-экономике и что в ней можно развернуть.

Аналитика и эксперименты. Любые вопросы в аналитическом домене – от метрик до культуры экспериментов и AI.


Пишите в личку – разберемся, чем могу быть полезен.

В новой статье описали как работают switchback эксперименты на платформе trisigma.io
https://habr.com/ru/companies/avito/articles/1048780/

Все еще очень рад и горд их появлению у нас!

Канал «Телекомпания Вит»

В 2020 год мы в EXPF завели блог – писали про математическую статистику и эксперименты.
Тогда блог жил на платформе medium и был достаточно хорошо читаемым.
Теперь у блога новая жизнь и он переехал на сайт сайт trisigma.io.

Мои самые любимые материалы:
1) Дисбаланс в A/B-тестах. Есть ли разница между 99%/1% и 50%/50% в экспериментах?
2) Увеличиваем чувствительность экспериментов при помощи ранговой трансформации
3) Случайность над случайностью или в поисках «Сетевого эффекта»

Канал «Телекомпания Вит»

9го июля буду выступать на data day в Москве. Если вы вдруг туда собираетесь – буду рад поболтать!)

Всем привет, это Искандер.

🔵В прошлый раз я поделился с вами пейпером про подход с ARMA-Design от нескольких международных университетов. Следующий пейпер, который хочу обсудить, снова про нарушение SUTVA, но уже не во времени, а в пространстве.

Откуда проблема

Запускаете A/B на социальной сети: часть пользователей получает новый тип реакций, часть — нет. Казалось бы, всё чисто. Но контрольные пользователи видят, что их друзья из treatment что-то делают иначе. Они, в свою очередь, меняют свое поведение. ATE по итогу будет смещён, и авторы оценивают это смещение в 30%+. Очевидно перед нами сетевой эффект. Но стандартные способы с ним бороться работают плохо.

Наиболее популярных подход и его проблемы

Чаще всего используется сплиттование через Cluster randomization: назначаем воздействие кластерам пользователей, а не индивидуально. Тогда spillover-эффект внутри кластера, но не между ними. Проблема: теряется мощность за счет перехода на новый уровень рандомизации, и кластеры часто плохо соответствуют тому, как реально распространяется воздействие от A/B.

Что предлагают авторы

Двухшаговый метод, который автоматизирует задание exposure mapping.

Шаг первый: для каждого пользователя строится вектор — causal network motif. Он описывает топологию ближайшего окружения с учётом того, кто из соседей обработан. Важна не просто доля обработанных, а структура связей между ними. «4 друга, 2 обработаны, и они между собой связаны» — это другой мотив, чем «2 из 4 обработаны, но изолированы друг от друга». Плотный кластер обработанных давит на поведение иначе, чем рассеянные.

Шаг второй: эти векторы кластеризуются алгоритмом ближайших соседей. На выходе — автоматически найденные группы с разными паттернами интерференции. Целевая метрика — GATE: что было бы, если бы все получили фичу, против состояния, где никто ничего не получил. Не "насколько лучше у тех, кому показали" — а глобальный эффект с учётом spillover эффекта.

Проверка
Протестировали на синтетике и на реальном крупном тесте. По точности оценки GATE — выше cluster randomization.

Когда это нужно

Продукты с механиками социального взаимодействия с вирусным компонентом: реакции, шеринг, рекомендации «добавить в друзья». Двусторонние маркетплейсы, где обработка продавца влияет на покупателей. В общем — всё, где SUTVA нарушается через явные связи в графе, а не через время.

От себя
Практически важнее самого алгоритма — диагностика. Большинство команд вообще не проверяют, есть ли интерференция. Обычно просто говорят – «у нас есть сетевой эффект». Если граф пользователей доступен, тест на отсутствие spillover — несложная операция, которая может перевернуть интерпретацию уже прошедших экспериментов.

Если есть мысли, пишите в комментах.



Trisigma — канал про A/B-тестирование

#trisigma

VWO опубликовали исследование – опросили 108 компаний, насколько зрелые у них процессы экспериментирования. Разобрал, что там внутри.
Сразу честно: выборка смещенная. Отвечали клиенты VWO – то есть те, кто уже купил платформу и скорее всего доволен. Это как спрашивать у людей в спортзале, занимаются ли они спортом.
Но кое-что интересное там все равно есть.

Главный парадокс отчета
56% компаний запускают 1–2 теста в месяц. И при этом 75% говорят, что главная цель на год – запускать больше тестов.
То есть все знают что надо делать. Никто не делает.
Причина называется честно – не хватает людей и времени. Не инструментов, не бюджета. Просто руки не доходят.
Что западает у всех без исключения
Приоритизация. Команды берут в работу то, что проще построить, а не то, что важнее. Самый низкий балл из всего исследования.

Про AI
86% команд уже используют AI в экспериментах. В основном – чтобы быстро делать варианты текстов и не смотреть вручную записи сессий пользователей часами.

Мое мнение
Отчет про западные CRO-команды, которые оптимизируют лендинги. В продуктовых командах картина другая. Но парадокс с velocity – он везде одинаковый. Все хотят больше экспериментов, мало кто строит систему, которая это позволяет.
Если хотите быстро понять где вы – ответьте на два вопроса: сколько тестов вы запускаете в месяц и по какому принципу выбираете что тестировать следующим. 

Канал «Телекомпания Вит»

Быстрый опрос – если вдруг кто то в Лондоне и хочет выпить кофе, буду рад!)

Ну и чтобы не выглядело так, что из впечатлений - только кепка.
Вы посмотрите что там было , просто до мурашек.

Мы вчера были с женой на концерте Ye (Канье Вест).
Очередь на вход - была просто огромная и очень утомительная.
Видимо в какой-то момент мне стало настолько скучно, что я решил предложить поменяться кепками сотруднику сцены. Он согласился. А я теперь сижу и жалею, моя старая кепка мне очень нравилась.
Ну и парой фоток с вами поделюсь.

Про Авито, Трисигму и SaaS B2B 🙃

А что вы там вообще делаете? Рассказываю!
У нас тут тот самый случай, когда сработали и идея внутренней разработки, ставшей коммерческим продуктом, и B2B SaaS стартап с экзитом в Авито (ссылка на форбс).

Продуктово — экосистема, объединяющая две платформы и консалтинг. Изначально SaaS, постепенно добавляются другие форматы поставки. Помогаем ускорять и масштабировать процессы А/В-тестирования 📈

Считаю, что самая большая удача для маркетинга — действительно хорошо работающий продукт и команда бизнеса, готовая вписываться во все идеи и «а что если».
Мне повезло еще больше — инициатива идет от всех, объяснять «зачем» и «кому это надо» не приходится.

Теперь хвастаюсь🙂‍↕️
Год назад у нас была презентация, на коленке собранный митап и три поста.
Сейчас есть стратегия, медиаплан, кейсы, выпущен первый хендбук, провели несколько офлайн-мероприятий, онлайн даже не считаю, живет тг-канал.
Одним словом — молодцы.

С одной стороны, безусловно, за этим стоит труд, но с другой — искреннее желание всех причастных сделать хорошо, качественно и интересно. Для меня это самое ценное.

Что еще — к нам стали приходить с запросами на совместное участие, коллаборации, партнерские мероприятия, консультации. Вот на следующей неделе едем в Газпром читать лекцию про построение цифровых продуктов. Такая оценка очень честная — в стратегии основным фокусом была наша командная экспертность, значит, все работает правильно.

Как видите — я очень горжусь результатами, а когда так, работается совсем по-другому 💎

У trisigma.io - очень крутой маркетинг.
В том смысле, как я понимаю маркетинг для сложного b2b продукта.
Экспертный / с хорошим пониманием домена / с фокусом на рынок и клиента.

За маркетинг у нас отвечает Маша и она недавно завела свой канал.
Делюсь постом про тот самый крутой маркетинг.

Сегодня год нашей сделке с Авито.

Я давно хотел начать писать здесь что-то личное – и все время откладывал. Пожалуй, начну с этого.
За год – мы очень круто выросли, очень много чего сделали, но история не про это.

Пока мы закрывали сделку, я закрыл коробок конфет на лишние 20 кг.
Это, пожалуй, лучшее описание моего ментального состояния в тот период. Избавился я от них кстати еще быстрее чем набрал - но это другая история и могу рассказать отдельно (пишите в комментах).
Сделка – это не просто этап в жизни бизнеса. В какой-то момент она перестает быть транзакцией и становится экзистенциальным вопросом. Очень личным. Тебя бросает эмоционально, твой мир начинает крутиться только вокруг нее. А вообще то твой мир должен крутиться вокруг твоей жены. Это кстати не шутка - быть подкаблучником, самая мудрая стратегия, которой я намучился за 35 лет жизни. Но это тоже другая история)

И когда наконец ставишь галочку – выдыхаешь. Радуешься. Но ненадолго.
Есть такая штука - паппи блюз. Ты очень ждешь собаку. Собака дома. И тут выясняется, что собаке глубоко фиолетово, сколько стоят твои кроссовки от знаменитого дизайнера из Грузии.

Со сделкой – то же самое. Ты ждешь эмоционального освобождения, а получаешь интеграцию. Твой бизнес нужно встроить в другой бизнес. Огромный. Готов ли твой бизнес к этому? Технически - вроде да. Но не обольщайся)
И именно интеграция – самая уязвимая часть.
Мы ее прошли нормально, но основные вызовы были именно там.
Не потому что с Авито что-то не так – с ними (нами) все прекрасно . А потому что я лично был просто не готов. Не на уровне "сдался" – на уровне ожиданий. Я ждал увлекательную историю, а получил увлекательный геморрой на полгода.


Год спустя – не жалею ни о чем. Но если бы мог сказать себе тогда что-то одно: сделка – это не финиш. Это старт другого забега, к которому ты не тренировался.
А ты так то вообще мало тренировался в это время, ты конфеты (дубайский шоколад) жрал.
Про интеграцию, про то каково это – быть фаундером внутри корпорации, и про то что в итоге получилось – напишу отдельно. Там есть что рассказать.

Канал «Телекомпания Вит»

Готовлюсь сейчас к выступлению – тема не новая, но вечная: методы ускорения экспериментов.
Один из них – CUPED. Кажется, только ленивый про него не читал, большинство так или иначе пробовали руками.

Если брать CUPED в базовом виде – по оригинальной статье – одна из ключевых настроек это окно ковариаты: какой ретро-период брать. Влияние на чувствительность очевидно и легко проверяется симуляциями.
Но есть момент, который проверяют куда реже – сонаправленность эффектов до и после CUPED.

Можно так увлечься оптимизацией окна, что lift метрики без CUPED и lift с CUPED начнут расходиться по знаку. И тогда теряется интерпретируемость – а вместе с ней и практическая применимость метода.

Sign consistency – вероятность того, что raw-оценка эффекта и adjusted-оценка имеют одинаковый знак. Формально: если обе положительные или обе отрицательные – эффект сонаправлен.
Если знаки разные – CUPED просто испортил вашу метрику, а если вы этого не заметили, то и эксперимент или эксперименты убили.

Как быстрый вывод – проверяйте!

Базовый CUPED – линейная регрессия одной ковариаты на метрику. Простота – его сила. Но за 10+ лет накопилось несколько направлений развития.

1. Множественные ковариаты – MLR-CUPED Вместо одной переменной – несколько: активность за разные периоды, сегмент пользователя, платформа. Помогает, когда одна ковариата объясняет только часть дисперсии. Риск – переобучение и нестабильность коэффициентов на малых выборках. Но значительно меньше проблем со направленностью

2. Нелинейные ковариаты – ML-CUPED Линейная связь между ковариатой и метрикой – упрощение. В реальности зависимость часто нелинейная. Подход: обучить модель (градиентный бустинг, нейросеть) предсказывать метрику по ковариатам, использовать остатки как скорректированную метрику. Оптимизация чувствительности выше, но интерпретируемость падает – и проблема сонаправленности становится еще критичнее.

Канал «Телекомпания Вит»