Сенаторов.head()

Работа в выходной?

Сегодня я впервые за свои 5 лет карьеры официально работал в выходной. То есть я прям написал заявление, чтобы у меня сегодня был рабочий день 😳

Проект горит, в срок не успеваем, я на стрессе, поэтому думаю — раз я все равно буду работать, пускай мне хоть за это заплатят 😎

Неожиданные плюсы работы в выходной:

▶️Впервые за годы у меня не было ни одного созвона, это просто невероятно влияет на концентрацию

▶️Так как обстановка непривычная и хочется закончить побыстрее, продуктивность растет х3. Чисто аналитическая задача меня реально затянула.

Из минусов:

▶️Если это повторится еще неделю, я сойду с ума и перееду жить в термолэнд

▶️Начинаешь испытывать острое чувство несправедливости и злишься на всех: на проект, на коллег, на себя. Ты раздражен, что докатился до работы в выходной 🔪

Никому не рекомендую повторять, но блин иногда приходится включать хаслер режим 😔

Я к слову из-за всего движняка и стресса забываю писать посты, буду исправляться!

Тревожность друг или враг?

Раз в несколько месяцев я обязательно выхожу с постом про ментальное здоровье. Пять лет и 50+ сессий с психотерапевтом дают о себе знать, хоть и я и не претендую на экспертность. Но может кому-то это поможет так же, как помогает мне 🤟

У меня бывают тревожные периоды, когда я беспокоюсь о будущем и о том, что я не могу контролировать. Работа, бытовые вопросы, заграничные поездки — все это в одну корзину падает. И в эти периоды дни тянутся, рутина страдает, а отвлекаться не получается 😒

Я узнал от психотерапевта, что тревожность она на самом деле нам друг биологически. Заботится, чтобы мы не попали в опасность и постоянно подмешивает ужасные сценарии в голову. Выключить тревожность невозможно, да и не нужно.

Мне врач рассказал про метафору с портативным радио. Вот оно всегда играет на фоне в квартире, иногда нам стоит сделать погромче и прислушаться, а иногда просто игнорировать.
И мозг тогда подумает:

хм, ну если Саша ничего не делает и игнорирует, значит там действительно ничего страшного, сделаю тревожность потише

Сказать конечно сильно проще, чем на самом деле это проделать.

Я вот впервые за три недели сегодня позанимался спортом — и прям в моменте облегчение почувствовал. Мы с невестой читаем перед сном книги на инглише вслух — и тоже единственный час в день, когда я не думаю о тревожном. Худшее, это если решить просто тревожно переждать сложный период. А на самом деле хочется жить и не думать лишний раз 😎

Всем спокойствия! ❤️

Кто такой аналитик-калькулятор?

Я в Тиньке рассматриваю заявки на повышения для джунов и миддлов. И наверное, самое главное, что я вынес о росте аналитиков – это что нигде уже не любят аналитиков-калькуляторов 🤨

🔘Ты провел A/B тест? Понятно. А ты обсуждал с продактом на этапе проработки гипотезы, что тест может и не надо катить, так как выхлоп маленький?

🔘Ты сделал дашборд? Молодец. А как твой дашборд влияет на бизнес-решения? Какие решения подкрепил твой дашборд?

🔘Ты провел исследование? Кайф. А ты сделал какой-то call to action и проследил, чтобы это привело к изменениям? Или исследование просто в стопочку положили?

Я все чаще вижу, как всю рутину, расчеты, дизайны тестов, визуализации делегируют нейронкам. Уже сейчас сам факт того, что аналитик что-то посчитал, не особо роляет. Гораздо чаще звучит влияние, оунершип, работа со стейкхолдерами 🧑‍🍳

Если вы хотите расти внутри своей компании или выходите на собесы, то помните, что посчитал/происследовал/провел АБ не так важны, как то, к чему это привело.

Говорите языком проблем бизнеса и вашим влиянием. Даже не обязательно влияние в деньгах, самое главное — это что вы влияете на принятие решений. И чем больше, тем лучше 😎

Классический кото-галстучный пост в рандомный четверг, всем рад! 💼

Геймифицируй это!

Жесть, я даже не помню, когда в последний раз делал книжный обзор. И тем более позор мне, что работая в команде Геймификации в Т-Банке, я не рассказывал вам про эту книгу 😶

Приглядитесь к обложке...видите восьмиугольник? Это называется Октализ — очень популярный фреймворк для анализа и управление мотивацией.

То, что я напишу дальше будет полезно и аналитикам, и продактам, и маркетологам 🤓

Суть октализа в том, что каждый угол — это один из элементов мотивации клиента (в комментах картинка)

▶️В верхней половине условно "дофаминовая" мотивация: какая-то важная миссия, достижения, творчество. Самый яркий пример важной миссии это Википедия. Там люди бесплатно тратят время и контролят статьи, потому что считают, что это на благо всего человечества. Или возьмем в пример LinkedIn — первую компанию, которая начала использовать прогресс бары при заполнении профиля. Нас это подталкивает, потому что мы хотим кайфануть, достигнув 100%.

▶️В нижней половине "кортизольная" мотивация: страх потери, ограниченность ресурсов, непредсказуемость. Здесь прекрасно ложится DuoLingo: дейлик стрик, который боишься потерять, и сгорающие сердечки. А знаете, что еще отлично ложится? Игорные механики, основанные на удаче и на риске.

Про дофамин и кортизол это вольная метафора, я за нейрохимию не шарю. Факт в том, что здесь нет плохой мотивации. Но если вы строите продукт и инвестируйте только в одни углы Октализа, то можете получить просадку по другим и люди не захотят пользоваться вашим продуктом. Это хороший способ проревьюить ваш продукт и ответить на вопрос: не вгоняет ли он клиента в стресс? чувствует ли клиент какое-то позитивное подкрепление? 🤔

Это все напрямую связано с геймификацией. Потому что это не свистелки-перделки, а какая-то механика, которая бьет в мотиваторы по октализу. А если не бьет, то штош...скорее всего эта механика не работает.

Ставьте удивленного чела 😳, если было интерено и узнали что-то новенькое, и крутого чела 😎, если ждали возвращения рубрики

А как вы расширяете кругозор?

p.s снова продаю клода 😎

Я честно пытался подсесть на подкасты аналитиков и айтишников, смотреть умные видосы про тренды в айти и бизнесе. Пробовал Lenny’s Podcast, видосы Y Combinator, разные интервью с умными ребятами и проблема одна — почему-то не цепляет 😒

Все это требует каких-то лишних усилий и воспринимается как нагрузка, которую после рабочего дня хочется избежать.

Теперь у меня решение это проблемы идет по-другому — я общаюсь с клодом.

Стоит услышать краем уха что-то новенькое, я сразу бегу в клода. Недавно так было со скиллами, я вообще пропустил это и потом нагонял своими расспросами 🤔

Есть один нюанс — это работает, только если у вас есть здоровое любопытство и желание.

Я думаю, это было причиной, почему мне не заходили умные видосы. Этим двигало не любопытство, а желание хаслить и продуктивничать ☠️

Когда мне что-то интересно, я свободно общаюсь с клодиком как с другом и каждый раз узнаю чуть больше о мире. Надо только привычку выработать. И жизнь станет попроще 😶

Всегда держите историю в рукаве

У меня июль выдался месяцом найма 😳
Было проведено, наверное 10-15 собесов на открытые позиции у меня в команде

И есть одна вещь, которую на собесах очень часто упускают или недооценивают. Вот у вас есть опыт, у вас есть харды, вы делали исследования, A/B-тесты и дашборды — но сможете ли вы правильно этот опыт донести? 🤔

Очень часто, когда я задаю вопрос: "Расскажи о проекте, который считаешь самым крутым и значимым?" или "Какая самая челленджовая задача у тебя была за последнее время?" — то кандидаты сразу встают в ступор.

Я понимаю, когда долго работаешь, многие задачи сливаются и сложно выделить (сам с таким сталкиваюсь когда подаюсь на повышение), поэтому важно имено ЗаГоТоВоЧкИ 👊

Просто подготовьте перед собесом несколько проработанных историй, которые раскроют ваш опыт в лучшем виде.

Формат для этого часто используют STAR (situation, task, action, result), можете прочитать про него, это прям база по подготовке к собесам ✏️

В чем плюс подготовить историю заранее:
🔘 Вы сможете дать контекст за 1 минуту, не размазывая на 10 минут
🔘 Можно сразу подчеркнуть всю техническую сложность, методы, как подходили к задаче
🔘Подчеркнуть умение работать со стейкхолдерами. В идеале, если там даже был какой-то конфликт, который вы разрешили

И все! С вас пару часов подготовки, а шансы хорошо пройти собес с нанимающим менеджером уже сильно выше.

Вот список самый частотных вопросов, для которых можно истории подготовить:

1) Расскажи про проект, которым больше всего гордишься / который считаешь самым значимым
2) Самая сложная или челленджовая задача за последнее время
3) Проведи меня по A/B-тесту, который ты вёл от гипотезы до раскатки
4) Случай, когда данные показали неожиданный результат — противоречащий интуиции или ожиданиям стейкхолдеров
5) Как ты через анализ повлиял на конкретное продуктовое решение?
6) Ситуация, когда ты не согласился с PM или руководителем — как отстоял позицию и чем закончилось
7) Проект, который не выстрелил или дал нулевой результат — что ты из этого вынес?
8) Расскажи про самую большую свою ошибку?
9) Как приоритизировал задачи, когда их оказалось больше, чем позволяет ресурс?

С вас реакция и тогда у вас в поисках все будет как у кота в галстуке 💼

Пойдете на ИТ-Пикник?

Я вот с тех пор как переехал в Москву, каждый год хожу на пикник, потому что это классный способ развеяться в летний денёк 😎

Я конечно люблю вайбово сидеть на травке, болтать и слушать музыку от артистов, но если вы хотите поучаствовать в активностях, то лучше приходить пораньше, чтобы избежать очередей. А еще там будут лекции и воркшопы! В том числе по аналитике!

Самое забавное, что я снялся в рекламе ИТ-Пикника, вы даже могли видеть ее в просторах интернета и в вк 😶

8 августа в Москве
Вот сайт: it-picnic.ru

Приходите! 🥳

Сорри, что не постил две недели

собирал лего банкомат 😳

Эту красоту я купил у нас за внутреннюю валюту (мне ведь мало мерча). Но банкомат! Это что-то новенькое.

В идеале конечно вообще воспитывать у детей любовь к финтехам именно через такие игрушки. Следующий шаг — купить низкополигональные деньги из gta vice city для домашнего уюта 😎

Ребята, LinkedIn что за зверь вообще 💼

Признаюсь честно — я всегда думал, что линкедин это про corporate brainrot slope и это просто смешно. Вся соцсеть ощущалась по вайбу, как что-то среднее между microsoft teams и skype

Вы и без меня понимаете, сколько мемов было про эти вылизанные посты и «what divorce with my wife taught me about B2B sales» 😶

Но оказалось алгоритмы работают 😳
(невероятно)

Пару месяцев периодически и захожу, и вот уже:
🔘Посты написанные с душой про интересности корп мира
🔘Холивары, про разные кейсы из мира найма (например, тот случай, когда девушке отказали, потому что в тг у нее на аватарке был мем с матами)
🔘Посты, которые комментят всякие лиды аналитики из топ бигтехов по миру
🔘Реально попадают посты с релевантными вакансиями. У меня каждый день кто-то из моих коллег тинькофцев постит, что ищет себе в команду аналитиков

Ура, теперь еще одно место, куда я могу зайти с утра подумскроллить 😎

Давайте чуть-чуть лингвистики

Пару месяцев назад я за час навайбкодил себе бота для перевода слов с инглиша на русский

Супер легкий бот, который делает максимально простую вещь — просто переводит. Зачем я его сделал? Яндекс переводчик очень плохо работает, вылетает и тормозит с впн'ом, меня это бесило 🤔

Тем не менее, я дал своему боту еще одну прикольную фичу — для каждого слова он определяет его частотность по Zipf Scale. Это что еще за зверь? Приготовьтесь, я к вам снова с аналитикой 🧑‍🍳

Джордж Ципф, лингвист из Гарварда еще сто лет назад увидел интересную закономерность: частота слова оказывается обратно пропорциональна его рангу. Второе слово используется в два раза реже первого, а третье в три раза реже и так далее. В английском «the» занимает ~5–7% всего текста, дальше идёт крутой обвал и очень длинный хвост 😳

Объяснял он эту закономерность обычной ленью — ведь это компромисс между ленью говорящего (хочется одно слово на все случаи) и ленью слушающего (хочется отдельное слово на каждый случай). Равновесие этих двух сил, мол, и дает степенное распределение 😶

А совсем недавно, в 2014 лингвисты вывели Zipf Scale, где по формуле определяют, сколько раз слово появляется в 1,000 рандомных слов, в 10,000 рандомных слов, в 100,000 рандомных слов и тд. Здесь такая же ранговая логика, только завернутая в логарифм.

Эта фича помогает мне забивать на очень редкие слова и запоминать частотные слова, которых я не знал 👊

Все это дело я потом закидываю в приложуху, где создаю карточки с английскими словами (я использую Noji, но есть еще бесплатная Anki). С момента создания бота я выучил 175 новых слов, что для моего C1 немало! 😎

Можете тоже попользоваться!
@fellow_dicky_bot

Что делает техническую секцию стрёмной?

За свои 5 лет в аналитике я много собесился и много собесил — выработалось понимание, что точно булщит и душниловка. Хочу с вами поделиться наблюдениями!

▶️Душнить за синтаксис

Ох, сколько я задачек порешал по SQL и Python за все свои собесы. И я скажу честно — когда начинают душнить за синтаксис у меня очень портится впечатление о компании (все таки интервьюер — это лицо компании в процессе отбора) 👀

Можно забыть, что писать внутри функции date_trunc() или как достать элементы словаря в питоне. И это не критично — потому что лечится одним запросом в гугле. Важнее, что ты понимаешь, что делаешь, а не случайно пропускаешь запятую. Если вы интервьюер, просто укажите на неточность в синтаксисе и идите дальше.

В дивном новом мире клода мы сложный код уже давно не пишем сами, таковы реалии рынка. Спрашивайте понимание, а не синтаксис 👊

▶️Душить теорией и задачками

Я не решу сейчас ни одной задачки на монетку, светофор или еще какую-нибудь фигню. Просто потому что я не работаю в отделе подбрасывания монеток. И на работе не кубики бросаю, а стараюсь денег бизнесу заработать 😶

Хотите проверить знания теории? Дайте одну из задачек на нестандартные АБ-тесты, подсуньте кандидату парадокс Симпсона, попросите объяснить продакт менеджеру зачем нужна ЦПТ 🧑‍🍳

Эти задачки на шарики и кубики просто не раскрывают то, что сегодня мы ищем в идеальных кандидатах (и в конце концов задачи можно просто нарешать и тогда они будут плохой проксёй к реальным знаниям)

▶️Гонять аналитика по алгоритмам

Мне кажется, круто знать питон на уровне дюжины базовых конструкций и уверенно рулить Pandas — вот это рабочий скилл. Но прогонять сложные алгосы и еще чтоб прожаривали за "О большое" (вычислительная сложность алгоса) и оптимальность, ну это ту мач.

Бог с ними с алгоритмами, вот у вас есть вакансия и там ты примерно понимаешь стек. Есть позиции, где в разных пропорциях Python, SQL, ML, A/B-тесты и все остальное. Вот и было бы круто делать упор на разные вещи, а не всех по дефолту гонять через питоновские задачи.

Угадайте, какая крупная компания частенько собирает 3/3 🤨

Я за отбор без фанатизма, я за здравый смысл и здоровый найм 🎧

Какие еще харды бывают у аналитика

Я вот часто пишу про A/B тесты, продуктовое мышление, статистику и метрики — а один пласт хардов все время упускаю

Я говорю про харды в DE (Data Engineering). Я по работе часто общаюсь с DWH и конечно бывает сложновато общаться с ними на одном языке

Разбираться в дата-инжиниринге очень полезно. Сразу расширяется скоуп возможных компетенций для отбора по вакансиям

И я конечно не пишу вам это просто так, у меня конкретное предложение)

У меня есть друг Дима Кузьмин и он дата инженер. Наш первый совместный пост вышел еще в далеком 2024, с тех я его читаю и это помогает как минимум оставаться в контексте

Рекомендую вам зайти на его канал и глянуть интересные материалы:
▶️ Про 5 важных SQL проверок данных
▶️ Про путь данных от источника к витрине
▶️ Кайфовая статья про SQL собеседования на Stepic
▶️ И статья о том, какой карьерный путь у DE специалистов

Будем растить экспертизу не только вглубь, но и вширь! 🧑‍🍳

А ведь хорошо за МКАДом...

но только когда ездить на работу не надо каждый день 😶

Вот шутки шутками, а я полгода уже живу достаточно далеко от центра. То, что я живу за мкадом, это я конечно сильно сказанул. У меня в трех минутах метро, шатаут метро Физтех 😎

Это было прям выигрышным решением, я считаю.

Во-первых, здесь просто под окном бескрайний лес и конец Капитолия, на выходных даже тяги нет ездить куда-то, когда можно погулять и на районе

Во-вторых, очень выгодный размен доп квадратных метров на деньги. В самом городе, сколько не смотри, везде за оверпрайс эти евродвушки, где из рабочего места только модный журнальный столик...💻 (арендадатели жилья среднего класса подумайте о целевой аудитории, это часто айтишники). Наличие рабочего места это было блокирующим фактором для меня при поиске жилья 👊

Ну и в третьих, конечно не так шумно. Звуки машин меня убивают, честное слово, а адреса с окончанием на "шоссе" или "проспект" вызывают тряску. Окно во двор — это одновременно и московский роскошный максимум, и название крутого фильма Хичкока, который я очень рекомендую

Я планирую все дальше по жизни отъезжать от МКАДа, в следующий раз, надеюсь, это будет Италия, а потом может еще дальше, кто знает 😎

Ищу продуктового аналитика в Т-Банк!

Вот так вот, да!
Теперь я сам нанимающий менеджер, которому нужно найти талантливых аналитиков к себе в команду — и где искать, если не в этом канальчике! 😎

Я лидирую команды, которые занимаются экосистемным вовлечением — мы пытаемся сделать клиентов лояльными и активными 😀

У меня есть два трека, куда я нанимаю

▶️ Геймификационные механики

Даем клиентам игровые задания в разных форматах по всему Мобильному Банку
Задача — дать в нужное время нужному клиенту нужное задание — чтобы максимизировать профит банка

▶️ Вовлечение и кросс-продажи

У нас есть десятки нативных форматов в Мобильном Банке и через них мы продвигаем наши продукты: от баннеров до интерактивных бабблов. Задача — сделать эти форматы еще более эффективными

Идеальный профиль кандидата:
— Умеете в SQL и Python
— Матстат для A/B тестов
— Продуктовое мышление (сможете из головы назвать для любой компании 10 продуктовых метрик и приведете примеры 1-2 инициатив, чтобы их поднять)
— Быстро учитесь)

Что будем делать:
— Много A/B тестов
— Продуктовые ресерчи
— Дискавери и поиски инсайтов из данных

Больше про задачи продуктового аналитика и стек можете на лендосе почитать

Опыт работы:
Приоритетно на вакансию смотрим кандидатов 2+ года опыта работы, но если у вас даже чуть меньше, но вы чувствуете, что мы с вами смэтчимся, то пишите 😎

(кстати если у вас есть лидовский опыт, то тоже пишите, такое нужно!)

Все сюда — @senatorous

Обнял! 💼

A/B без A/B (ч.2)

В прошлом посте я рассказал про разные способы проводить А/В тесты без А/В тестов, но остался подвешенным вопрос — а когда эти методы нужны вообще? А/В тесты лучше всех, так давайте всегда использовать — а вот нет 😶

Топ причин, почему мы не сможем провести A/B тест:

▶️ Этика/законы

В мире денег и такое встречается)) Говоря технически, мы не всегда можем выделить рандомный контроль/тест для которых мы: отключим кэшбэки, ухудшим цену, насуём багов, или сделаем сотрудников поддержки грубиянами.

Классический пример: нельзя заставить людей курить, чтобы доказать вред курения (поэтому социальные исследователи изощряются с другими методами Causal Inference)

▶️ Неделимый тритмент — нельзя раскатить на часть

Тритмент (treatment) — это наше воздействие. И часто мы не можем воздействовать на Ваню и скрыть воздействие от Серёжи. Это часто бывает с ТВ-рекламой, ребрендингами, новыми законами, новыми комиссиями — в общем чем-то глобальным. И мы не можем это глобальное разбить на куски для честного А/В теста 🔪

▶️ Крупная единица и мало наблюдений

Вы раскатили вашу фичу на 5 городов-миллионников. Ваша единица наблюдения — это не 5млн человек, это просто 5 (городов). Тут стат-критерии посмеются только 😳

У нас в Тиньке я как-то погружался в аналитику банкоматов. Там с единицами наблюдения и А/В тестами все тоже очень несладко

Для гео-методов хорошо могут сработать Synthetic control, Matched market testing (когда находим «близнецов» по городам), а если изоляция по гео невозможна, можно попробовать разбивать по времени — это метод Switchback

▶️ Интерференция и сетевые эффекты

Представьте, вот вы раскатили фичу и клиенты из тестовой группы «заражают» клиентов из контрольной.
— Один рассказал своим друзьям о новой промоакции, а они были в контрольной группе
— Два кореша переписываются, но у одного из них вместо нового эмодзи отправляется ⍰
— Представьте, что водители Uber из теста и контроля дерутся за один пул клиентов. Из-за фичи одна из групп может отжирать клиентов у другой и оценить эффект может быть сложнее.

Неважно: сетевые эффекты, баг, двухсторонние рынки — интерференция генерится по ряду причин, и это может мешать честному А/В

▶️ Слишком дорого делать контроль

На самом деле частная причина на практике! Часто на ухудшающие тесты надо перелопатить всю айтишную архитектуры, чтобы отключить клиенту какие-то фичи. Или при разработке новой сложной фичи предусмотреть, чтобы она не работала у части людей — может стоить очень дорого в человеко-часах разработки.

И тогда надо просто трезво оценить профит от полученных знаний и риски. И если цена разработки выше, то забить и применить другие методы Causal Inference

Мир А/В тестов полон неожиданностей! Третьей части не будет, лонгриды жесть. Я подумаю, что еще накопать в А/В, а с вас наш аналитик-поваренок за пост! 🧑‍🍳🧑‍🍳🧑‍🍳

Плата за риск

Если вы ломаете голову, что посмотреть на этих выходных — гляньте документалку о мексиканском финтехе Plata 😎

Его основали бывшие топ-менеджеры Тинька при активном участии Олега Тинькова. Plata уже достиг оценки $5 млрд — быстрее любого необанка в истории 😎

Ух какой же крутой фильм получился!!

Там и про талантливых и амбициозных россиян, которые с головой окунулись в создание чего-то нового и большого 👊

И про очень заряженных мексиканцев, которые делают настоящий прорыв в своей стране

И про забавные моменты межкультурной коммуникации, когда мексиканцы пытаются познать истинную суть «slavic face» и глубину нашего «вjobывать» 😶

Завидую белой завистью ребятам, и тем моим коллегам и сокомандникам, кто сейчас работают в Plata хочу сказать — так держать! Это очень круто 🙏

российские законы обязывают меня указать, что Олег Тиньков — иноагент

Ёбкость

— сущ.; качество, присущее настоящему аналитику

Это придумал не я! Но я часто слышал от знающих людей, что аналитик должен быть именно ёбким

Поразительно, но это абсолютно рандомное слово, но я прекрасно понимаю, о чем это
Но никак не могу придумать, как бы в двух словах описать.

▶️С одной стороны важно быть внимательным и к сути, и к мелочам. Я вот вижу перед собой график с метрикой. Могу оценить его и по целям бизнеса, и по тому, а насколько этим данным можно доверять. Я ёбкий аналитик

▶️С другой стороны я активный участник процесса. Я буквально партнер бизнеса и могу сказать менеджерам, где булщит на метрикодрочерство, а где здравые инициативы. В ревью мне напишут: «был ёбким и справедливым»

Мои ресёрчи соответствую принципу MECE (mutually exclusive, collectively exhaustive) и я сделал этот ресеирч именно тогда, когда у бизнеса он болел больше всего. К этим ресёрчам не подкопаться, а все почему? Правильно, потому что аналитик ёбкий

Как вам словечко? Не помню, честно, кому дать креды за это словечко, т-банчата пишите в комменты, если вы знаете. Но теперь я его популяризатор

P-value = 0.051?

В LinkedIn я наткнулся на пост челика, который решил обсудить — что делать, если у нашего p-value пограничное значение

Мне стало любопытно. Хоть у меня на опыте и десятки тестов, но вот пограничные случаи бывают редко.

Давайте сразу обозначим: p-value=0.05 это очень условная граница и Фишер сам говорил, что это удобная точка, но она не прибита гвоздями

Поэтому глобально, что можно сделать, если вы попали в ситуацию p-value = 0.051 или 0.049:

1️⃣ Вариант 1

«Ну мы очень близко, в целом не рискуем, давайте катить фичу»

— с таким подходом вы может угадаете с этой фичей, но на большом горизонте с кучей экспов вы будете чаще ловить ошибку 1-го рода

2️⃣ Вариант 2

«Давайте подержим эксп еще недельку»

— так как вы будете смотреть на тех же данных, это форма p-hacking’а. Чтобы избежать этого, вам надо делать поправку на уменьшение уровня значимости, а значит вряд ли вы что-то выиграете от этого

3️⃣ Вариант 3

«Давайте повторим тест и сделаем мета-анализ»

— вы катите тест заново и вот у вас два независимых экспа с двумя p-value и вы можете их соединить (см. Stouffers’s Method). Интуитивно: если два независимых экспа показали похожий результат, то это уже верняк

Очевидно, что автор склоняет к третьему варианту 😎

Но есть нюанс! Автор о нем умолчал

Повторять тесты — дорого 🔪
По времени и по деньгам.

Я представил лицо своего продакта, если я предложу ему повторить тест, который мы катили весь последний месяц 😳

А если тесты относительно дешевы, то действительно можно последовать автору. Вот ссылочка на пост в LinkedIn

Этим и сложна аналитика — на одной чаще весов неопределенность и хаос, а на другой время и деньги.

Наверное, поиск лучшего курса размена и делает нас лучшими аналитиками 🧑‍🍳