📌 Обещал рассказать про пет-проект. Будет большой пост.

Часть 1/2.

Так вот, ещё как только я начинал работать в продуктовой аналитике, мне приходилось сталкиваться с АБ-тестами. Не скажу что я прям гуру этой темы или это мой основной фокус, но опыт какой-никакой и перетоптанных грабель за почти 12 лет имеется. В общем, почти с самого начала я эти все скрипты аккуратненько складывал к себе на гит и копил там разные методы на все случаи жизни.

💡 И уже тогда меня много раз посещала мысль написать какой-то оркестратор простейший а-ля if else, который бы просто переиспользовал заранее заготовленные методы под мои данные. Ну просто чтобы себе жизнь упростить и в ручную под каждый кейс не шариться по выбору методов. Но лень впереди меня родилась, поэтому это и оставалось долгие годы просто идеей.

🦄 А потом что-то произошло и я таки загорелся этой идеей снова, но в этот раз решил заморочиться. Подключил кореша, жёсткого инженера, который в основное время пилит какой-то сверхсекретный проект для оборонки США, чтобы сваять нормальную архитектуру на беке.

🎓 Потом нашёл пару заинтересованных действующих профессоров статистики из разных вузов, чтобы провалидировали/переписали всю математическую часть (опять же, я не то чтобы гуру в этой теме), от рассчёта базовых z-тестов, до Байесовских прогнозов и последовательных тестов. С их помощью прикрутил туда модуль препроцессора, который анализирует кучу характеристик распределения, от анализа разброса до симметрии, эксцесса и модальности. А уже на основе этого анализа препроцессор сам реша-а-а-ет как обрабатывать данные, чистить ли выбросы, нужны ли логарифмы или хрен бы с ним.

🤖 Ну и мы припахали Sonet для простой черновой работы по фронту и документированию всего этого безобразия.

В итоге получился движок для расчётов практически любых стандартных экспериментов.

Но только движок, хоть и бодрый, это всё таки не так весело. Потому как в индустрии в целом что ни компания то процессы через пень-колоду. Посидев, повспоминав прошлый опыт, выписав что нравилось и казалось удобным, а что мусор, я сформировал себе фреймворк по управлению гипотезами и экспами, который мне лично казался весьма удобным. Потом просидел вечерами/выходными в Axure (не даром я 4 года интерфейсы проектировал) и всё это упаковал в прототип. Потыкал, потестил, обкатал на бою, и отдал в разработку.

Так получилась полноценная платформа с UI и мат движком под капотом.

Основные фичи, которые мы туда навтыкали, по задумке должны охватывать начальную часть процесса (гипотезы, планирование) и финальную (анализ и хранение результатов), само сплитование мы специально обошли стороной, т.к. там геморой с серваками и скоростью работы.

Что в итоге получилось: