Нейронка научилась подводить итоги тестов на конверсию 🧠

Сейчас сильно в запаре по рабочим вопросам, писать не успеваю. Но одной наработкой хочется поделиться. Потому что прошел ровно год с моих первых попыток скрестить аналитику конверсий с нейронкой. И сейчас случился прорыв.

Две недели назад рассказывал, как нейронка за 5 минут делает сверку данных между рекламой и CRM. Сегодня — следующий шаг. Научил её полноценно анализировать тесты на сайте: поставил баннер, поменял форму, добавил блок — сработало или нет?

Что изменилось по скорости

Если ты умеешь делать такой анализ, это пару часов работы с данными. Сейчас за 10 минут получаю первый результат, ещё 10-15 минут правок в диалоге — и на выходе отчёт, который я спокойно отправляю клиенту.

А обучить человека проводить такие тесты — это вообще отдельная боль. Несколько недель минимум, и то если под рукой сразу 2-3 проекта с активными тестами. В реальности нужно проконтролировать первых 10 отчётов, чтобы у человека выработался правильный навык. Правильно работать с данными умеет очень мало людей. Это прям моя большая боль.

Что скилл ловит сам

Проверяет, достаточно ли данных для выводов. Это частая ошибка. Люди смотрят "было 3%, стало 5%" и делают вывод. А на 150 посетителях это может быть просто шум. Скилл это видит и прямо говорит: "данных мало, рано делать выводы, финальное решение после такой-то даты".

Учитывает 3 типа смещения трафика. Может сместиться доля мобильных, может измениться соотношение поискового и рекламного трафика, могут переобучиться автостратегии Директа. На реальном проекте сегодня он одно из таких смещений нашёл и подсветил.

Сверяет с контрольными группами. Не просто "до/после", а проверяет: а в категориях без изменений конверсия тоже выросла? Если да — дело не в твоих изменениях, а во внешнем факторе.

Оценивает эффект новизны. Первая неделя после изменения часто даёт завышенный результат, потому что люди реагируют на "новое". Скилл это учитывает и предупреждает.


Как считает

Все расчёты через конкретный код: SQL-запросы к ClickHouse и статистические библиотеки Python. Ничего не додумывается, каждая цифра привязана к данным. Пока не нашёл ни одной ошибки в вычислениях.

На выходе два формата отчёта. Один понятный обычному человеку: что тестировали, что получилось, что делать дальше. Второй с полной математикой: p-value, доверительные интервалы, Fisher exact test, разбивка по источникам трафика.


Про экспертизу

Это работает, только если ты сам понимаешь, как правильно делать аналитику. Без этого нейронка пойдёт по типовому пути, а типовые подходы к анализу тестов часто ошибочные. Не учитывают кучу факторов. Чем глубже ты погружён в тему, тем точнее можешь направить нейронку и тем больше нюансов она будет проверять.

Кайфую от того, как ClickHouse + нейронка вместе работают. Если данные лежат в структурированной базе, вытаскивать из них аналитику стало на порядок проще.

Есть куда докручивать, но за первые три итерации — результат прям хороший.