Как нейронка за 5 минут делает то, на что уходило 2-3 часа 🤯

У меня прям куча эмоций. Только что через нейронку за 5 минут провёл полную сверку данных между рекламой и CRM: проверил, корректно ли передаются лиды из рекламных систем, все ли лиды превратились в сделки, не потерялись ли данные по пути. Раньше на это уходили часы. Это охрененно.

Кто серьёзно занимается аналитикой в маркетинге, знает эту вечную головную боль. За 15+ лет в рекламе я не знаю ни одного проекта, у которого ни разу не было проблем с уже настроенной аналитикой. Где-то что-то перенастроили, поменяли UTM-метки, обновили CRM. Бизнес не статичен, и данные постоянно ломаются.

По-хорошему такую сверку нужно делать хотя бы раз в неделю. Потому что если не проверять, можно не заметить, что часть лидов потерялась или данные передались некорректно. В итоге ты не можешь нормально оценить, как работает реклама, а можешь и вовсе потерять часть лидов.

А сама проверка — это ад. Нужно сопоставить: бьются ли данные между рекламной системой и аналитикой? Все ли идентификаторы пробросились из CallTouch в Битрикс? Для всех ли успешных лидов созданы сделки? Не потерялись ли UTM-метки при переходе из лида в сделку?

Базовая сверка занимает минут 30. Но если нашлось расхождение, ты зависаешь на 2-3 часа: ищешь конкретные лиды, сопоставляешь айдишники, пытаешься понять причину. А если забьёшь, потом принимаешь решения на кривых данных и даже не знаешь об этом.

Сейчас нейронки эту боль сняли.

Я написал запрос, скинул пару ссылок на описание структуры данных в ClickHouse (туда у нас грузятся данные из Яндекс Директ, Метрики, CallTouch и Битрикс) и запустил проверку.

Нейронка сама выделила три задачи:
1. Проверить, что из CallTouch в Битрикс корректно пробросились все идентификаторы (Yandex Client ID, 5 UTM-меток)
2. Проверить, что для всех успешных лидов созданы связанные сделки
3. Проверить, что данные из лида корректно перешли в сделку

5-7 минут ожидания. На выходе чёткий отчёт с конкретными айдишниками лидов, у которых есть отклонения. Вот лид, вот что потерялось. Можно сразу открыть в Битриксе и проверить. Кто с Битриксом работал, знает, он регулярно теряет данные при переходе из лида в сделку. Нейронка это отследила и даже нашла лиды, у которых изменился source при конвертации. Мелочь, но раньше такое ловилось только случайно.

Снаружи выглядит как магия. Но есть два условия, без которых не заработает:
1. Данные из всех систем должны быть импортированы в одну базу (мы используем ClickHouse)
2. У нейронки должна быть описана структура данных и базовые правила работы с ними

Настройка этого — отдельная история. Но когда сделано, такой анализ запускается одним сообщением.

Год назад я пробовал делать подобное. Было на порядок сложнее. За год и я научился лучше работать с нейронками, и сами они сильно прокачались. Сейчас достаточно описать структуру и указать, чтобы все вычисления шли через код. Всё считается с хорошей сходимостью.

Я в восторге. Реально кайф, когда адская рутина начинает работать вот так.