Турбокомбайн: неделя 4. Универсальность и гибкость 90 LVL.

✅ Неделя 2: пайплайн из 650 функций.
✅ Неделя 3: 780 функций, 2055 строк кода.

Апдейты за неделю:

— 2900 строк кода (55 листов А4), объём вырос почти в полтора раза.
— 662 функции — теперь их меньше.
— Гораздо больше динамических функций, которые создают, удаляют, изменяют и объединяют сразу несколько таблиц, списков, названий столбцов, содержания столбцов за раз.
— Переделал раз десять половину из 50 модулей для исключения избыточности (зависимых полей).
— Облегчил и нормализовал модель данных, объединив всё в снежинку по ключевым полям.
— Теперь на всех этапах обрабатываются только уникальные значения. Меньше строк = быстрее обработка.
— Ускорил пайплайн на 19% с 45 минут до 37 (обрабатываются 4 аккаунта одновременно, 1+ млн строк, 208 тысяч уникальных поисковых запросов).
— Операций теперь ещё больше, чем неделю назад, но они динамические и работают быстрее.
— За неделю параметризировал практически все объекты, с которыми выполняются какие-либо манипуляции. Осталось доделать ряд объектов, параметризировать которые легче всего.
— Почти весь исполняемый код пайплайна теперь пересчитывается динамическими функциями, независимо от исходных данных:
а. Создание, удаление, фильтрация столбцов независимо от их количества и названий.
б. Раскрытие любого количества только нужных столбцов в объединяемых таблицах.
в. Указание типов данных в любом количестве создаваемых и раскрываемых столбцов.

🔸 Не имеет значения:

— Количество столбцов в исходном датасете.
— Названия столбцов.
— С какой строки начинаются шапки столбцов в разных выгрузках.
— Язык столбцов.
— Порядок столбцов.
— Количество смысловых ярлыков и групп ярлыков.
— Их названия.
— Их добавление и удаление.
— Порядок их приоритета при сортировке и группировке.
— Порядок их фильтрации для запуска.

🔸 Некоторые из фич:

— Продвинутый частотный словарь слов с интерактивными фильтрами, автогруппировкой категорий, смысловых ярлыков, их комбинаций, пересчётом показателей по каждому сегменту.
— Авторазметка смысловыми ярлыками.
— Автосортировка сегментов.
— Автоприоритизация сегментов.
— Автоизвлечение сегментов.
— Автогруппировка сегментов.
— Автофильтрация сегментов.
— Автообнаружение сегментов.
— Опция ручного указания приоритета сегментов.
— Последующая автофильтрация и автоперегруппировка семантики за 15 минут (на объёмах 1+ млн строк сырых данных) при изменении смысловых ярлыков, их названий, их количества, их приоритета.
— Автоконсолидация статистики неявных дублей без учёта словоформ, порядка слов и стоп-слов (служебных частей речи).
— Автополучение самых частотных категорийных кластеров.
— Автопересчёт показателей по сотне кастомных срезов.
— Игнорирование выбранных кластеров или штучных значений как группообразующих критериев при группировке.

Осталось совсем немного, и доведу его до совершенства универсализации.

🔸 С такой гибкостью осуществилась моя мечта о возможности его применения:

— Любым человеком.
— С любым уровнем подготовки.
— С любым количеством проектов на одновременном сопровождении.
— На любом языке рекламы.
— На любом языке рабочих интерфейсов.
— В любой нише.
— На любом этапе работы с проектом.
— На любом этапе развития проекта на рынке.
— На данных из любого сервиса.
— С любым набором столбцов.
— С любым историческим объёмом данных.
— С любой интенсивностью накопления новых данных.
— С любой сложностью и разнообразием лексики в отрасли.

И это не громкие заявления. Теперь это факты.

В коде одного автоматического инструмента уже упаковано сразу несколько курсов по контекстной рекламе:

1️⃣ Приоритизация сегментов и запуск рекламы.
2️⃣ Ведение, автоматизация, оптимизация.
3️⃣ Итерационная аналитика и универсализация.
4️⃣ Запуск, ведение, аналитика, оптимизация, автоматизация контекстной рекламы на любых языках мира.

Из всего многообразия ручной работы PPC-шника с этой уберштукой самостоятельно придётся выполнять 1% еженедельной рутины.

И она почти вся целиком будет состоять из кнопки "Обновить".

⬇️ Продолжение.

✅ Спидран комбайна в Power BI.

via @ppc_bigbrain