Веб-аналитика от Якова Осипенкова / osipenkov.ru

Глава 4. Выгрузка данных в Google Sheets: автоматизируем рутину 🚀

Привет-привет! 👋 Я снова к вам с новой полезной главой. Знаю, что пишу с небольшим запозданием, но работы сейчас очень много. Стараюсь выдавать вам максимум пользы, поэтому буду писать главы порционно.

Напоминаю, что я➡️ Прохожу обучение

Немного о сегодняшней главе — в ней мы написали скрипт для выгрузки данных в Google Таблицы и их автообновления. Использовали крутой стек: Google Cloud, Google Sheets API, Python и Pandas. 🐍

В принципе, для новичка и мелких задач — это самое то. Отлично заменяет расширения вроде Adveronix. Сама я уже давно перешла на БД Google BigQuery (потому что данных много, так удобнее и быстрее), но начинала именно с таблиц.

Код программы есть в уроке, но я прогнала его через нейросеть и доработала под суровые реалии, так как на практике споткнулась о несколько ошибок.

Что я улучшила в скрипте:
✔️ Генерация уникального имени отчета. Это нужно, чтобы сбросить ошибку Яндекса, при которой отчет с дублирующимся именем просто не формируется.
✔️ Жесткая обработка ошибок API. Раньше при статусах 400, 500, 502 от Яндекса скрипт делал break (выход из цикла), но продолжал работу. Он записывал JSON-ошибку в файл .tsv, а Pandas пытался прочитать это как таблицу. Итог — фатальный сбой ValueError: No objects to concatenate. Заменила break на принудительное завершение sys.exit(1) и добавила вывод JSON-ошибки прямо в консоль.
✔️ Решение проблемы с DtypeWarning. Теперь Pandas читает файл целиком перед определением типов данных, и это предупреждение больше не засоряет логи.
✔️ Лимит Google Sheets (10 млн ячеек). Первая ошибка, которую я словила! Чтобы оптимизировать объем, я отфильтровала лишние столбцы, конвертировала форматы и сгруппировала данные по датам.

Ну и собственно всё! Пример результата — на скрине. А свой доработанный скрипт я прикрепляю ниже — забирайте, кому нужно! 💾

Зачем это вообще нужно? Да абсолютно всем! Вы можете гибко настроить выгрузку сырых данных и строить на их основе дашборды для клиентов. Ставите скрипт на крон (автовыполнение по расписанию) — и навсегда забываете о ручном составлении отчетов. Это в 100 раз быстрее, чем ковыряться в интерфейсе рекламных кабинтов.

❗️ Маленький, но важный совет аналитика: Никогда не выгружайте из API метрики, которые рассчитываются делением (CTR, CR, CPC, CPA). Рассчитывайте их уже математически в самих выгруженных данных (Клики/Показы и т.д.). Агрегированные относительные метрики из интерфейса при сложении строк дадут вам искаженные данные.

Ставьте 🔥, если забираете скрипт себе!

В среду, 6 мая, в 13:00 по МСК, на моем Twitch-канале пройдет стрим, где мы с Владимиром Зениным расскажем и покажем, как автоматизировать выгрузку данных из Яндекс Директа и VK Рекламы через API с последующей визуализацией в едином отчете в Yandex DataLens.

😀😃😀😆😃😍 https://www.twitch.tv/yakov_osipenkov

Продолжаем разрабатывать ETL-процессы и визуализировать данные. Приходите, будет очень интересно! 👍

Топ-5 просматриваемых материалов на osipenkov.ru:

1) Расширение Tampermonkey и скрипт Voice-Over Translation для перевода видео (1625 просмотров)
https://osipenkov.ru/tampermonkey-and-scriptvoice-over-translation/

2) Установка и запуск OpenClaw с нуля на своем сервере (1452 просмотра)
https://osipenkov.ru/installing-and-running-openclaw-on-your-server/

3) API Вордстата (API Wordstat). Подробное руководство (596 просмотров)
https://osipenkov.ru/api-wordstat/

4) Yandex Metrika MCP Server (452 просмотра)
https://osipenkov.ru/yandex-metrika-mcp/

5) Отправка событий в Яндекс Метрику с дополнительными параметрами (408 просмотров)
https://osipenkov.ru/yandex-metrika-events-parameters/

🏆 Гайд для PROдвинутых специалистов и лучших подписчиков на планете!

Хотите наладить автоматическую передачу заявок со всех форм вашего сайта в Google Таблицу? В этой статье мы рассмотрим способ автоматизации этого процесса с помощью Яндекс Тег Менеджера.

✅ Читать руководство

Продолжаем разбираться в браузерных событиях и нестандартных отслеживаниях с помощью Яндекс Тег Менеджера

Для отслеживания интереса пользователей к контенту вашего сайта полезно знать не только о кликах по кнопкам и ссылкам, но и о намерениях сохранить информацию физически. В браузерах за это отвечает событие beforeprint. Это часть Web API, которая срабатывает в момент, когда пользователь инициирует печать страницы. Оно запускается до появления окна предварительного просмотра печати, как только пользователь:

🟣 нажал комбинацию клавиш Ctrl + P (или Cmd + P на MacOS);
🟣 вызвал контекстное меню правой кнопкой мыши и нажал Печать в меню браузера;
🟣 выполнил в коде команду window.print().

Использование этого события в связке с JavaScript позволяет гибко управлять процессом взаимодействия с пользователем: от технической подготовки документа (например, скрытия лишних навигационных кнопок и баннеров) до фиксации глубокого вовлечения аудитории. А отправка данных в системы аналитики (Яндекс Метрику, Google Analytics 4 и другие системы) в момент срабатывания события beforeprint дает возможность отследить ценные действия пользователя, которые часто остаются незамеченными.

✅ Читать руководство

Показатель отказов (Отказы), Глубина просмотра, Время на сайте - как много в интернете написано про поведенческие факторы Яндекс Метрики, критерии активности пользователей на сайте и степень их влияния на эффективность продвижения в различных источниках.

И наверняка вы слышали, что высокий показатель отказов - это плохо и его надо уменьшать (где-то даже приводятся средние значения для разных отраслей и типов бизнеса), а высокий показатель глубины просмотров - хорошо, поскольку он свидетельствует о сильной вовлеченности посетителей в ваш контент. Время пребывания на сайте - это и хорошо, и плохо, потому что в одном случае величина может говорить о хорошей активности пользователей и трактоваться положительно, а в другом - иметь негативный оттенок, поскольку человек на вашем сайте так долго не может найти то, что ему нужно. Сайт для него запутан и сложен для восприятия.

Но знаете ли вы, как Яндекс Метрика рассчитывает эти метрики, и почему в отчетах вы видите именно такие значения, а не другие? Когда-нибудь задумывались об этом? Ниже я покажу вам алгоритм расчета этих трех показателей, с помощью которого вы самостоятельно сможете рассчитать поведенческие характеристики для вашего счетчика Яндекс Метрики и сверить их с интерфейсными данными, а также понять природу их появления на глубоком, техническим уровне.

В моем блоге есть отличная статья на эту тему:
✅ Читать руководство

А теперь я добавил и видео:
⭐ Rutube
⭐ YouTube

Приятного просмотра! ✌️

❤️ n8n - все дождались! С 1 июля мы начинаем глубокое и системное обучение автоматизации маркетинговых данных!

Устали собирать отчеты из разных рекламных кабинетов каждое утро? Нужно настроить автоматизацию, чтобы не делать все вручную? Хотите сэкономить время команды и убрать рутинные задачи из бизнеса? Никогда не работали с API, но планируете научиться управлять процессами? Желаете просто быть в тренде и не опоздать с ИИ-навыками?

В течение двух месяцев будем учиться строить рабочие процессы между рекламой, аналитикой, CRM и Telegram-ботами. А ИИ-агенты помогут вам с анализом данных. Никакой рутины. Минимум кода, максимум времени на принятие решений.

Полный разбор от фундаментальных основ до работающих автоматизаций на своем сервере. Тренд 2026 года!

💡 Погружение в автоматизацию. Разберетесь с реальными сценариями, где автоматизация экономит до 40% рабочего времени, и почему именно n8n лучше Make, Zapier и Albato для сложных задач.

💎 Ключевые компоненты n8n. Узнаете, что такое рабочие процессы, узлы, триггеры, executions, credentials, как работать с JSON-объектами и понимать структуру данных. Познакомитесь с интерфейсом n8n.

🔒 Установка и безопасность. Научитесь устанавливать n8n на свой сервер, чтобы не зависеть от готовых платформ, настроите переменные окружения и распределите роли в своей команде.

🛠️ Работа с узлами и API. Научитесь строить логические цепочки из нод, подключать любые сервисы через API, создадите Telegram-бота для управления отчетами и освоите работу с базами данных.

📊 Аналитика и рекламные отчеты. Настроите автоматическую выгрузку отчетов из Google Analytics 4, Яндекс Метрики, Яндекс Директа, Google Ads, VK Ads и других платформ и получите готовые шаблоны для своих проектов.

🤖 PRO-автоматизация и ИИ-агенты. Подключите CRM к автоматизациям, научите ИИ-агентов анализировать данные и генерировать тексты, а затем соберете мультиагентную систему, которая сама будет забирать данные, анализировать их и отправлять отчеты без вашего участия.

Большинство курсов построены на общем понимании работы с платформой n8n. Поскольку я же всю жизнь работаю с аналитическими и рекламными данными, внедряю сквозную аналитику в разные бизнесы, то упор в этом онлайн-курсе будет именно на такие задачи. Мы с вами будем создавать рабочие процессы под реальные задачи интернет-маркетолога. Упор на рекламные, аналитические сервисы и CRM с моей помощью и обратной связью. То, что нужно бизнесу прямо сейчас!

⭐️ Чем раньше присоединитесь, тем ниже будет стоимость!

✅ Программа обучения
✅ Подробнее
✅ Присоединиться

Как извлечь данные из JSON-объектов разных API и передать их в аналитику?

Классическая веб-аналитика не учитывает контекст вашего бизнеса: погоду, курсы валют, цены конкурентов и многое другое. Этой информации просто нет в Яндекс Метрике и Google Analytics 4. Однако вы можете расширить собираемые данные вашего счетчика с помощью сторонних решений, извлекая нужные значения через открытые и бесплатные API и передавая их в свою систему аналитики. Но для этого нужно понимать, как работают API и что такое JSON-объекты.

JSON (JavaScript Object Notation) - это текстовый формат обмена данными, основанный на синтаксисе JavaScript. Несмотря на происхождение, он является независимым от языка и поддерживается большинством современных языков программирования (Python, Java, C#, PHP и др.). JSON представляет данные в виде пар ключ:значение и упорядоченных списков, что делает его идеальным для передачи информации между сервером и веб-приложением.

⭐ Одна из главных задач этого материала - дать вам возможность расширить границы познания, а также выйти на совершенно другой уровень работы с аналитическими инструментами. Если вы читаете этот материал, значит, вы уже работаете с системами управления тегами на продвинутом уровне, и вам не хватает функционала стандартных систем аналитики.

JSON - это основа работы n8n. Вся информация, которую узлы (nodes) передают друг другу в рабочем процессе, всегда имеет структуру массива JSON-объектов. То есть любой узел, будь то триггер, действие или HTTP-запрос, на входе и выходе работает именно с JSON. Поэтому крайне важно в наше время уметь работать с ним и не бояться конструкций из моего нового руководства!

✅ Читать руководство

Обновили дизайн режима предварительного просмотра Яндекс Тег Менеджера и добавили новый функционал:

🔹 вкладку Summary (Сводка) - общий вид всех событий, произошедших на странице с момента ее загрузки
🔹 возможность выбора конкретных событий на шкале
🔹 сохранение состояний при переходе со страницы на страницу и ее обновлении
🔹 ссылки на контейнер и быстрый переход на конкретные компоненты в интерфейсе ЯТМ - триггеры, теги и переменные
🔹 обновили вкладку DataLayer
🔹 теперь при загрузке панели отладки на шкале отображается сразу несколько событий автоматически - ytm.init_consent (Инициализация согласия), Инициализация, Просмотр страницы, Окно загружено
🔹 глобальный поиск по вкладкам панели отладки

Как вам первое впечатление?

Подборка материалов по Яндекс Метрике с нестандартными решениями. Расширяем привычные границы и работаем со счетчиком аналитики по-новому! 😱

1) Автоматическое скачивание записей Вебвизора из Яндекс Метрики на компьютер
https://osipenkov.ru/download-webvisor-records-yandex-metrika/

2) Передача данных о погоде в Яндекс Метрику с использованием API Яндекс Погоды
https://osipenkov.ru/send-weather-data-in-yandex-metrika/

3) Извлечение значений из полей формы с помощью Яндекс Тег Менеджера
https://osipenkov.ru/tracking-fields-ytm/

4) Темная тема для Яндекс Метрики
https://osipenkov.ru/dark-theme-yandex-metrika/

5) Yandex Metrika MCP Server (Node.js)
https://osipenkov.ru/yandex-metrika-mcp/

6) Настройка User ID в Яндекс Метрике
https://osipenkov.ru/userid-yandex-metrika/

7) Сегментация на уровне просмотров, визитов и пользователей в Яндекс Метрике
https://osipenkov.ru/segmentation-users-visits-pageviews-ym/

8) Выгрузка данных Яндекс Метрики с помощью Logs API в Google Таблицы
https://osipenkov.ru/transfer-logsapi-yandex-metrika-to-google-sheets/

9) Создание экспериментов в Яндекс Метрике с помощью флагов
https://osipenkov.ru/varioqub-yandex-metrika-flags/

10) Отчет Яндекс Метрики "Посетители и клиенты" с помощью Logs API, Python и чат-бота
https://osipenkov.ru/visitors-yandex-metrika-python-logs-api/

11) Математический расчет целевых показателей в Яндекс Метрике
https://osipenkov.ru/math-calculation-zelevie-pokazateli-yandex-metrika/

12) Загрузка собственных данных Яндекс Метрики в ClickHouse
https://osipenkov.ru/transfer-yandex-metrika-data-clickhouse/

13) Воронки и когорты на данных Яндекс Метрики
https://osipenkov.ru/data-from-metrica-yc-visualization/

14) Настройка записи контента сайта с помощью Вебвизора
https://osipenkov.ru/webvisor-v2-settings/

15) Отправка событий в Яндекс.Метрику с дополнительными параметрами
https://osipenkov.ru/yandex-metrika-events-parameters/

Сохраняйте к себе в закладки, чтобы не потерять! ❤️

➕ Вы еще можете присоединиться к живому потоку по Яндекс Тег Менеджеру и получить курс в подарок!

На живом потоке по Яндекс Тег Менеджеру мы изучаем не только этот инструмент, но передовые технологии и учитываем трендовые темы - ИИ, вайб-кодинг, программирование, API.

На первом уроке, к которому у вас был доступ, мы разобрали историю возникновения систем управления тегами, принципы работы Яндекс Тег Менеджера 📦, узнали про то, какие навыки и знания необходимы для комфортной работы с ЯТМ, а также активировали Тег Менеджер и установили его на собственный сайт, который создали бесплатно буквально за несколько минут в прямом эфире с помощью ИИ 🤖

Второй урок познакомил нас с интерфейсом Яндекс Тег Менеджером. Мы научились управлять доступами разными способами (владелец или просто пользователь), разобрали работу с версиями, полностью прошли режим предварительного просмотра и опубликовали первую версию контейнера 👍

Третий урок прошел вчера и получился очень увлекательным! Мы разобрали темы, которые на онлайн-курсах по веб-аналитике и рекламе обычно не рассказывают. А ведь они - фундамент для работы с Яндекс Тег Менеджером. Без этих знаний вы просто бездумно настраиваете события в интерфейсе. Отсюда: ошибочные JS-события и неверные данные в Яндекс Метрике. О них рассказываю на обучении только я ⭐️

Речь идет о реальном понимании HTML, CSS и JavaScript. А именно:

🔸 объектная модель документа (DOM) и объектная модель браузера (BOM);
🔸 поиск элементов по идентификаторам, классам и селекторам;
🔸 манипуляции с элементами и подмена контента на сайте;
🔸 рабочие приемы A/B-тестирования;
🔸 извлечение данных из форм (email, телефон и другие поля);
🔸 типы данных, с которыми вы столкнетесь в Яндекс Тег Менеджере (=GTM).

Следующий урок пройдет в понедельник и будет не менее интересным - это CSS-селекторы. Это ключевая информация для правильного отслеживания кликов по кнопкам, ссылкам и любым другим элементам на странице. Я расскажу об алгоритме, который использую во всех проектах и который дает наилучший результат по точности отслеживания.

🎁 Вы все еще можете присоединиться к живому потоку и получить отличный бонус - онлайн-курс по Яндекс Метрике!

На живой поток можно присоединиться только до конца понедельника! Не тяните с решением. Примите его здесь и сейчас - присоединяйтесь к числу лучших специалистов по техническому маркетингу 🏆

‼️ Присоединиться и забрать подарок

Подборка отзывов слушателей на курс «Веб-аналитика», который прошли уже более 800 человек!

Вы научитесь всему, что нужно в профессии:

➗освоите инструменты: Google Analytics 4, Яндекс Метрика, Яндекс Тег Менеджер, Google Tag Manager, Facebook *, VK Реклама, TikTok, Looker Studio, Yandex DataLens, Google BigQuery, ClickHouse, SQL и API сервисов
➗ научитесь анализировать данные, находить причинно-следственные связи, понимать метрики, прогнозировать будущие показатели и автоматизировать отчетность для своих клиентов и проектов
➗ узнаете, какие задачи уже сейчас может выполнять интернет-маркетолог с помощью ИИ (ChatGPT, Gemini, DeepSeek, YandexGPT и др.)
➗ увеличите эффективность маркетинга и определите точки роста бизнеса

* Деятельность американской компании Meta (бывшая Facebook) запрещена в России, организация признана экстремистской.

3,5 месяца обучения, 31 занятие, 100+ различных тем. Исчерпывающие материалы и уверенный шаг на пути к успеху!

Лучшие студенты рекомендуют ✅

➕ Записаться

❓ Вы готовы к детальному разбору интерфейса n8n?

Я подготовил для вас самый подробный материал на эту тему. Мы разберем все элементы, с которыми вы столкнетесь во время работы с платформой, а также создадим самый простой и бесплатный workflow, который получает данные о погоде в любом городе.

Содержание руководства:

🔹 Стартовый экран
🔹 Рабочий процесс (workflow)
🔹 Создание первого workflow
🔹 Интерфейс n8n
🔹 1. Рабочая область (Canvas)
🔹 2. Верхняя панель инструментов (управление workflow)
🔹 3. Боковое меню навигации (левый сайдбар)
🔹 Верхнее меню
🔹 Overview
🔹 Personal
🔹 Chat
🔹 Templates
🔹 Insights
🔹 Help
🔹 Settings

✅ Обзор интерфейса n8n
👉 Все материалы n8n

Легкого обучения! ⭐

Вчера на первом уроке по Яндекс Тег Менеджеру мы фантастически провели время! 😎

Разобрали историю возникновения систем управления тегами, принципы работы Яндекс Тег Менеджера 📦, узнали про то, какие навыки и знания необходимы для комфортной работы с ЯТМ, а также активировали Тег Менеджер и установили его на собственный сайт, который создали бесплатно буквально за несколько минут в прямом эфире с помощью ИИ 🤖

Разработка без навыков программирования очень сильно понравилась зрителям 💛 Теперь каждый из слушателей, кто уже присоединился к обучению по Яндекс Тег Менеджеру, может разработать свой уникальный дизайн сайта, добавить нужные элементы на страницы и пройти на нем обучение, параллельно оттачивания свои навыки и решая практические задания. Реальность 2026 года!

Темы урока:
🔸 История возникновения систем управления тегами
🔸 Принцип работы Яндекс Тег Менеджера
🔸 Навыки и знания, необходимые в работе с ЯТМ
🔸 Создание своего сайта с помощью ИИ
🔸 Активация Яндекс Тег Менеджера

❗️ Трансляция вчерашнего урока будет доступна до понедельника, а затем закроется. Поэтому если вы еще не посмотрели первое занятие живого потока по Яндекс Тег Менеджеру - обязательно сделайте это! И, конечно же, у вас еще есть время присоединиться к нам на курс!🙏

🎁 Бонус: онлайн-курс по Яндекс Метрике в подарок!

✅ Присоединиться
➡️ Посмотреть первый урок

Прямая трансляция через 10 минут ❗️

✅ Подключайтесь

➡️ Начинаем через час!

https://t.me/clicksider/1972