Накидывайте на лицо и волосы

Направили в этот чат со словами "там сидят настоящие задроты маэстро анал итики" 🤨

всем привет!
Нужен совет от тех, кто уже собирает сырую веб-аналитику в свою базу. (не Яметрику)

Задача: складывать сырые события веб-аналитики в своё хранилище без BigQuery. Сейчас упираемся в лимиты GA4 по объёму событий, а BigQuery как промежуточный слой брать не хотим. GA4 оставляем только для маркетинга и рекламы.

Что есть сейчас, схематично:

Фронт: GTM и dataLayer, поведенческие события уходят в GA4.
Бэкенд: бизнес-события (регистрации и проч.) идут через очереди (Kafka, NATS) и отправляются в GA4 через Measurement Protocol.
Фронт и бэк связаны по client_id и session_id из GA.
Хранилище: ClickHouse уже используется для бизнес ивентов как раз.

Что хотим:

Бэкенд-события читать из очередей сразу в ClickHouse.
Фронтовые события дублировать из GTM на свой endpoint и дальше в ClickHouse. (или может проще как то?)

Как вариант для приёма и загрузки событий смотрим Jitsu (https://jitsu.com/): open-source, self-hosted, умеет писать в ClickHouse. Альтернатива - свой лёгкий коллектор, который пишет в Kafka, а оттуда в ClickHouse.

Вопросы:

Кто использует Jitsu в продакшене? Как он ведёт себя на объёме от 1-2 млн событий в сутки, что с поддержкой и обновлениями?
Кто собирал такую схему сам? Что выбрали для приёма событий и с какими проблемами столкнулись?
Как решаете блокировщики рекламы и согласие на cookies (Cookiebot, Consent Mode) при своём сборе?
Может, есть варианты, которые мы не рассматриваем?

Буду благодарен за опыт, ссылки и грабли! ❤️