Avito Data Tech

Для тех, кто ищет практичный опыт миграции на новые базы данных 🔍

⬆️ Листайте карточки и читайте подробную статью Никиты Кречетова из команды Datawave в юните DBA о пути от Redis Sharded к Valkey Cluster.

#dba

Валентинки влюблённым — это завтра, а коллегам — только в рабочее время! Короче говоря: сделали бот для анонимных открыток коллегам ❤️

Как поздравить дорогого коллегу?
1️⃣ Заходите в бот @avito_cube_valentines_day_bot;
2️⃣ Отмечаете ник коллеги в тг и придумываете текст;
3️⃣ Проверяете комментарии под этим постом — там мы анонимно тегнем вашего друллегу 😀

И ловите отдельно ссылку на наш стикерпак — думаем, сегодня он точно пригодится в чатах ✨

#tl #frontend #backend #go

От сотен активных объявлений до сотен… миллионов — как за последние 10 лет эволюционировала разработка в Авито? Как мы пришли к платформизации? 🔍

Чтобы ответить на эти вопросы, не хватит одной статьи. И поэтому наши коллеги сняли фильм:
🕚 как платформизация стала ответом на быстрый рост компании;
🕚 какие собственные инструменты стали частью этого пути;
🕚 как появились вертикали;
🕚 какие вызовы стоят перед компанией сейчас.

📺 YouTube
🔵 ВК Видео
💻 RuTube

#tl #backend

Митап для тех, кто хочет эффективно вести продуктовую аналитику в этом году 🚀

И проведут его офлайн команды Trisigma и Epic Growth 19 февраля в Москве. Темы максимально актуальные для аналитиков:
➡️ как ИИ влияет на культуру экспериментов и цели компании;
➡️как выбрать платформу для своего продукта, когда ставки высоки, а домен стремительно меняется;
➡️как меняется аналитика в офлайн-продуктах, ритейле и healthtech.

Участие бесплатное — нужно только зарегистрировать в этом боте и дождаться подтверждения.

Подробнее — на этой странице. Регистрируйтесь и шерьте этот пост с коллегами 🗂

⚡️ Будем ждать вас с командой Epic Growth на митапе!

#analytics

Новость для начинающих продуктовых аналитиков и BI-разработчиков: мы открываем подачу заявок на Avito Analyst Bootcamp 🔥

Оставляйте заявку до 17 февраля по ссылке, чтобы вырасти из стажёра в мидла за ближайшие 12 месяцев. Из общих требований:
➡️ Владение технологиями выбранного направления: продуктовая аналитика или BI-разработка;
➡️ Готовность работать от 30 часов в неделю (возможна удалёнка);
➡️ Образование по технической, математической или IT-специальности (2+ курс), курсы переподготовки тоже подойдут.

🗂 Более подробные условия под выбранное направление ищите там же, на сайте. Ждём вас на следующем этапе — тестировании и видеоинтервью 😎

#analytics

Почему качественное обнаружение связей между профилями напрямую влияет на качество А/В-тестов? 🔍

Гриша Крюков, аналитик из команды антифрода, собрал отличную статью для тех, кто увлекается аналитикой данных, А/В-тестами и просто любит математику.

Читайте по ссылке, чтобы узнать:
🕚 почему важно отслеживать связи между аккаунтами;
🕚как мультиаккаунты портят работу стандартных A/B-тестов: чем чаще мы ошибочно считаем, что разные аккаунты принадлежат одному пользователю, тем сильнее мы снижаем чувствительность теста.

#analytics

Как измерить качество пользовательского опыта? 🔍
CES, CSAT, опросы… Как насчёт Contact Rate?

Наша команда аналитиков оцифровала влияние обращения в поддержку на опыт продавцов. Обошлись без A/B-тестов и сравнений «в лоб» — это давало бы ложные результаты. Решением стали методы причинно-следственного анализа (casual inference).

Как метчинг помог измерить влияние поддержки на траты и ретеншен пользователей, читаем в статье ➡️

#analytics

Строим Lakehouse, а сторадж строит нам проблемы…

Продолжаем рассказывать про процесс миграции нашей аналитической платформы из классического DWH в Lakehouse. Про предпосылки и первые шаги читаем тут, а про вынужденную экосистему вокруг Trino — тут.

В этот раз в статье Дмитрий Листвин рассказал про опыт построения Lakehouse поверх объектного хранилища. Читаем, чтобы узнать, как:
1️⃣ Измерить «здоровье» S3-хранилища;
2️⃣ Извлечь максимум производительности из Ceph;
3️⃣ Не наступить на грабли команды нашей аналитической платформы.

❗️ Будет полезно даже тем, кто не работает с Ceph — большинство описанных проблем и решений одинаково актуальны для любого объектного хранилища.

#analytics

Строили, строили и наконец… Построили полноценную экосистему вокруг Trino 🔥

Как оказалось, его ценность раскрывается только в связке с грамотной инфраструктурой вокруг. В ходе переезда с Vertica ядро обросло полноценной экосистемой, которая не была изначально в планах.

📎 К чему это привело? Почему переезд длится уже третий год? Какие проблемы команда не предвидела и как их решала?

📌 Ответы читаем в статье Дмитрия Реймана, техлида аналитической платформы Avito.

#analytics

Приключения Ромы в стране предсказуемости, или как мы Apache Kafka и Pulsar на Redpanda меняли 🚀

Так могла бы называться сказка, но это — запись доклада с Avito Database meetup #2. Смотрим по ссылке, чтобы узнать:
➡️ Что делать, если кластер слишком долго восстанавливается после отключения брокеров и включении их обратно;
➡️ С какими трудностями пришлось столкнуться при переходе на Redpanda и зачем вообще его начали;
➡️ Как команде удалось адаптировать платформу.

#db #analytics

Как большие масштабы диктуют правила архитектуры и что с этим делать?

За последние 4 года аналитическая платформа Авито изменилась и по сложности, и по масштабу. Для понимания, вот как она выглядит сейчас:
🕚 объём хранилища около 2 ПБ;
🕚 обработка более 3 ПБ данных в сутки и порядка 2 млн запросов;
🕚 поток входящих событий до 60 млн событий в минуту;
🕚 ежедневная загрузка данных из 4000 источников в 20 000 таблиц детального слоя;
🕚 ежедневный расчёт 5000 витрин, 700 A/B-тестов и 30 млрд метрик;
🕚 800 ежедневных пользователей ad-hoc и 5000 пользователей BI.

Когда в один момент объём данных начал расти заметно быстрее, чем органический рост, на который ориентировалась команда, стало понятно — прежняя архитектура больше не работает. Так Дима Рейман с командой начали долгий процесс миграции платформы из классического DWH в Lakehouse.

Как это выглядело на практике и какие проблемы вылезли на этом пути, Дима рассказал в статье.

#analytics