Avito Data Tech

🚀 Авито на Матемаркетинге 24 🚀

В этом году в нашем распоряжении целый зал, что означает:

💻 16 докладов
💻 16 часов контента
💻 5 тематических треков: RecSys, Маркетинговая аналитика, A/B тесты, ML, Бизнес эффекты, своя платформа для A/B тестирования
💻 2 дискуссии
💻 2 мастер-класса

и много-много нетворкинга!

Конференция пройдет 7-8 ноября, дарим специальный промокод на скидку 15% на любой билет MM42AVITOTECH15.

Смотрите расписание, приходите общаться, слушать доклады и делиться опытом 🚀

Привет!

Я Люда Кучина, руковожу командой аналитиков в Авито. В сегодняшней статье делюсь взглядом на типы исследований, объясняю, зачем их документировать, и предлагаю чек-лист, который может облегчить страдания авторов.

Let's make research documentation great again🤞

Знаете, как устроиться в команду Data Science Авито?

24 октября в 19:00 (по Москве) приходите на встречу с руководителем команды DS компании Виталием Минаевым — он всё расскажет. А еще поделится, какие задачи решают Data Science специалисты, какие инструменты используют, и подходит ли вам это направление.

[Регистрация]

💻 Должен ли DS писать продовый код?

Всем привет! Меня зовут Саша Ледовский. Я DS Team Lead в Adtech Авито, и я очень рад написать для канала Avito Data Tech.

Хочу обсудить с вопрос, касающийся роли DS в компании — а должен ли DS писать продовый код? Под продовым кодом я имею в виду не даги на airflow раз в сутки, а прям доработки в real-time сервисы, с нагрузкой и критичностью.

🔍 В пользу ответов «Да» или «Нет» есть свои аргументы.

В пользу «Нет» есть два аргумента. Во-первых, людей, разбирающихся и в ML, и в проде, сложно искать. Во-вторых, есть DS-ы, которым не хочется разбираться в сложном коде бэкенда, заниматься отладкой, писать тесты и делать прочие, присущие работе с продовым кодом, вещи.

В пользу «Да» тоже есть что сказать. Реальные сервисы — это не модель с обёрткой в API. Там есть туча логики, алгоритмов, эвристик, постобработок, нужно понимать, как отправляются события, доезжают фичи и прочее. Оффлайн приемку нужно гонять, в конце концов. Передавать это от DS-а к разработчику и обратно в полной мере невозможно.

📌 Лично я выступаю за то, что обычный DS должен писать в прод, и рынок, по мере увеличения зрелости, к этому придёт. Например, у нас в Авито DS — это в первую очередь инженер. На наших собеседованиях одним из важных факторов является опыт работы с продом. Всем, кто пока не работал с продом и с нагрузкой — очень рекомендую попробовать. Это правда интересно!

С другой стороны, мне кажется правильным, что в ряде компаний из DS часто выделяют исследователей — Applied Researchers или что-то вроде того. Исследователи находятся в отдельных командах, не отвечают за прод, а занимаются именно исследованиями: разрабатывают новые алгоритмы, читают и пишут статьи, развивая технологии в долгую.

Итог: если вы DS, я рекомендую вам либо уделить внимание инженерным навыкам или целенаправленно перемещаться в исследователи. Быть посередине, на мой взгляд, менее перспективно. Что думаете?

#DS

Привет!

Я Илья Валяев, Data Science team lead поискового ранжирования в Авито. Мы давно не рассказывали про устройство поиска в Авито, пора исправляться. У нас довольно много и продуктовых, и инженерных улучшений, но я решил сконцентрироваться на ML составляющей поиска. Самое заметное применение — в ранжировании, о нём и расскажем.

В статье вы найдете обзор текущих проблем и подходов, а также несколько хитростей, упрощающих нам эксперименты.

✨ Собеседование в прямом эфире: старший продуктовый аналитик

3 октября | 18:00 мск

Что будет на стриме:
1️⃣ вопросы по статистике, продуктовым и бизнес-метрикам, ML и работе с данными;
2️⃣ решение аналитического кейса и разбор результатов;
3️⃣ фидбек и ответы на вопросы кандидата и зрителей.

Кто будет на стриме:
☑️ интервьюер — Игорь Сухарев, руководитель аналитики Комфортной сделки в вертикали Недвижимости.
☑️ кандидат — Юрий Баландин, старший продуктовый аналитик из Туту.

Трансляция пройдёт на странице Data Weekend Offer. Зарегистрируйтесь, чтобы получить напоминание о стриме.

#product_avitotech #analytics_avitotech

Всем привет!

🔍 Сегодня расскажем вам, как мы обеспечиваем качество аналитических событий со стороны разработки. Такие подходы используем для автоматического и ручного тестирования.

Как мы выделили отдельную сущность критического события, читайте в статье по ссылке.

#analytics

Всем привет!

💻 На связи Анастасия Верховцева, инженер команды Datamart. Мы активно мигрируем наши ежедневные расчеты с Vertica на Trino, и перед нашей командой стояла задача адаптировать аналитические инструменты для работы с Trino.

В статье поделимся, как мы открывали двери в Trino для наших пользователей и с какими вызовами при этом столкнулись.

#Vertica

🔥 Время обновить резюме — грядёт Data Weekend Offer!

Сразу три направления ждут новых героев: Data Science, Data Engineering и Data Analytics.

📌 Флоу такой: ты выбираешь направление и подаёшь заявку. Сначала решаешь вступительный тест, затем проходишь два интервью онлайн. Если нам с тобой всё нравится, то уже 7 октября ты можешь получить оффер.

Подробнее о направлениях и задачах, которые они решают, — на этой странице.

Удачи! 🚀

#avitoweekendoffer

🚀 Всем привет!

На связи Сергей Медин, руководитель аналитиков продаж в команде Авито Недвижимость. В сегодняшней статье поделился, как каждый из нас может добавить новые функции в любой веб-сервис с помощью скриптов буквально за пару часов! С помощью этого инструмента можно избавиться от рутинных задач и сделать работу в разы удобнее.

Спойлер: справится каждый, даже если вы не разработчик

☄️ Переходите по ссылке и читайте статью!

(Авторский пост от Антона Губарева, старшего инженера PaaS и автора телеграм-канала)

🚀 Продолжаю делиться опытом эксплуатации межсервисной авторизации. И теперь от технических особенностей я перейду к продуктовым, а именно расскажу о взаимодействии с пользователями в момент интеграции.

Стоит исходить из того, что у разработчиков полно задач, планов и целей по своим проектам. Если просто прийти к ним и сказать «эй, псс, вот классная кучерявая штука», то не стоит удивляться, что не каждый сразу побежит это внедрять. В этой части нужно оказать максимально возможную помощь. И неплохо себя показал подход с генерацией
auth.toml.

С помощью source graph мы запустили генератор auth.toml на нескольких наиболее значимых сервисах. Source graph для каждого сервиса запускает генерацию файла и создает pull request. В auth.toml зашили мини инструкцию а-ля Quick start. Разработчикам осталось только вмержить (или скорректировать auth.toml под свои пожелания и потом всё равно вмержить). Таким образом, мы снизили трудозатраты пользователей до самого минимума.

Ещё хорошо показало себя версионирование auth.toml на первых этапах жизни проекта. Оно позволяет плавно и точечно внедрять новый функционал, не ломая разом всё. А возможности source graph помогут рассылать обновления на нужные сервисы (или на всех).

В итоге, работу с пользователями я бы вынес на передний план большинства проектов, даже внутренних. В этой части очень легко свести на «нет» все усилия, если неправильно преподнести продукт и не помогать с ним в начале работы.

#avitoteam

⭐️ Найти баланс между «заработать больше» и «принести пользу» может искусственный интеллект. А научил его Егор Самосват, наш руководитель юнита эффективности монетизации.

💻 В Machine Learning Podcast Егор рассказал об этом и о том, почему выбирает долгосрочные стратегии. Объяснил, почему модели могут ошибаться и как сейчас устроена контекстная реклама.

Чтобы привлекать ликвидность из внешних рекламных платформ, мы отправляем в рекламные системы целевые события. Системы используют эти данные в рамках realtime-аукциона за пользователя.

А чтобы избежать 3rd party-маркетингового кода внутри фронта и мобильных приложений, а также дать возможность обогащать данные аналитическими моделями, мы разработали сервис под названием Marketing Manager.

С его помощью мы уменьшили ТТМ по заведению экспорта с двух месяцев до нескольких дней и обеспечили гарантию ботной очистки потока за счёт онлайн антибота.

Подробнее об инструменте — в хабрастатье Вячеслава Сухорукова, бекэнд-инженера департамента разработки Analytics Platform.

Всем привет!

Совсем скоро на SmartData мы расскажем, как у себя в Redash сокращали TTM создания дашбордов.

Встречаемся 8 сентября в 10:45

Всем привет 😀

Записал видео на тему выгорания для тимлидов и аналитиков. В нём поделился своим подходом, который поможет не только самому справиться с этим, но и поддержать вашу команду.

🔍 Рассказал о метриках и признаках, по которым можно выявить выгорание, и предложил простые шаги для восстановления баланса в трёх ключевых сферах: умственной, духовной и физической.

Рекомендации уже помогли мне и моей команде, и теперь могут быть полезны вам.

Если вам интересно будет их обсудить - приходите в личку: https://t.me/mr_pekhterev

⚡️ Всем привет!

Сегодня Дасаев Гарри, старший аналитик в команде Marketplace Seller в Авито, делится своим опытом взаимодействия с командой DWH. В статье можно узнать, как выстроено взаимодействие DWH и аналитики в Авито, а также почерпнуть советы из практического опыта, как правильно планировать работу с хранилищем данных, чтобы не утонуть в задачах и не сломать всё на свете 😀

☄️ Переходите по ссылке и читайте статью!

#DWH

Всем привет!

Денис Пехтерев снова с вами, сегодня делюсь обещанными курсами/книгами из предыдущего поста про развитие 😀

Сам использую для развития и могу рекомендовать:

1. Книги. При том, что я обожаю Kindle, печатные книги отлично переводят дух и дают отдохнуть глазам. Также я много и активно в них выделяю, интересное записываю в заметках на iPhone (выписываю batch(ом) в Notion/Anki, когда собираюсь закончить читать).

1) Ментальный рост:

🗂The Daily Stoic - каждый день тебе предлагается 1 философская мысль, каждый день рефлексируешь и отмечаешь какие-то вещи про себя из собственного опыта (самый важный кусок) и чувствуешь, как становишься лучше. Мне помогла найти полезные паттерны, которые стали принципами.
🗂Atomic Habits - про цикл формирования привычки с 0 до 100%, книга научила меня проходиться по этим этапам, рождая полезные привычки, параллельно убирая из повседневной жизни плохие. Люди вокруг замечают улучшения, что также делают оценку объективнее.

2) Работа с командой и стрессом:

🗂«Идеальный руководитель» Ицхака Адизеса — кажется, что я дошёл до тех же мыслей на собственной шкуре относительно формирования команды и ролей её участников, но всё же фундамент моих убеждений эта книга помогла сформировать.
🗂 «The Happiness Advantage» — читается быстро, книга про методы управления стрессом и то, как с улыбкой относиться почти ко всем новостям, видя в них больше возможностей. Согласитесь, когда видишь больше возможностей - больше хочется идти вперёд.

3) Про жизнь и рефлексию:

📌 GreenLights Мэттью Макконахи — эта книга +1 к рефлексиии о жизни, как отдушина современному миру. Точно душевно восстанавливает, точно есть смешные моменты, которые отмечаешь и в своей жизни!
📌 В прошлом году Skyeng и iTalki брал, в этом решил повторить для поддержания уровня владениям языком.
📌 Психолог — понимаю, что менеджерская зрелость также упирается и в какие-то мои внутренние установки. Долго искал своего психолога, собрал кучу трэшовых историй, но нашёл того самого и мы успели за 3 сеанса столько вещей обсудить/проработать, что до сих пор под впечатлением)

Материалы на новый год обучения

1. Список книг к прочтению:
➡️ Докачиваю навык публичных выступлений:
- Принцип пирамиды Минто. Золотые правила мышления, делового письма и устных выступлений Барбара Минто.
➡️ Ментальный рост:
- Поток: Психология оптимального переживания.
➡️ Про прокачку мышления:
- Геймдизайн: Как создать игру, в которую будут играть все;
- Timothy Ferriss: Tools of Titans.
➡️ Художественная рагрузка после рабочего дня:
- книги Курта Ваннегута, начал с Сирены титана.
2. Закупил ChatGPT+, т.к. много где можно использовать, в том числе при написании и вычитки доков, изучении языков;
3. Пройду тест Хогана, сформулирую свои точки роста с коучем.

Важно, что это книги, которые советовали/интересны лично мне из разных подкастов/обсуждений *(не является индивидуальной инвестиционной рекомендацией)*.

p.s. Также я написал python-скрипт, который позволяет мне импортировать все заметки из книг Kindle/iBooks (pdf формат) в Anki/Notion. Пишите в тред, если вам будет полезен — красиво оберну его в течение месяца и опубликую!

#analytics

Всем привет! Продукт Авито Недвижимости активно растет - у нас появляется все больше направлений, в которых мы развиваемся. В связи с этим мы ищем талантливых ребят, которые усилят нашу аналитическую команду и помогут нам в достижении наших целей.

🚀 Где посмотреть команды, куда мы ищем людей? Собрали для вас в одном месте описание наших вакансий. Если вам откликнулась одна из вакансий Авито путешествий, пишите @moiseevavera5, по всем остальным - @iri_vovk.

🚀 Почему у нас классно? Рассказали про это в статье «Почему в Авито сильная аналитическая культура: 6 главных принципов команды Недвижимости».

Всем привет! На связи снова Денис Пехтерев, TL команды аналитики. Сегодня хочется обсудить тему видимости команды как внутри своей доменки (для заказчиков), так и вне своей команды.

Этот пост будет полезен тем, кто хочет рассказать о себе и команде как внутри компании, так и снаружи. Отсюда же потенциальные кандидаты смогут увидеть команду и захотят попасть именно к вам, что упрощает/ускоряет найм.

Начнём с того, что видимость можно представить как охватную историю (Денис аналитик зашёл в чат), поэтому и качать её нужно аналогично. Желательно с наименьшими трудозатратами, чтобы она была производной всей вашей аналитической деятельности.

Для этого мы используем следующий полезный фреймворк:

📎 Нашёл сложную задачу ➡️ Посидел и качественно решил её ➡️ Оформил по всем внутренним шаблонам ➡️ Рассказал на Демо внутри доменки ➡️ Рассказал внутри Авито на всех аналитиков ➡️ Рассказал на внешних площадках.

Почему работает?
Потому что на каждом этапе ты получаешь награду за хорошее выполнение + тебе это интересно (раз ты аналитик), все шаги находятся в логичном порядке и делая качественно предыдущий шаг — тебе будет легче и проще сделать следующий.

Этот фреймворк мы зашиваем в каждую масштабную задачу своей команды. Как итог мы получаем максимальный ROI = выхлоп/затраченные ресурсы.

Напишите, как действуете вы вместе с командой в треде, обсудим!

Не отходя далеко: в команду разработки Trisigma очень ищут старшего аналитика данных.

Вкратце, что предстоит сделать:
➡️ Создавать простые интерфейсы для сложных задач.
➡️ Реализовывать теоретические идеи в реальные решения.
➡️ Разрабатывать аналитический движок и язык метрик.
➡️ Развивать BI-аналитику с помощью LLM и работать с big data технологиями (Trino, Iceberg, Clickhouse).
➡️ Обучать пользователей (аналитиков, продактов) работать с платформой и делиться экспертизой.