2 года в роли DS-лида в Авито. Часть 2: Технологии

Эта часть про то, чего удалось добиться нашей команде за год в области алгоритмов и моделей. Расскажу о том, что дошло до публичных выступлений и что можно поделиться открыто.

Ранжирование: от эвристик к ожидаемой выручке

Одним из главных успехов команды стало обновление подхода к ранжированию. Мы отключили множество устаревших механик и добавили учет ожидаемой выручки от показа как фактор ранжирования. Это помогло найти более оптимальный баланс между пользовательским качеством и монетизацией.

На мой взгляд, мы сделали действительно сильное решение. Многие компании используют эвристики, например, умножение скора платного товара в поиске на коэффициент. В таких системах сложно управлять эластичностью эффекта от продвижения и добиваться предсказуемых результатов. Наше решение оказалось более гибким и предсказуемым. На эту тему был доклад Ромы Логинова и Даши Ситовой на Матемаркетинге, но, к сожалению, он пока не доступен публично.

CTR-модели и автобиддинг: трансформация подхода

Мы активно развивали модели вероятности клика (CTR) и систему автобиддинга. Год назад я написал новый алгоритм автобиддинга, который стал основой для перестройки всей системы. Сейчас от моего кода уже мало что осталось — команда его серьезно улучшила. И не зря: автобиддинг стал частью продвижения с повышенной ставкой на этапе запуска нового продукта.

С CTR-моделями было сложнее: я углубился в проблему оффлайн-метрик. Это оказалось вызовом, потребовало изучения научных статей и привело к докладу на DataFest. Новые метрики дали хорошие результаты в тестах, но полностью предсказывать рост продуктовых метрик за счет CTR-моделей нам пока сложно. Мы сейчас накапливаем базу завершенных A/B-тестов, чтобы использовать её для выбора более качественных оффлайн-метрик.

Эксперименты: инновационный подход к тестированию

Мы много работали над улучшением экспериментов. Удачным решением стали сплит-тесты, где бюджет на продвижение делится на две части для сравнения друг с другом. Об этом подробно рассказывал Антон Семенистый.

Итоги года и планы на будущее

Год получился насыщенным. Я горжусь результатами и тем, как работает наша команда. В следующем году планирую реализовать несколько новых технических проектов, которые станут шагом вперед как с точки зрения технологий, так и метрик. Посмотрим, что получится!

P.S. Написав этот пост, я решил попросить ChatGPT его улучшить. К моему удивлению, он внес совсем немного правок: слегка упростил сложные фразы, добавил заголовки и сделал текст чуть более структурированным. Как вам результат? Заметна ли обработка? Поменялся ли стиль в лучшую сторону?

#worklife