Маркетплейс vs банк: в чем отличия инфраструктуры данных?

Как устроена работа с данными в маркетплейсе и чем она отличается от банковской? Разницу на Fintech Data Day на примере кейсов Авито проиллюстрирует Александр Ледовский, DS Manager в монетизации.

В числе отличий:

— Активное использование событий как источника данных.

Во многих компаниях, в т. ч. в банках, хранилище данных строится на базе CDC. При всех плюсах у этого подхода есть недостаток: структуры баз данных сервисов не предназначены для аналитических запросов, и создание аналитических витрин напрямую из сырых реплик требует значительных ресурсов и сложных методологий. В маркетплейсе, где допустим некоторый уровень неточности, можно использовать альтернативный подход — отправляем события напрямую с бэкенда в формате JSON.

— Возможность тестирования на проде для ускорения работы.

В аналитике и ML-сценариях зачастую невозможно полноценно отладиться в тестовых средах. В банках, особенно крупных, тестирование на проде труднореализуемо. Тем не менее существуют безопасные подходы — это может быть локально запущенный сервис, который обращается к боевым системам, например, к поисковому индексу. Или же полноценная выкладка на прод с изменениями, работающими в скрытом режиме без существенного влияния на пользователей.

— Прямой доступ аналитиков к боевым сервисам

Иногда для задач аналитики можно напрямую обращаться к боевым сервисам. Это позволяет запрашивать данные в реальном времени, получать информацию, которая не попадает в витрины. Кроме того, прямые запросы к сервисам используются для анализа поведения новых версий систем — это важно при A/B-тестировании и отладке.

Александр Ледовский работает в Авито с 2022 года, занимается ранжированием платных объявлений и автобиддингом для установки ставок. Отвечал за разработку и запуск продвижения за бюджет и продвижения с оплатой за просмотр. В ML с 2016 года, ранее работал в Сбере, IBM и управленческом консалтинге.

Сайт и программа Форума