Маркетплейс vs банк: в чем отличия инфраструктуры данных? Как устроена работа с данными в маркетплейсе и чем она отличается от банковской? Разницу на
Fintech Data Day на примере кейсов Авито проиллюстрирует
Александр Ледовский, DS Manager в монетизации.
В числе отличий: — Активное использование событий как источника данных. Во многих компаниях, в т. ч. в банках, хранилище данных строится на базе CDC. При всех плюсах у этого подхода есть недостаток: структуры баз данных сервисов не предназначены для аналитических запросов, и создание аналитических витрин напрямую из сырых реплик требует значительных ресурсов и сложных методологий. В маркетплейсе, где допустим некоторый уровень неточности, можно использовать альтернативный подход — отправляем события напрямую с бэкенда в формате JSON.
— Возможность тестирования на проде для ускорения работы.
В аналитике и ML-сценариях зачастую невозможно полноценно отладиться в тестовых средах. В банках, особенно крупных, тестирование на проде труднореализуемо. Тем не менее существуют безопасные подходы — это может быть локально запущенный сервис, который обращается к боевым системам, например, к поисковому индексу. Или же полноценная выкладка на прод с изменениями, работающими в скрытом режиме без существенного влияния на пользователей.
— Прямой доступ аналитиков к боевым сервисамИногда для задач аналитики можно напрямую обращаться к боевым сервисам. Это позволяет запрашивать данные в реальном времени, получать информацию, которая не попадает в витрины. Кроме того, прямые запросы к сервисам используются для анализа поведения новых версий систем — это важно при A/B-тестировании и отладке.
Александр Ледовский работает в Авито с 2022 года, занимается ранжированием платных объявлений и автобиддингом для установки ставок. Отвечал за разработку и запуск продвижения за бюджет и продвижения с оплатой за просмотр. В ML с 2016 года, ранее работал в Сбере, IBM и управленческом консалтинге.
Сайт и программа Форума