Как большие масштабы диктуют правила архитектуры и что с этим делать?

За последние 4 года аналитическая платформа Авито изменилась и по сложности, и по масштабу. Для понимания, вот как она выглядит сейчас:
🕚 объём хранилища около 2 ПБ;
🕚 обработка более 3 ПБ данных в сутки и порядка 2 млн запросов;
🕚 поток входящих событий до 60 млн событий в минуту;
🕚 ежедневная загрузка данных из 4000 источников в 20 000 таблиц детального слоя;
🕚 ежедневный расчёт 5000 витрин, 700 A/B-тестов и 30 млрд метрик;
🕚 800 ежедневных пользователей ad-hoc и 5000 пользователей BI.

Когда в один момент объём данных начал расти заметно быстрее, чем органический рост, на который ориентировалась команда, стало понятно — прежняя архитектура больше не работает. Так Дима Рейман с командой начали долгий процесс миграции платформы из классического DWH в Lakehouse.

Как это выглядело на практике и какие проблемы вылезли на этом пути, Дима рассказал в статье.

#analytics