Здоровое питание вашего AI (и не AI) аналитика

Прикопаем тут еще одну «скучную» тему, на которую потратил много "мыслетоплива".

Речь про core-слой сертифицированных витрин.

И инженеры и аналитики избегают этой темы. Тут мало низковисящих фруктов, нет готовых подходов, сложно покрыть себя славой.
Но эта вещь решает сутевую проблему - хаоса витрин и низкого переиспользования. Бич мультидоменных платформ с кросс юзаджем.

Поэтому весь прошлый год продавал внутри идею. В итоге скорее продавил, чем продал. В конкуренции с другими инициативами за бюджет - нужен эффект с деньгами.
Цели кор-слоя понятийно правильные — быстрее находить, делать меньше джойнов, ускорять расчеты, сокращать количество объектов, экономить инфру.
Досчитываем метрики уже параллельно с внедрением.

О чем речь.

Кор слой это витрины с заявленным статусом доверия certified.
— удобные для адхоков (широкие) и создания других витрин (3-НФ)
— с покрытием качеством и гарантией (ownership, SLA, DQ-checks, meta)
— c продвижением - reuse вместо «соберу ка еще одну витрину»
Можно воспринимать как основу или как часть семантического слоя (смотря как широко брать).

Ну и из заголовка вы поняли - кор слой - основная часть рациона AI аналитика, вместе с доменным контекстом. Всем нужно думать о здоровом питании.

В Авито проект делается смешанным ресурсом - платформенным DWH и BI в доменах.
Дима Мележиков, лид BI из домена Маркетинга, ворвался в проектную команду, надел шапочку продакта и потащил, под прессингом доменных биай задач. Опасный тип. Читайте его статью на хабре (дайте лайков) про прогресс прошлого года.

С того момента снова перебрали подход и продолжаем экспериментировать. Прикручиваем туда:
— AI generated DQ checks
— AI generated описание витрин
— Автоматический health scoring в каталоге

У Димы будет доклад на Aha-26.
Что сделаем к маю — расскажет. Что не успеем — приукрасит 🙂

Кто решал такую задачу - отзовитесь поболтать.
Вот кстати близкий кейс Airbnb.
Женя Ермаков еще помнится вскользь рассказывал про схожий проект common data marts в яндекс такси. Давно это было.

#АвитоBI