9 умных мыслей, которые я вынес из Data Innovation Summit 2023, прошедшего в Стокгольме, полезных для применения в нашей команде

(Часть 3. Продолжение)

5️⃣Еще был инсайт о ловушке опенсорса в которой оказались (вынуждено) многие в России, а также технологические компании, которые любят все делать сами. Идея доработки DataHub своими силами кажется рабочей - вы имеете гибкость и вроде экономию, но игнорируйте важнейший фактор успеха каталога - качество UI, которое требует больших инвестиций и экспертизы. Типа главное линедж, а остальное приложится. Только сейчас мы начали понимать что "уродливые" датакаталоги с плохим UI (а у DataHub она именно такая) не адоптятся. Это уже факт. Они вызывают в итоге скуку и безразличие как у аналитиков из бизнеса, так и у data людей. В итоге вы инвестируйте ресурс дальше и копите продуктовый легаси с тяжелой поддержкой, который уже жалко и обидно бросить. И едете уже до конца. Такой синдром упущенных возможностей.
При этом использование качественно сделанного коммерческого продукта даже с нехваткой отдельных фич будет давать ценность сразу и ресурс перейдет на внедрение процессов, а не разработку функционала. Скоро AI фичи будут сильно менять продукты и их адаптивность, а в самодельных дата каталогах внедрить их будет оч сложно (тут бы в бизнесе что нибудь ML-ное в прод бы вывести нормально). Не хочу толкать очевидное, вопрос сложный щас в этом сегменте у всех. @sgromych нужен круг по обзору российских data catalogs, а также логична совместная разработка community версии Datahub+, от тех крупных команд, кто его облагораживает сейчас...

6️⃣Был полезный доклад про Data Contracts - contract as a code решение как компонент open source стандарта описания data products в data mesh парадигме - см фото. Гитхаб этих ребят из Италии https://dpds.opendatamesh.org

Часть 1 | Часть 2 | Часть 4