Приветствую, любители аналитики!
Давеча побывал я в онлайн-режиме на конференции "Качество данных 2026".
Докладов было много и, как ни странно, большинство - интересные.
Правда, революционных инсайтов не словил, оказалось, что основные посылы мы в той или иной мере уже воплотили. А именно:
* КД — одна из важнейших составляющих управления данными, за ним надо следить
* и следить автоматически (так мы это делаем)
* измерять кол-во строк, заполненность, допустимость значений, палить актуальность,
* рассчитывать плавающие допустимые пороги величин (кстати, тут какая-то моя статья про отслеживание полноты данных о событиях на сайте, осторожно! много SQL-кода)
* назначать дежурных и заниматься инцидент-менеджментом
* привлекать потребителей, заказчиков к разрешению инцидентов
* оповещать конечных пользователей об инцидентах и неполноценности текущих данных
и т.д.
Но были и новые для меня мысли и старые, но еще не отработанные идейки: дата-контракты с поставщиками данных, профилирование данных, а также, конечно, привлечение к работе с КД его хайпейшества ИИ.
Сегодня я с командой немного поштурмил о проектах до лета и мы на лету спросили у Яндекс Код Ассистента, умеет ли он лазить в базу и добавлять таблицы в контекст. Говорит, умеет. А еще умеет делать описание таблиц и линеаж данных, так почему бы ему не суметь тогда решать муторные задачи вроде "найди причину расхождений"?
Короче, есть у меня желание натравить на качество данных робота. Надеюсь, что-то из этого выйдет в ближайшие месяцы.
Post #128
1.21K
- 👍 7
- 👀 5
- 🔥 1