👆 Неважно, 2024, 2025 или 2030 год – в машинном обучении одно правило остаётся неизменным. Какое? 🤔
Качество данных. Казалось бы, очевидно, но, парадоксально, ситуация лучше не становится. 😅

Из моего опыта: если в компании нет выделенного человека (или команды), отвечающего за качество данных для ML, готовьтесь к трудностям. С этим можно жить, но это технический долг, который всё равно придётся погасить. Причём это тот тип долга, который не приносит мгновенной выгоды. Результаты появятся позже, когда данные начнут использоваться.

Да, картинка получается жёсткая, но… в мире модных лозунгов об ИИ легко забыть про фундамент – данные. Не поймите неправильно, AI-агенты и RAG – это важно. Но что толку, если данные, на которых они работают, низкого качества?

Примеры:

1️⃣ Шум в данных
Ошибочные данные могут поступать из разных источников. Например, система мониторинга загрязнения воздуха в Кракове несколько дней показывала уровень PM2.5 в 5000 µg/m³ вместо 50 µg/m³ из-за сбоя датчика. Это приводило к ложным тревогам и неверным прогнозам модели.

2️⃣ Неактуальные данные
Модели на старых данных не учитывают изменения. Например, модель прогнозирования запросов в клиентскую поддержку может не заметить роста запросов после запуска нового продукта.

3️⃣ Смещение в данных
Данные, собранные в одном контексте, могут быть нерелевантны в другом. Например, AI-модель для найма в IT может отдавать предпочтение мужчинам, если исторические данные содержат преимущественно их.

4️⃣ Недостаток данных
Отсутствие части данных приводит к неполным анализам. Например, модель прогнозирования сбоев в энергосети не имела данных с некоторых старых подстанций, что снижало точность.

5️⃣ Понимание контекста
В марте 2020 года число транзакций картами в продуктовых магазинах резко выросло (контекст – пандемия). Контекст всегда сложно учитывать!

6️⃣ Изменение характеристик данных во времени
Данные меняются, и модели устаревают. Например, модель прогнозирования предпочтений потребителей становится менее точной, если меняются рыночные тренды.

7️⃣ Неправильное представление данных
Данные должны быть преобразованы для корректного анализа. Например, если данные о продажах записаны в разных валютах (доллары и евро), это может запутать модель.

... этот список можно продолжать!

Резонирует? 🔥