Это один из вопросов, который часто возникает у тех, кто присматривается к Data Science: если ИИ уже помогает работать с данными, насколько перспективно сейчас идти в эту профессию и учиться ей глубоко?
На Дне открытых дверей онлайн-магистратуры «Науки о данных» Даниель Щебентовский, ведущий эксперт-консультант программы, ответил на него.
Сейчас в индустрии становится больше ИИ-помощников и инструментов для автоматизации аналитики. Модели уже умеют отвечать на вопросы, искать информацию, помогать с подготовкой данных и находить первые варианты решений.
Но вместе с этим растет значение качества данных.
Во многих проектах проблема не в том, что не хватает сложности модели. Мы можем создавать модели любой сложности. Но часто данные неполные, ошибочные или плохо организованные
— объяснял Даниель.
Нейросети все еще не могут полностью заменить специалистов в том числе потому, что учатся на данных из интернета, где много ошибок, неточностей и противоречий.
В реальных проектах данные — это не только таблицы. Это изображения, спутниковые снимки, показания датчиков, текст, видео, голос и другие источники. С ними нужно работать: собирать, очищать, проверять, приводить к нужному виду и понимать ограничения каждого источника.
Если модель используется в реальном продукте, нам очень важно понимать, когда она ошибается, насколько ей можно доверять и как отслеживать качество со временем
— отмечал Даниель.
С ИИ-агентами задача еще сложнее. Когда компания внедряет такого помощника, важно понимать, корректно ли он интерпретировал задачу, какие шаги выполняет и где может ошибиться.
Обычную модель мы можем оценить как-то по метрикам, а помощник может выполнить несколько шагов и ошибиться на любом из них
— объяснял Даниель.
Отдельный вопрос — мультимодальные модели, которые работают сразу с текстами, таблицами, изображениями и другими типами данных. Чем больше источников использует система, тем сложнее объяснить, почему она сделала именно такой вывод.
В реальных проектах всегда есть ограничения по стоимости, скорости, надежности. Поэтому современный дата-сайентист должен разбираться не только в моделях. Нужно понимать данные, продукт, то, как оценивать качество, какие есть ограничения и какие реальные потребности пользователей мы закрываем
— говорил Даниель.
ИИ помогает быстрее работать с данными. Но именно специалист понимает, какое решение подойдет задаче, где система может ошибиться и что нужно сделать, чтобы модель работала в реальном продукте.