Безопасность и интерпретируемость моделей
https://www.arthur.ai/product
https://www.robustintelligence.com
https://arxiv.org/pdf/2010.10596.pdf

🔎В чем понт
В прошлом посте я писала про модели машинного обучения, которые по нашим характеристикам решают, как нам можно поступать, а где нужно доработать: кредитный скоринг, персонализированное ценообразование и тд. Авторы говорили, что очень важно делать модели интерпретируемыми, понимать, когда что-то идет не так, и не менее важно обьяснять людям решение ML. Кажется это следующий виток в области: с тем, что делать разобрались, теперь нужно контролировать качество, следить за безопасностью и понимать, как это работает (хаха). В этом посте я расскажу про 2 молодых стартапа, которые уже поднимают деньги на теме безопасного и интерпретируемого AI и помогают крупным компаниям.

🦄Что за компании, где я их нашла, сколько денег подняли
В последнее время часто смотрю CBInsights - это аггрегатор информации про компании, стартапы. Там выходят классные, новости, аналитика. Ребята каждый год несколько раз обновляют подборку AI-100 - туда они включают самые promising AI-компании. Выбирают по количеству поднятых инвестиций, профилю инвестора, анализу новостей, рыночному потенциалу, конкурентам, силе команды и новизне в технологиях. Из 100 компаний 2021 года подборки 2 было про интерпретируемость AI: Robust Intellegence и Arthur. На A-round (привлечение денег на начальных этапах, инвесторы требуют масштабируемости, обычно не требуют прибыли) подняли 14 и 12 млн$. Это достаточно много для этого раунда, хотя бывает и больше (китайский стартап грузоперевозок из той же подборки на A-round поднял 220 млн$). Компании основаны в 2018 и 2019 году, то есть совсем молодые.

🍒 Что они делают?
Arthur состоит из трех частей: мониторинги моделей, их аналитика и улучшатель моделей. Все 3 вещи можно смотреть и настраивать в их интерфейсе, к посту прикреплены скрины вкладок в максимально доступном качестве :). На этапе мониторинга Arthur смотрит на производительность модели, аллертит, если что-то изменяется, подсвечивает дрейф данных (если распределение в данных изменилось относительно истории). На втором этапе аналитики тулза выделяет bias, понимает, какие фичи и как влияют на итоговое предсказание и подбирает наиболее информативную метрику для оценки модели. Далее предлагается модель для починки поломок в модели (очень было бы интересно узнать как конкретнее он работает), экспорт отчетов, плюс можно моделировать для пользователя контрфактуалы (не просто информирование о том, что кредит не выдали, а обьяснение, что сделать по-другому в следующий раз, чтобы кредит дали). Arthur выпустил статью-обзор на эту тему, в ссылках наверху.

Robust Intellegence больше сфокусирован на безопасности, а не интерпретируемости (скрин с описанием работы системы в прикрепе). В тулзе есть модуль "профилактического” выявления уязвимости: в данные вносятся небольшие изменения и наблюдается поведение моделей. Также через модель прогоняются потециально проблемные данные: из которых признаки выкинуты или заполнены странными значениями, плохо классифицирующиеся обьекты. Также Robust Intellegence ищет проблемные данные и создают правило, которое помогает избежать ошибок модели на этом срезе.

🥂Что в итоге
Интересное и новое направление в исследованиях и стартапах. Оптимистично настраивает относительного будущего ML: data science не умрет, решив все задачи, а выйдет на новую ступень развития, где появляются все более глубокие проблемы и вызовы.