Усиление акцента на оценке эффективности методов XAI
Разбираем подробно итоги года в XAI (Explainable AI) за 2021 г.

В январе 2022 г. на arxiv появилась знаковая работа, в которой авторы систематизируют около 300 работ в области XAI, опубликованных на CS конференциях в 2014-2020 гг. Отдельным разделом в ней приведен обзор исследований, посвященных оценке эффективности методов XAI.

Основным результатом статьи является предложение универсального фреймворка для оценки эффективности методов как локальной, так и глобальной интерпретируемости. Авторы предлагают 12 стандартизированных метрик для универсальной оценки XAI методов, подчеркивая, что важность метрик варьируется в зависимости от целей интерпретации модели в каждом случае.

Метрики разбиты на три категории, в зависимости от того, на чем они делают акцент:

(1) Ориентированные на содержание объяснения:

- Корректность (Correctness) - насколько точны объяснения в сравнении с «истинным» поведением объясняемой модели.
- Полнота (Completeness) - насколько полно объяснение отражает разные аспекты поведения модели.
- Консистентность (Consistency) - объяснения должны зависеть от входов и выходов модели, а не от конкретной реализации метода XAI.
- Непрерывность (Continuity) - для похожих входных данных должны генерироваться похожие объяснения.
- Контрастность (Contrastivity) - объяснение должно указывать на факторы, необходимые и достаточные для принятия моделью именно такого решения, какое она приняла.
- Ковариатная сложность (Covariate complexity) - взаимодействия между факторами, которыми оперирует объяснение, должны быть достаточно простыми для понимания, даже если исходный алгоритм включает сложные взаимодействия.

(2) Ориентированные на форму объяснения:

- Компактность объяснения (Compactness) - чем короче объяснение, тем оно лучше.
- Композиция (Compositionality) - насколько выразительны и понятны формат и структура интерпретации.
- Уверенность (Confidence) - предоставляет ли метод XAI вероятностную оценку своей уверенности в предложенном объяснении.

(3) Ориентированные на потребности пользователя:

- Контекст (Context) - насколько метод учитывает потребности и уровень экспертизы конечного пользователя.
- Согласованность (Coherence) - до какой степени интерпретация согласуется с опытом, знаниями и убеждениями пользователей.
- Контролируемость (Controllability) - насколько пользователь может взаимодействовать с объяснением и настраивать его под свои нужды.

Стоит ли говорить о том, что в статье также в прекрасном структурированном виде приводятся и предложения конкретных количественных метрик для указанных выше разделов – на основе обзора статей за 2014-2020 гг.

#tech #interpretable_ml