Люблю сталкиваться с моментами, где понимаю, что мне не хватает знаний. То есть не упорства, сил, времени, плана, мотивации или чего-либо ещё, а именно знаний. И сейчас меня так прокинуло в TDA (Topological Data Analysis).

Почему TDA возникает в контексте интерпретируемости?

В задаче анализа моделей как сущности есть две глобальные ветки. Первая ветвь рассматривает модель узко – в контексте конкретной задачи, а вторая – смотрит на модель более абстрактно, как на самостоятельный объект.

Приземляя на примеры:

1. Прогнозирование диагноза. Исследуем случаи решений методами интерпретации, получаем ответ "почему модель дала решение X". Отвечаем на вопросы — какая область данных повлияла на решение.

2. Исследование гендерных/рассовых предубеждений. Смотрим, как модель внутри себя располагает рассы/гендеры и думаем, как свести их в точку, где ни расса, ни гендер не влияет на принятие решения (если оно от них не зависит). Здесь важно то, что ни гендер, ни расса не описаны явно в начальных признаках, иначе было бы достаточно первого подхода.

И вот для абстрактного случая очень важны геометрические методы. Любая модель — это коробка с геометрическими структурами. Сейчас, мы находим их очень точечно — например, линейная разделимость тех же гендеров или harm/safe предубеждений (как мы показывали в статье) или circuits, про которые я так и не написала, но хороший материал тут.

Именно топологический анализ данных в частности тут может быть интересно применен. Для вдохновения:

1. Изучение bias относительно пола и профессии https://arxiv.org/pdf/2508.07516
2. Изучение признаков, идентифицированных моделью (пример на CNN) https://arxiv.org/pdf/2305.08642
3. Сокращение модели на основе изученных топологических структур https://arxiv.org/pdf/2410.11042v1
4. TDA на ризонинге https://arxiv.org/html/2510.20665v1

И к чему это я — нашла очень классный ноутбук для относительно легкого знакомства с TDA на питоне: https://colab.research.google.com/github/shizuo-kaji/TutorialTopologicalDataAnalysis/blob/master/TopologicalDataAnalysisWithPython.ipynb

Прям с нуля можно хорошо покопаться. За праздники надеюсь переведу его и обвешу определениями, но оригинал прям не могла вам не прислать.