Интерпретация

Для тех, кто слабо себе представляет простоту организации нейросетей - пару слов об этом. Нейросеть это большая функция от миллионнов параметров f: x -> y. X это какие-то входные данные превращенные в числа: текст, картинка, таблица, звук и тд. Y это результат работы модели.

Что такое обучение нейросети: давайте подберем значения параметров функции так, чтобы они лучше всего переводили значения из пространства входных параметров (x) в ответы (y), и это делается определенными математическими методами оптимизации.
За более подробным рассказом - зовите пить пиво.

На выходе мы получаем обученную огромную функцию, значения параметров которой интерпретировать напрямую не является выполнимой задачей. Человек существо консервативное и работать с черными ящиками мало кому понравится. Именно поэтому существует целое направление - интерпретация нейросетей. Об этом и хочется сегодня поговорить.

В первую очередь хочется поразмышлять, что такое интерпретируемое поведение, вопреки базовой интуиции это не такой уж и простой вопрос.

Если задать вопрос википедии она скажется, что интерпретация - это способ познания, который изучает внутреннее устройство, через внешние проявления.

Из книги "7 навыков высокоэффективных людей" можно вспомнить такое понятие как "призма". Каждый человек смотрит на мир через какую-то свою призму, а потому как он поступает и что говорит, окружающие пытаются понять как он устроен внутри. Чем более разные призмы у двух индивидов, тем более по-разному они смотрят на жизнь, тем сложнее им найти общий язык и, в случае, если они обязаны существовать в одном социуме - им бы сводить их призмы в единую систему координат. По факту, нейросети с точки зрения интерпретации устроены аналогично. Есть стимул (это входные данные в нейросеть), есть внутреннее осознание (взаимодействие параметров модели с входными данными) и реакция (результат работы нейросети).

Кто из читающих этот пост готов с уверенностью заявить, что знает досконально кого-то из своих знакомых, или даже самого себя? Или более формально: знает реакцию на любой стимул. Как следствие тема "интерпретации" скорее близка самураю с его путем без цели.

В связи с вышесказанным, задачей является скорее не изучить досканально за что отвечает каждый параметр модели, а сблизить призму нейросетей с усредненной человеческой призмой, чтобы людям легче было воспринимать новые технологии.

Пост не поместился, продолжение сразу далее...

@lechim_ai