Нейронные сети, способные принимать решения в условиях реального мира, быстро прогрессируют и при этом становятся все менее понятными для людей.

При этом, поскольку в реальном мире, в отличие от относительно простых игр вроде шахмат, компьютеры как и люди ошибаются, непонимание может вести к весьма болезненным результатам.

Отсюда появляется новый класс задач: объяснять людям, почему ИИ принял то или иное решение. Решать эти задачи в реальном времени, с учетом их сложности, тоже придется машинам.

Еще год назад MIT Technology Review писал о тенденции, которая может стать ключевой для развития современных систем искусственного интеллекта. Американское агентство DARPA, работающее на Пентагон, ведет разработку сразу 13 программ, задача которых сделать действия машин более понятными для людей.

Ключевой программой считается инициатива по созданию Explainable Artificial Intelligence (XAI), нейросети, специализирующейся на анализе данных специализированных нейросетей и построение карты контрольных точек, по которым анализируются данные в последних, так чтобы эксперт-человек был в состоянии прочитать эту информацию и объяснить ее.

XAI имеет двойное назначение и непосредственно связано с разработкой оружия. Представители DARPA рассуждают об особой важности доверия и взаимопонимания в условиях боевых действий, когда все участники тактической единицы должны чувствовать, что могут полностью полагаться друг на друга. Если тактическая единица состоит из машин и людей и является кибернетической, то люди должны понимать, как "мыслят" машины. Если автономный робот открыл огонь на поражение, от него тоже потребуют рапорт, объясняться придется XAI. Мирная сторона системы связана, например, с диагностикой сложных форм рака, когда нейросети и люди-специалисты приходят к разным выводам и нуждаются в общем языке для уточнения ситуации.

Некоторое время я писал об этом: хотя тест Тьюринга кажется примером архаичного антропоцентризма в рамках теории ИИ, в действительности неантропоморфные экспертные системы, работающие в человеческом обществе, будут вынуждены также содержать в себе интерфейс, предназначенный для коммуникации с людьми.

Где-то здесь должна появляться фигура философа, нейро- и кибергерменевта, который наконец объяснит всем этим XAI и ее разработчикам из DARPA, что на самом деле означает "понимание". Хочется иронизировать: не будет ли сам философ нейросетью.