В своей знаковой статье 1998 года основатели Google Ларри Пейдж и Сергей Брин предупреждали: если их поисковая система когда-нибудь покинет «академическую сферу» и превратится в бизнес, она неизбежно коррумпируется и превратится в «тёмное искусство».

Спустя почти 30 лет арсенал тёмных искусств значительно разросся — никого не напугаешь каким-то поисковиком, когда вокруг орудует целая машинерия алгоритмов, руководствуясь бизнес-логикой вычислительного капитала. За эти годы алго колдунство вырвалось из цифрового магического круга и стало вполне конкретной и назойливой частью нашей повседневной реальности: алгоритмы выбирают, какой контент вам смотреть, сколько вы заплатите за товар или услугу, показывать ли ваше резюме работодателю, выдавать ли вам кредит, выписывать штраф или запустить ракету в ваш дом.

Стоит сразу оговориться: решения престарелых бюрократов, вахтёров и легионов кожаных невежд сами по себе ничем не лучше или этичнее машинных. Однако в случае человечьего факапа, как минимум в теории, на конкретного виновника можно указать пальцем и уточнить: «На каком основании?» (конечно, когда вопрос не касается целой организационной машинерии, Кафка нам в помощь). С алгоритмами же чаще всего оказывается так, что вердикты автоматически вылетают из «чёрного ящика», и даже непосредственные разработчики системы не могут объяснить, почему она пришла к тому или иному выводу.

При этом сами алгоритмы эффектно снимают ответственность в том числе и с кожаных факаперов, которые прячутся за их интерфейсом, — даже когда отовсюду торчат уши интересантов, так или иначе связанных с вычислительным капиталом. Проблема становится особенно выпуклой там, где целые сектора экономики контролируются одной-двумя платформами: в такой ситуации просто игнорировать алгоритмические вердикты (знаменитое либертарианское «не нравится — не пользуйся») уже невозможно.

Именно на фоне возрастающего разрыва между масштабами влияния алгоритмических систем на жизнь людей и непониманием публики, как алгоритмы принимают те или иные решения, всё чаще всплывает концепция права на объяснение (right to explanation). Речь прежде всего идёт об индивидуальном праве получать объяснения автоматизированных решений, существенно затрагивающих интересы человека. Концепция выросла из практики алгоритмических вердиктов в сфере кредитования и уголовной юстиции (например, компьютерной оценки риска рецидивов при вынесении приговора).

К самому способу объяснения есть два основных подхода. Model-centric — объяснение того, как работает модель или алгоритм в целом: например, раскрытие датасета, на котором он обучался. Из этого подхода выросло целое исследовательское направление Explainable AI — «объяснимый ИИ». Такой подход в первую очередь рассчитан на экспертов и исследователей и плохо подходит для разбора индивидуальных случаев. Второй: Subject-centric — объяснение того, почему система вынесла конкретный вердикт в отношении конкретного кейса или набора переменных, без необходимости разбирать внутреннюю логику алгоритма. Это более приземлённый подход: человеку нужно понимать, почему кредит не выдают именно ему, а не разбираться в хитросплетениях миллионов параметров.

У концепции права на объяснение, конечно, множество проблем и узких мест — в частности, её индивидуализированный фокус, в то время как последствия алгоуправления чаще всего затрагивают коллективные права (например, трудовые права платформенных работников) и воспроизводят межгрупповые предрассудки (в духе уголовного байеса в отношении чернокожих).

Другая сложность: процессы внутри «чёрных ящиков» зачастую настолько запутаны, что ни один входной параметр или этап вычислений нельзя назвать определяющим. В итоге содержательное объяснение оказывается недоступно даже специалистам в области, не говоря уже о простых смертных.

Отсюда вырастает более радикальная позиция: искать не способы объяснять задним числом уже готовые алгоритмы, а изначально закладывать в их дизайн принцип объяснимости. То есть проектировать алгоритмы так, чтобы возможность понимания их решений с самого начала была неотъемлемой частью архитектуры.