Те, чьи имена нельзя называть. Слабые места ИИ

Ученые МГУ считают, что проблема устойчивости алгоритмов к внешним воздействиям является ключевой слабостью нейросетей и позволяет злоумышленникам осуществлять атаки на интеллектуальные системы.

Первым шагом по предотвращению атак была названа их классификация, что, конечно, следовало бы назвать шагом нулевым – слишком малое отношение она имеет к конкретным и обстоятельным действиям по устранению угроз.

Приведем выдержку из нашей еще не опубликованной статьи о том, как человеческий интеллект атакует искусственный: «О слабых местах ИИ говорил академик РАН Игорь Соколов, сетуя на то, что искусственный интеллект не может ограничиваться искусственными нейронными сетями и машинным обучением. Виной тому – наличие методов, решающих задачи, для которых отсутствует или не подходит известный алгоритм решений. Человеческая речь не поддается описанию с помощью дифференциального уравнения, и необходимость извлечения этих данных рождает новую математику. А чем сложнее система, тем сложнее предусмотреть все аспекты ее защиты.»

По этому же поводу можно привести целую россыпь цитат из книги Талеба Нассима «Антихрупкость. Как извлечь выгоду из хаоса» о том, почему на самом деле существующие системы непрерывно усложняются. С одной стороны, в современной жизни простоты добиться сложно, потому что она противоречит мировоззрению ряда людей, ищущих сложности для того, чтобы как-то оправдать свою работу. Вместе с тем, упрощение системы через избавление системы от стрессоров – необходимых ей стрессоров – не обязательно хорошо; напротив, так системе можно причинить большой вред. А недокомпенсация из-за отсутствия стрессора, обратный гормезис (стимулирующее действие умеренных доз стрессоров), нехватка сложных задач делают слабыми лучших из лучших.

С другой стороны, сложные системы отличаются большой взаимозависимостью (которую трудно распознать) и нелинейными реакциями. «Нелинейный» означает, что когда вы удваиваете, например, дозу лекарства или количество работников на заводе, отдача будет не в два раза больше, а либо намного больше, либо намного меньше. Нельзя сказать, что два уик-энда в Филадельфии в два раза приятнее, чем один. Если изобразить реакцию системы в виде графика, получится не прямая линия (линейная функция), а кривая. В нелинейной среде простые причинные связи – это аномалия; сложно понять, как работает система, если смотреть на ее отдельные части. В искусственных сложных системах развитие часто ступенчато и определяется неуправляемыми цепными реакциями, которые уменьшают, а то и вовсе исключают предсказуемость и порождают нестандартные события.

Дабы не оставлять возможности упрекнуть Талеба Нассима в голословности, закончим цитирование его же пояснением к вышесказанному: «Современный мир аккумулирует технические знания, однако будущее при этом парадоксальным образом делается все менее предсказуемым.» И с этим трудно не согласиться.