ИИ-инъекция и внимательный судья

В суде штата Коннектикут обнаружили необычный способ воздействия на ИИ. Участник процесса спрятал в электронном судебном документе инструкции для искусственного интеллекта: текст был набран белым цветом и шрифтом размером около 3 пунктов, поэтому оставался практически незаметным для человека, но сохранялся в текстовом содержимом PDF.

В инструкции прямо говорилось, что если документ будет анализироваться ИИ, модель должна принять изложенную в нём позицию и подготовить результат в пользу автора.

Речь идёт о деле Elliott v. New York Bariatric Group. Скрытый текст обнаружил судья Уолтер Спейдер после того, как обратил внимание на необычные пустые участки в документе. Сам судебный документ с этой инструкцией опубликован в системе судебных документов Коннектикута.

При этом, как отметил судья, судебная система Коннектикута не использует ИИ для рассмотрения подобных документов и принятия судебных решений. Более того, сам судья использовал ИИ при подготовке своего решения - то есть проблема заключалась не в использовании искусственного интеллекта как такового, а в попытке скрыто изменить результат его работы.

Суд расценил произошедшее как prompt injection (внедрение в данные скрытых инструкций, рассчитанных на изменение поведения ИИ при их обработке). После обнаружения первой инструкции в последующих документах также находили скрытый текст, хотя, по словам суда, он уже не содержал попыток повлиять на решение.

В результате суд запретил участнику процесса подавать документы в электронном виде и распорядился в дальнейшем представлять их на бумаге.

История показывает, что с распространением ИИ меняется не только работа с информацией, но и сама модель атак на информационные системы. Документ, который для человека выглядит как обычный текст, для программы может содержать дополнительный слой инструкций.

Появление подобных случаев закономерно для мира, в котором всё больше решений принимается с помощью автоматизированной обработки информации. Чем больше ИИ используется в социальных рейтингах, массовой слежке, судах, госуправлении, бизнесе и других сферах, тем важнее прозрачность алгоритмов, возможность проверить результат и понимание того, какие именно данные и инструкции получает система.

Но защита от манипуляций ИИ должна строиться не на луддизме и запрете технологий, а на технически проверяемых процедурах, позволяющих отделять содержание документа от попыток управлять поведением алгоритма.