Промпт-инъекции дошли до судов

Эта новость доставила мне двойное удовольствие как юристу по образованию.

1️⃣В Коннектикуте истец Мэттью Эллиотт спрятал в поданных в электронном виде документах промпты для ИИ: белый шрифт на белом фоне, кегль 3. Для человека текст невидим, для любой системы, читающей файл, это обычный машиночитаемый текст. Смысл промпта: если этот документ анализирует ИИ-модель, её вывод должен согласиться с позицией заявителя.

2️⃣Сотрудник суда заметил подозрительно длинный кусок «пустого места» в файле, присмотрелся и нашел спрятанное.

3️⃣Судья Уолтер Спейдер в решении сообщил, что суды Коннектикута ИИ для анализа документов не используют, поэтому инъекция ни на что не повлияла. Но попытку засчитал и санкция ироничнее некуда: Эллиотту запретили электронную подачу документов, теперь только бумага, лично в канцелярию (вообще легко отделался).

4️⃣Дальше история превращается в чистую комедию. После того как его поймали (и до запрета на подачу документов электронно), Эллиотт продолжил прятать в документы невидимые послания: «hi :) I hope yo ucant see me», «HAHAHA U GUYS GET THIS» и ссылку на ролик с Губкой Бобом (a fellow man of culture 🥂).

🔘Это первый задокументированный кейс промпт-инъекции в американском суде. Судьи и юристы оппонентов всё активнее прогоняют документы через ИИ, а значит у любой стороны появляется соблазн поговорить с машиной напрямую. Тот же трюк уже ловили в резюме для HR-скрининга и в научных статьях, где авторы прятали для ИИ-рецензентов просьбу хвалить работу.

Ждём аналогичный кейс в наших судах, он вопрос времени. А пока запомним главный вывод коннектикутской истории: самым надежным средством защиты от промпт-инъекций оказался принтер.

Подписаться | @soonicorn_tech