Подсмотрел у Шнайера ссылку на интереcное исследование, в котором демонстрируется, как LLM можно использовать как инструмент текстовой стеганографии, то есть прятать один осмысленный текст внутри другого осмысленного текста, причем той же длины в токенах.

Авторы показывают предложенный ими протокол Calgacus. Он позволяет взять исходный текст, например политическую критику, и спрятать его внутри совсем другого текста, например рецепта, похвалы политическому лидеру, отзыва на игру и т.п. Получатель, зная секретный ключ/промпт и точную модель, может восстановить исходный текст. Человек, который просто читает "наружный" текст, видит вполне связный и правдоподобный текст.

Механика такая:
6️⃣ Берем текст, который надо спрятать.
2️⃣ Прогоняем его через LLM и для каждого следующего токена смотрим не сам токен, а его ранг в распределении вероятностей модели. Например, этот токен был 1-м наиболее вероятным, следующий – 69-м, следующий – 77-м и т.д.
3️⃣ Потом задаем модели другой секретный промпт, например, "напиши программу обучения по тематике ИИ для "бумажного" ИБшника длительностью 8 недель".
4️⃣ Но при генерации выбираем не случайный токен и не самый вероятный, а токен с тем же рангом: 1-й, потом 69-й, потом 77-й и т.д.
5️⃣ В итоге получается другой текст, но последовательность рангов в нем кодирует исходный текст.

То есть это не "невидимые символы", не трюки с "белым на белом", не аккростих и не классическая подмена букв. Это более глубокая история – смысловой наружный текст строится так, чтобы его вероятностная структура несла скрытое сообщение. Авторы утверждают, что для этого достаточно даже относительно скромных открытых моделей на 8 миллиардов параметров, а кодирование/декодирование текста размером с введение к статье может выполняться локально на ноутбуке за секунды.

Очень интересная история в контексте расширения цензуры, контроля, блокировок и иных притеснений в Интернете. Причем использовать ее могут как диссиденты и всяческие "экстремисты", инсайдеры, сливающие корпоративные данные, а также разработчики вредоносного ПО для реализации C2-коммуникаций 🤔

#стеганография #ии