OpenAI и Anthropic вводят водяные знаки в текст

С 2 августа в ЕС начали действовать новые требования AI Act: сгенерированные нейросетями изображения, аудио, видео и текст должны иметь машинно-читаемую метку, по которой можно определить их AI-происхождение.

Anthropic решила не ограничивать это Европой и включает watermark глобально для новых моделей Claude. OpenAI пошла другим путём: в ChatGPT и Codex watermark запускают для ЕС, а через API его можно добровольно включить по всему миру. Anthropic использует версию SynthID-Text от Google, OpenAI сделала собственную систему textGrain.

Когда я впервые услышал про «водяной знак в тексте», подумал, что туда вставляют какие-нибудь невидимые символы. Но никаких символов там нет. Watermark живёт прямо в статистике выбора слов.

Если очень упростить: допустим, модель в каком-то месте одинаково естественно может написать «тихий» или «спокойный». Обычно шанс мог бы быть условно 50/50. Но секретный ключ слегка меняет выбор — например, в этом конкретном контексте получается 80/20.

В следующем месте предпочтение будет уже у другой группы слов. Потом у следующей. Для человека итоговый текст выглядит совершенно обычно, но на длинном тексте накапливаются сотни таких маленьких решений.

А специальный детектор знает секретный ключ и может проверить: модель подозрительно часто выбирала именно те токены, которые должна была выбирать при наличии watermark, или это обычная случайность.

То есть это сильно отличается от обычных «AI-детекторов», которые пытаются угадать ChatGPT по стилю. Здесь провайдер сам во время генерации оставляет статистический след, который потом умеет искать. Anthropic прямо описывает свою проверку как оценку вероятности того, что Claude участвовал в создании текста.

Чем длиннее обычный текст, тем лучше это работает. А вот с математикой и кодом сложнее. После 2 + 2 = особо не повыбираешь между десятью равнозначными продолжениями. То же самое со строгим синтаксисом кода. Зато в названиях переменных, комментариях и местах, где есть несколько одинаково нормальных вариантов, след всё ещё может появляться. Anthropic сама пишет, что в коде watermark обычно значительно слабее.

Можно ли его удалить? Да, это не какая-то магическая криптографическая печать. Сильное перефразирование, перевод или большое количество правок могут сильно ослабить или вообще уничтожить конкретный token-level watermark. Исследователи уже показывали, что некоторые академические схемы можно даже частично изучать через обычный API, не зная секретного ключа. Но универсального способа сделать watermark одновременно незаметным, абсолютно неубиваемым и при этом вообще никак не ограничивающим модель пока нет. Исследование.

И здесь, мне кажется, главный смысл не в том, чтобы сделать обход невозможным.

Если кто-то массово генерирует тысячи текстов и хочет скрыть их происхождение, ему теперь нужно добавить ещё один этап: переписывать, переводить, проверять результат. Это дополнительные деньги, время и вычисления.

А для обычного неизменённого AI-контента появляется ещё один машинно-читаемый сигнал происхождения.

Не стопроцентное доказательство. Но ещё один слой, который делает массовое сокрытие AI-контента чуть дороже.

✈️ Подписаться на канал