ChatGPT начнёт помечать сгенерированные тексты невидимыми водяными знаками.

Сегодня OpenAI объявила, что в течение ближайших недель начнёт помечать текст, написанный ИИ, при помощи собственной технологии textGrain. Её компания собирается внедрить в ChatGPT и Codex для пользователей Евросоюза — это связано с требованиями Закона ЕС об искусственном интеллекте. При этом пользователи моделей OpenAI API (инфраструктуры для разработчиков и крупных компаний) смогут добавлять водяные знаки в свои тексты с сегодняшнего дня. Эта функция будет доступна клиентам API по всему миру, но при желании её можно будет отключить.

Сам детектор текстовых водяных знаков пока не станет общедоступным. Доступ сначала получат одобренные исследователи и экспертные организации, сказано в заявлении OpenAI. По плану компании, эти клиенты помогут протестировать и усовершенствовать новую технологию.

TextGrain будет встраивать водяной знак за счёт того, какие слова ИИ-модель выбирает при генерации. Если она пишет достаточно длинный текст, отмечает OpenAI, возникнет закономерность, которая позволит установить, что он создан при помощи ИИ, но при этом не будет заметна человеку. Детектор OpenAI затем анализирует множество таких выборов и ищет характерный сигнал. При этом водяной знак не позволяет установить конкретного пользователя, его аккаунт, запрос или переписку с ChatGPT. Он также не показывает, какую часть текста написал человек.

OpenAI предупреждает, что технология пока не даёт стопроцентной точности: для текстов длиной 200 токенов водяной знак обнаруживается примерно в 80% случаев, а для 400 токенов — примерно в 95% при целевом уровне ложных срабатываний 1%. Редактирование текста заметно снижает эффективность проверки. В тестах OpenAI замена 10% слов синонимами снизила вероятность обнаружения водяного знака примерно с 92% до 66%, а замена четверти слов — до 17%. Поэтому отсутствие метки не будет означать, что текст точно написал человек.

Ранее компания Anthropic анонсировала, что её ИИ-модель Claude начнёт помечать весь сгенерированный контент невидимыми водяными знаками. Это также было сделано после принятия европейского закона об ИИ.