🤖OpenAI начнёт помечать тексты ChatGPT невидимыми водяными знаками

OpenAI объявила о запуске технологии textGrain, которая позволит определять тексты, созданные искусственным интеллектом. В ближайшие недели её начнут внедрять в ChatGPT и Codex для пользователей из Евросоюза. Компания связывает это с требованиями европейского закона об искусственном интеллекте.

Для пользователей API функция станет доступна уже сейчас и по всему миру. При этом разработчики и компании смогут при желании отключить водяные знаки.

Сам инструмент для обнаружения меток пока не будет открыт для всех. Сначала доступ к нему получат одобренные исследователи и экспертные организации, которые помогут OpenAI протестировать технологию и улучшить её работу.

Принцип textGrain основан на особенностях выбора слов моделью. При генерации достаточно длинного текста ИИ формирует определённую статистическую закономерность, незаметную для человека. Специальный детектор анализирует эти закономерности и определяет наличие характерного сигнала.

Водяной знак не позволяет узнать, кто именно написал текст, определить аккаунт пользователя, его запрос или содержание переписки с ChatGPT. Также технология не показывает, какая часть текста была написана человеком.

При этом OpenAI признаёт, что система пока не обладает стопроцентной точностью. Для текста объёмом около 200 токенов водяной знак удаётся обнаружить примерно в 80% случаев, а для 400 токенов — примерно в 95% при уровне ложных срабатываний около 1%.

Эффективность проверки существенно снижается после редактирования текста. Например, замена 10% слов синонимами в тестах OpenAI снизила вероятность обнаружения метки примерно с 92% до 66%. При замене четверти слов показатель падал до 17%.

Таким образом, отсутствие водяного знака не будет доказательством того, что текст написан человеком.

Ранее о похожей технологии объявила Anthropic: компания также планирует использовать невидимые водяные знаки для контента, созданного её моделью Claude.