👩‍💻 OpenAI анонсировала 👍водяные знаки в текстах

OpenAI представила собственную технологию водяных знаков (watermarks) textGrain. Она добавляет невидимый статистический сигнал к выбору слов языковой моделью. Детектор анализирует текст и ищет так называемый сигнал, чтобы оценить, содержит ли фрагмент водяной знак OpenAI. В будущем разработчики планируют открыть исходный код технологии для сторонних специалистов.

Эффективность обнаружения имеет ряд технических ограничений. Детекторы могут ошибаться, выдавая ложноположительные результаты или пропуская маркировку.

На точность влияют следующие факторы:

▪️Длина текста: длинные фрагменты распознаются точнее коротких.
▪️Тип контента: в точных дисциплинах вроде математики свобода выбора слов минимальна, поэтому водяной знак обнаруживается хуже, чем, например, в текстах по психологии.
▪️Редактирование: замена даже небольшой части слов на синонимы существенно ослабляет статистический сигнал.

Оценка последней флагманской языковой модели Astra на бенчмарках показала, что наличие водяного знака якобы не приводит к значимому изменению производительности.

🕵️Как это отразится на пользователях по всему миру?
Для клиентов API по всему миру функция доступна уже сегодня для отдельных моделей на добровольной основе, но по умолчанию она отключена.

🇪🇺В Европейском союзе невидимая маркировка начнёт автоматически добавляться к подходящим текстовым ответам ChatGPT и Codex в течение ближайших недель.

Детектор водяных знаков на этапе запуска не публикуется в открытом доступе из-за риска ошибок. Доступ к нему предоставляется ограниченному кругу одобренных исследователей и профильных организаций для оценки и совершенствования инструмента.

✋ @Russian_OSINT