Друзья, привет,
По поводу маркировки сгенерированного контента сейчас идут дебаты и даже выложен законопроект на сайте Думы.
Я всегда считал, что можно маркировать аудио контент (через мета-данные или отдельную пустую музыкальную «дорожку»), видео контент (25 кадр, мета-данные и другие способы). Но как маркировать текстовый сгенерированный контент для меня всегда было загадкой.
Даже если контент сгенерирован и определяется детекторами, то можно написать «перепиши так, как это сделал бы человек» и системы уже не могут задетектировать сгенерированный контент.
Но, кажется, что OpenAI всерьез взялся за эту проблему. В ближайшие недели компания начнёт маркировать часть текстов ChatGPT и Codex для пользователей в Евросоюзе. Маркировка появится на всех тарифах, но только у подходящих под условия пользователей в ЕС. В API её уже можно включить добровольно для отдельных моделей из любой страны.
Это не плашка «создано ИИ» и не запись в свойствах файла. Технология textGrain слегка меняет выбор слов во время генерации и встраивает в текст невидимый статистический сигнал. Специальный детектор затем ищет этот рисунок. Человек при чтении ничего не увидит.
Почему OpenAI делает это сейчас? Статья 50 европейского AI Act требует, чтобы синтетические тексты, изображения, аудио и видео были отмечены в машиночитаемом формате и распознавались как созданные или изменённые ИИ.
Отдельно Еврокомиссия разрабатывает кодекс практики, который должен уточнить, как именно выполнять требования к маркировке.
🔍 Но водяной знак довольно хрупкий. При целевой доле ложных срабатываний 1% детектор находил метку примерно в 80% фрагментов длиной 200 токенов и в 95% фрагментов по 400 токенов. Замена синонимами всего 10% слов снижала обнаружение с 92% до 66%. После замены четверти слов метка сохранялась лишь в 17% случаев.
Поэтому отсутствие сигнала не доказывает, что текст написал человек. Его могли отредактировать, перевести, сократить или получить в другой модели. И наоборот, найденная метка не определяет автора, не раскрывает промпт, не измеряет вклад человека и ничего не говорит о достоверности текста.
Доступ к детектору пока получат только одобренные исследователи и профильные организации. OpenAI опасается, что публичный инструмент будут использовать как безошибочный «детектор списывания», хотя сама технология такой гарантии не даёт.
И еще есть один вопрос, который мне не дает покоя. Если добросовестные участники рынка создадут маркировку контента, не приведет ли это к популярности сервисов недобросовестных участников и открытых моделей?
А вы бы хотели видеть такую проверку встроенной в браузер, мессенджеры или сервисы?
#маркировка
💬 ген ии | MAX