Текст, картинки, видео, музыка от нейросетей теперь будут поголовно маркироваться. С августа во всех новых моделях, с декабря в старых тоже.
Так вот! Совпали сразу 5 стандартов, главные европейский и китайский. По ним надо размечать всю генерацию нейросети. Европейский ещё допускает не ставить метку на незначительных доработках (типа корректуры), но в реализации всё равно этого пока нет, маркируется всё подряд, потому что соблюдать лучше 3-5 стандартов сразу.
Значит, раньше мы догадывались, что текст нейрослоп только по общей тупости и предсказуемости. Вот я писал про это дело. Коротко — если вы не подали умную мысль на вход или не сказали, как её найти, то ей и взяться особо неоткуда, и тексты всегда стремятся к безликим средним. Но у людей так же, поэтому детекторы по факту смотрели на унылые тексты, а не на сгенерированные LLM.
Теперь добавляется водяной знак. Это, фактически, сложный выбор синонимов. Вот вам надо продолжить предложение вариантами "поскольку", "так как" или "потому что". Модель выберет их по вероятности. В случае водяного знака эта вероятность сдвинется, и потом можно будет посчитать.
Схема Kirchenbauer:
— 1-2 предыдущих токена задают хеш.
— Хеш становится зерном генератора случайных чисел, который делит весь словарь пополам.
— Модель выбирает как обычно, но чаще попадает во вторую половину.
Список синонимов свой на каждом шаге. Он пересобирается заново после каждого токена. Поэтому идея, что есть специальный список слов, которые нейросети используют чаще — очень неверное описание.
Утрируя, разница такая (только нужен блок куда больше, и замены будут не такими частыми):
Совещание передвинули на 4-е, так как два человека уехали
Встречу перенесли на четвёртое число, потому что двое отсутствовали
На практике получается, что ваш текст должен быть достаточно разнообразным и длинным. То есть юридический документ так промаркировать палевнее, код вообще под большим вопросом, маленькие блоки текста не дадут накопить статистику. Если менять слова внутри текста после генерации, ещё и поедет сам расчёт.
Вот ещё один вариант поинтереснее.
То есть:
— Если вы попросили модель откорректировать ваш текст, она разметит его водяными знаками и может править слова на синонимы там, где не надо.
— Если вы взяли нейрослоп как черновик и очень сильно его переписали или перефразировали — водяной знак слетит.
— Если текст 300-500 знаков — не детектируется. Это абзац письма или ответ в чате. Длиннее примерно 1000 знаков — детектируется уверенно. Склейка 3 маленьких блоков — это уже большой блок, детектируется.
— Если вы хотите перефразировать текст, замены должны быть точно не реже раза в предложение.
— Если используется вариант поинтереснее, на дипломе в 60 страниц даже серьёзная переработка может не спасти.
— Неэнтропийный текст не маркируется. "Лондон из зе кэпитал оф Грейт Британ" — хрен вы туда что-то подставите другое синонимом. В цитатах, формулах, числах, словарях, юридических формулировках сигнал слабый. При явно сформулированных естественных предположениях сильная маркировка недостижима в принципе.
— Перевод меняет почти каждый токен, поэтому базовая атака либо перевод туда-сюда, либо пересказ другим словами через более тупую модель, зато без водяных знаков (например, локальную).
Если вы сейчас генерите свой диплом моделью:
— Прямо сейчас вас не спалят, детекторов нет
— Новые модели уже его пометили, вас спалят потом
— Дальше, где-то к декабрю, вас точно спалят
— Преподаватель один фиг будет проверять вас устными вопросами
Если вы пишете руками:
— Сохраняйте историю версий, я уже пару раз консультировал по пиару в ситуациях скандала, когда, например, художников обвиняли в слопе, а они не могли показать ничего, кроме финала.
— Сохраняйте все черновики и бардак. Теперь он ценный!
Если вы боитесь, что модели поломают вам корректурой и редакторскими правками тексты, у меня есть специальный писец-бот @pisets_bot, который не трогает тексты вообще, но расставляет в DOCX (или в PDF) комментарии, а на корректуре вносит правки прямо в режиме рецензирования. С ним в плане корректуры безопасно, видно, что вносилось и как.
И да, мы тут делаем курс про как въехать в Клод Код для обычных людей, если вам надо — вот детали. Прям если вы не разработчик. Собственно, изначальный вопрос про маркировки задала участница курса )