Побачив цікавий пост на каналі Dmytro Sokhach і вирішив продовжити тему. 😜

Давайте на початку розберемо базу.
Що таке AI watermarks і які вони бувають.

AI watermark (наприклад, SynthID від Google DeepMind) - це невидимий водяний знак, який додається до контенту під час його генерації.

Для різних типів контенту вони працюють по-різному. Він зашивається в саму математичну структуру пикселів, звукових хвиль або статистику вибору слів у тексті.

🖼 Зображення

Тут все просто. Коли ви генеруєте картинку, SynthID одразу вбудовується в пікселі. Його не видно очима, але детектор може його зчитати.

Він розрахований на те, щоб переживати ресайз, фільтри чи компресію.
Я пробував зробити скрін - все одно він залишається.

🎵 Аудіо

Тут сигнал зашивається в аудіохвилю. Ви його не чуєте, але спеціальний алгоритм виявляє його навіть після MP3-стиснення чи додавання шуму.

🎬 Відео

Watermark вбудовується прямо в кадри та звукову доріжку. Такий собі мікс між зображеннями та аудіо.

Тут важливо сказати шо це не метадані. Метадані (C2PA) - це про походження файлу, їх можна легко почистити, а от watermark всередині контенту - ні.

📄 Текст

Ось тут починається найцікавіше. Ну для мене так точна.

У тексті немає пікселів чи звукових хвиль. Тому вотермарк для текстів працює інакше:

LLM генерує текст токен за токеном. Для кожного наступного токена модель має розподіл ймовірностей - які варіанти найбільш імовірні в цьому контексті.

SynthID-Text вбудовує watermark прямо в цей процес: він модифікує розподіл ймовірностей токенів під час генерації так, щоб у великій кількості виборів виникав певний статистичний патерн.

Тобто тут немає захованих символів, нульових пробілів чи якогось окремого watermark-слова.

Детектор після генерації аналізує послідовність токенів і перевіряє, наскільки вона відповідає очікуваному патерну.

Тому це не зовсім точний підпис а імовірність. Ну і у кожних систем вона різна.

Наприклад Claude використовує SynthID-Text, але з власним ключем Anthropic. Тому Google SynthID detector не варто автоматично сприймати як detector для Claude watermark.

Тут ще варто зазначити що не треба плутати ватермарки з AI детекторами - це різні речі.

Бо AI детектори намагаються виявити штучний стиль написання тексту за непрямими ознаками. Вотермарк перевіряє наявність конкретного статистичного сигналу, який був закладений у текст під час його генерації системою.

Йдемо далі.

Прочитавши документацію DeepMind та OpenAI можу зробити такі висновки.

- Короткі тексти (на 2-3 речення) не паляться - просто недостатньо статистичної інформації.
- Факти та код теж важко маркувати (watermark працює там, де є вибір із кількох однакових слів. Якщо відповідь очевидна (наприклад, 2 + 2 = 4 або строгий синтаксис коду), маркувати нічого, інакше порушиться точність).
- При перекладі на іншу мову - змінюються патерни імовірних слів.
- Міксування, коли ви берету базу а потім трошки переписуєте (коли ви додаєте свій кусок тексту або перефразовуєте). Ви ж не думаєте шо я на память знаю всі терміни по роботі SynthID 🙈

Як може виглядати ланцюжок трансформації тексту?

Пошук фактів - Написання тексту в Claude / Gemini - Переклад та Локалізація в OpenAI.

Така послідовність може створити нову карту токенів, де початковий статистичний сигнал просто розчиниться.

Хочу таке вже протестувати. Що думаєте з цього приводу?

Коментарів на каналі нема, тому пишіть в лічку. 😉