Почему AI-тексты проверять сложнее, чем человеческие?

Мне есть что сказать на эту тему — намучились с этой проблемой, когда делали свой инструмент.

Заметила, что у людей преобладает убеждение, мол, AI править легче, чем человека.

Звучит логично. Опечаток не делает, строит предложения грамматически правильно и, если дать ему достаточно контекста, генерирует вполне корректный текст.

Что может пойти не так?

Всё.

Когда у нас накопился большой массив сгенерированных текстов, стало понятно: ошибки у AI совсем другого типа. Они могут быть почти незаметны в одном абзаце — зато прекрасно масштабируются на всю статью.

Почему так вообще происходит?

1. Модель выбирает статистически вероятную конструкцию, а не формулировку, которую носитель действительно использовал бы в этой ситуации.

2. Одинаковые инструкции порождают одинаковые решения. Если секции генерируются отдельно по похожим ТЗ, модель снова и снова начинает абзацы одинаково, использует один порядок слов и повторяет одну логику.

3. AI очень последователен даже в ошибочных решениях. Например, он неправильно понял, как классифицировать платёжные методы, а затем аккуратно разнёс эту классификацию по тексту, таблицам и спискам.

4. Гладкий язык маскирует проблему. В человеческом тексте ошибка часто выделяется. У AI каждое отдельное предложение может звучать уверенно и прилично.

Именно поэтому не советуем проверять один ИИ другим или запускать ему самопроверку без контроля. Что получится — смотрите вот в этом посте.

Звучит так, будто мы сейчас скажем "единственный способ избежать этого — поставить человеческого редактора". Но мы попытались решить эту проблему максимальной автоматизацией. Как именно — расскажем в следующей части.

Даша,
CMO iGamingTextLab