Audit в Human-Assisted AI: как проверить, какие требования ИИ действительно выполнил?

В одном из предыдущих постов я рассказывал про Editorial Policy: клиент загружает редполитику, а мы подключаем её к каждому новому проекту.

Только мы уже выяснили, что наличие правил в контексте ещё не означает, что модель соблюдёт каждое из них. Одно требование она может пропустить, другое понять слишком широко, а третьим пожертвовать ради более связного текста.

Когда мы проектировали Human-Assisted AI, я довольно быстро упёрся в практический вопрос: что должен увидеть редактор после генерации?

Абстрактная оценка вроде «качество текста — 65 из 100» здесь бесполезна. Она не объясняет, где находится проблема, почему система снизила балл и что теперь исправлять.

Поэтому мы сделали отдельный Audit, который запускается после генерации и проверяет текст по шести группам маркеров: фактическая точность, соответствие ключам, E-E-A-T, требования конкретного GEO и языка, качество контента и типичные ИИ-паттерны

На выходе редактор получает отчёт с конкретными фрагментами текста. Не просто «есть проблемы со стилем», а, например:

— три последовательных предложения одинаковой длины;
— одно и то же утверждение повторяется в нескольких разделах;
— заявленная лицензия не подтверждается;
— ключ отсутствует в нужной части страницы;
— в тексте для Бразилии используется информация или формулировка для другого рынка.

У каждого пункта есть статус, пояснение и цитата из материала. Редактор сразу видит, что именно не прошло проверку и где находится проблема.

Но Audit всё равно не заменяет человека.

Система может слишком буквально применить правило или выдать false positive. Например, пометить лицензию как неподтверждённую, потому что в собранных данных нет ссылки на реестр регулятора, хотя сама лицензия существует. Возможна и обратная ситуация: несколько вторичных источников повторяют одно и то же устаревшее значение, и автоматическая проверка не видит причины ему не доверять.

В таких случаях оператор возвращается к первоисточнику, проверяет контекст и решает, действительно ли текст нужно исправить.

Контроль человека и Audit закрывают разные участки процесса. Оператор проверяет промежуточные результаты и не даёт ошибке перейти из ресёрча в структуру, а затем в текст. Audit системно прогоняет уже готовый материал по заданным критериям. Финальное решение принимает человек.

Естественность языка, локальные речевые нормы и конструкции, которые формально правильны, но не используются носителями, — уже другой уровень проверки. Для этого подключаем вычитку нейтивами+LQA.

Хотите попробовать Human-Assisted AI на своих задачах? Пишите в бот 👉 @igamingtextbot

Владимир,
Founder iGamingTextLab