Критик-ревьюер: как в разы снизить число ошибок и галлюцинаций в рабочих SEO процессах

К примеру, вы строите прогноз по трафику, поленились сами считать и дали задачу Клоду. Он не досмотрел большую таблицу (большая же!), экстраполировал данные и выдал вам очень правдоподобный прогноз, основанный на догадке.

Критик поймает его: вернется к таблице, досмотрит ее до конца, сверит прогноз и заставит переписать.
Сверка пойдет скриптом (минимум токенов) и обойдется вам сильно дешевле, чем переделка всего прогноза, если вы заметите этот баг. О цене сдачи нереальных прогнозов подумайте сами.

Еще пример. Клод проверил разметку страниц и принес вам панический отчет: хлебных крошек нет нигде, Н1 отсутствует на половине страниц, мета-теги одинаковые!
Прежде чем паниковать, отправьте критика посмотреть. Выяснится, что Н1 нет только на одном листинге, хлебные крошки – верно, нет их, а вот мета-теги он увидел на двух страницах из сотни и экстраполировал оценку.
Паника отменяется, отчет можно пустить в работу.

А теперь – что под капотом (много деталей).

Как работает критик: гейт и набор линз

Гейт (ворота) – условие, вынуждающее Клода запускать проверку. Чтобы открыть гейт, надо выполнить проверки и отчитаться.

– Проверка включается сама на любой серьёзной задаче.
– Цифры сверяются прогоном скрипта, на глаз ничего не пересчитывается.
– Выводы смотрит независимый проверяющий. Чем дороже ошибка, тем больше проверяющих: для финала — два-три с разных сторон.
– Все сверяется с первоисточником: с исходными данными или с постановкой задачи. Промежуточный пересказ источником не считается.
– «Я проверил» без следа проверки не считается. След — это реальный прогон или ответ проверяющего.
– Есть тормоз от паники: сомнение сначала снимается дешёвой проверкой, больше трёх кругов проверки на одну проблему не гоняют. Это блокирует паническую спираль, когда Клод сам себе находит проблему, выдает ложную гипотезу, проверяет ее, выдает новую и крутится в цикле перепроверок, сжигая токены на пустую работу.

Критик запускается в двух режимах: проверка плана (А) и проверка результата (Б).

Режим А:

1. не хромает ли метод и нет ли скрытых допущений;
2. что сломается при исполнении и где можно испортить данные;
3. не пропущены ли обязательные шаги;
4. для крупной задачи ещё безопасность, сравнимость во времени и стоимость;
5. для объемных задач: что можно и что нельзя раздавать агентам параллельно.

Режим Б – проверка результата, одиннадцать линз:

1. Что потерялось или слиплось с соседним пунктом.
2. Что переврано.
3. Что выдумано. Сюда же уверенное «такого нет» и ссылки, которые никто не открывал.
4. Дочитан ли большой файл до конца.
5. Совпадает ли «выросло/упало» с самими числами.
6. Не отсеял ли фильтр до замера как раз то, что меряем. Тогда число посчитано верно, но означает другое.
7. Мог ли критерий вообще не сработать. Если он срабатывает везде, он ничего не доказывает.
8. У каждого числа названа база: от чего считали и на какой выборке. Два числа расходятся — сначала сравнить базы.
9. Устройство данных проверено на реальной выгрузке, а не угадано по названию поля или по старой версии.
10. Кто есть кто — сверено с постановкой задачи, а не додумано.
11. Если сделан инструмент — заработает ли он у другого человека на чистой машине.

Какую линзу прогонять, критик решает сам.
На проверку отправляется агент, которому критик пишет промт. Каждая находка сдается с доказательством и пометкой, что это: дыра в постановке, настоящая ошибка, осознанный компромисс или шум.

Критик обучается: у него копится библиотека ошибок. Если ошибка повторилась два-три раза — ИИ предлагает сделать новую линзу либо записать строгое правило в память. Можно прямо ему командовать "запиши факап".

>>> Как забрать: скачать архив тут
https://cloud.moab.pro/index.php/s/QHjXBAFGE5CgzCR

Распаковать архив, прочесть файл 00-START-HERE .md, выполнить инструкцию.
(по правде говоря, можно просто скормить zip своему Клоду или ЧатГПТ и он разберется сам).

PS.: автор критика - Катерина Ерошина, head of AI marketing в moab, она будет рада вашим вопросам, критике на критика;) и пожеланиям.
У нас его реально многие сеошники используют и это действительно помогает.