О пользе логов

В моей системе агентов после генерации практически каждого материала остаётся отчёт: какие факты переделывались, какие источники подтянулись и тд. И вот в ожидании своего рейса обратно в Калининград в пятницу вечером я сел изучать эти отчёты и вносить изменения. В первой части (будет и вторая про изменения в воркфлоу) расскажу про галлюцинации и как я стараюсь их сократить ещё на этапе написания, а не проверки. Например, обнаружилось, что 5 из 6 явных выдуманных фактов были в темах кибербезопасности. Покопавшись в отчётах, понял — субагент-автор охотно берёт цифры из агрегаторов и кладёт в текст без проверки первоисточника. Для кибербеза такое, конечно, совсем моветон.

Что изменил для всех агентов:

Атрибуция источников. Полная атрибуция теперь = первоисточник + год + ФИО/должность/компания + URL. Чёрный список вводных: «по данным экспертов», «исследования показывают», «по оценкам аналитиков» — без конкретики не принимается. Запрет на цифры из агрегаторов без раскрытия первоисточника. Проверка текущей должности спикера (а не прошлогодней).

Доменное правило для ИБ — белый список и чёрный список агрегаторов. Правило подключается по триггерам (атака, ransomware, утечка, CVE, 152-ФЗ). Чек-лист фактчекера на статус ransomware-групп и актуальность регуляторики.

Свежесть данных по типам. Жёсткие лимиты: рынок — 12 месяцев, MAU — 6, GitHub stars — 3, статус ransomware-группы — 6. Обязательная пометка года для цифр старше года. Запрос WebSearch с явным указанием года в строке.

Через месяц-два повторю ревью и посмотрю, изменилась ли частота неверной атрибуции. Если правила за месяц не упоминаются ни в одном отчёте — значит, не срабатывают на этапе написания текста, переформулирую, доработаю.

#ai_agents