Сегодня прям кайфанул от задачки.

Суть: в продукте, который строим, надо было доказательно проверить, можно ли доверять AI-ассистенту. Функция ассистента — отвечать на вопросы по ESG-отчёту компании. А это почти 400 страниц, где почти вся фактура живёт не в тексте, а в 160 диаграммах и 270 таблицах.

Взялся делать сам (я же всё таки тут и сам трансформируюсь, а не только компанию трансформирую).

Как решал:
1) Чтобы построить эталон, мы с Клодиком разобрали весь документ в машиночитаемый слой: 20 параллельных агентов, 14 минут, каждая диаграмма — таблицей с явной привязкой подписей к значениям.

Из интересного: из документа посыпались внутренние противоречия. Их никто не искал — они выпали из ETL сами. Итог: 25 дефектов, семь из которых реально искажают показатели. Например, затраты на лечебно-профилактические мероприятия занижены примерно в 1000 раз: около 1 млн рублей на всю программу, внутри которой одно только ДМС стоит больше 1 млрд. Получается, ассистент, которого мы проверяем на то, можно ли ему доверять, уже показал себя лучше человека, который этот отчёт собирал 🤷😁

2) Дальше — голден-сет: 75 вопросов пяти уровней сложности, от «найди число в тексте» до провокаций с зашитой ложной предпосылкой.

3) Прогоны — не руками в чатике, а через API: на каждый вопрос сервер поднимает чистую сессию, вопросы друг у друга не подсматривают. Сначала смоук на 5 вопросов, потом 30, потом все 75. Первый честный результат: 82,6 балла из 100, три галлюцинации. Самое слабое место — диаграммы: 73,5.

4) Обновили корпус, перепрогнали те же 75 вопросов: 92,5 балла, ноль галлюцинаций, диаграммы — 96,7.

5) В середине дня заказчик прислал свою настоящую ESG-анкету — 48 пунктов, дословно. Прогнали и её: 95,1 из 100, ноль галлюцинаций, ни одного провала. Все 48 вопросов в шесть потоков — 173 секунды.

Итого день: ~3 часа плотной работы, 4 сессии Claude Code, 48 запусков субагентов, ≈2,9 млн выходных токенов и 406 млн прочитанных из кэша. Удовольствие от результата — бесценно.

Ну и очевидный, но важный для экономики совет: дорогая модель — думать (план, спецификация, оценка), дешёвая — проводить тесты через API в соответствии с планом.