Нейронки с тотальной уверенностью раздувают важность неважных вещей

Вчера поймал агента на том, что он два часа правил ненужный кусок документации

В шаблоне скилла, который помогает построить спецификацию к задаче, агент поставил требование «фиксировать количество проверок, чтобы всегда можно было точно сказать, сколько было проверок перед заморозкой». Скилл довольно большой, поэтому я этот пункт не заметил. Эту цифру в работе постоянно забывали обновить, а агенты-аудиторы приходили и ставили ошибку, после которой цикл шёл на новый круг правок

Чтобы исправить проблему, агент написал скрипт, который сам автоматически считает отчёты аудиторов и заполняет значение автоматически. Но оказалось, что отчёты лежат в разных местах, потому что в проекте работает и Клод, и Кодекс, поэтому скрипт тоже начал давать ошибки. И он начал чинить уже скрипт

Этот процесс сжёг пару миллионов токенов, пока я не вмешался. Когда увидел, что за фигню он нагородил, попросил всё откатить и удалить требование из документации, потому что оно не несёт в себе никакой ценности ни для кого. Так эта зараза еще и сопротивлялась, контраргументы приводила

Пока что, и надеюсь надолго, человека от нейронки отличает возможность остановиться и подвергнуть сомнению необходимость того, что он делает