Привет любители производительности!

У меня уходило ~ $10 в день на токены для AI агентов при кодинге. А вчера я запустил тесты агентом, где агент анализировал результаты. Ушло $137, на примерно 11 запусков коротких тестов для разных версий, анализ логов и результатов и сравнительный анализ

Что-то дорого, в разы дороже. Все потому что логи анализировались и было ожидание завершения тестов

Сегодня переделал подход, где вместо чтения и анализа логов просто assert
🤩один раз сгенерировал код, который делает тесты на логи и метрики по результатам запуска, это стоило $2-3
🤩теперь JUnit сам дожидается и проверяет все что нужно
🤩запустил все в CI для разных версий, а потом посмотрел на результаты (да вручную, но было недолго)

Теперь буду для исследовательских задач писать детерминированный код, функциональный тест. Код писать недорого, а вот на инструкциях естественным языком и использовании моделей внутри процесса можно сильно потратиться к