У меня аналогичная реализация, но я его в цикл загнал, даю ему условно 5 итераций: прогоняй тесты, анализируй результаты, вноси правки, обновляй конфу и по новой; досрочная остановка, если ошибка логическая - где-то на этапе prd что-то пропустили, в конце мне отчёт по каждому циклу. Даже с дефолтным компостером получается неплохо.