🔍 Ещё статья от адептов TDD, где они доказывают прирост качества от TDD на целых 34–48% над no-TDD baseline, но тут надо сразу метить лукавство таких оценок эффективности, т.к. по факту тут TDD становится критерием оценки эффективности самого себя, т.е. берутся acceptance tests и признаются сами по себе аксиомой качества. При этом насколько произошёл их дрейф от спецификации и вообще то ли они оценивают, что хотел пользователь — вопрос открытый.

Однако даже если вы сторонник TDD, то можно заметить best practice от профессионалов в нём:
* Не используется классическая трактовка Бека как тесты для определения дизайна приложения, хотя они и делаются до него, речь строго про acceptance test, а не что-то другое, т.е. это скорее ATDD, а Бек просто академизм, которым не пользуются практики TDD
* Важнейший приём — компиляция ВСЕХ тестов строго из спецификации, причём всегда тесты пересматриваются все заново при новой ревизии спецификации, по смыслу статьи нет процесса апдейта старых тестов как процесса, т.е. их выкидывают
* Ручной review автоматических тестов — это очень тонкий момент, который не сразу бросается в глаза при прочтении статьи, но это не автоматические ИИ-тесты, если человек сработал даже как ревьюер тестов ИИ.

📌 Довольно важное наблюдение из статьи, что TDD может вызывать феерический перерасход токенов. В случае Qwen метод вызывал перерасход токенов на решение задачи в… 25 (!) раз.

Лучшая конфигурация для Sonnet 4.6 (Agentic TDD): ~91K токенов на 1% прироста.
Лучшая конфигурация для Qwen-3.5 (Incremental TDD): 2,327K токенов на 1% прироста.
Разница в эффективности: 25-кратная (2,327K / 91K).

Это как раз говорит о серьёзной ещё проблеме TDD, что качество даже прохождения тестов растёт очень медленно, причём часто расход токенов идёт взрывоподобным образом. Это же видно и по Sonnet 5.5 в Bug Hunt.

Причина кроется в холостых итерациях фикса: агент может создать огромное количество зелёных тестов, которые бесполезны для ловли багов, но он тратит на них огромное количество токенов.

https://arxiv.org/abs/2605.17242