Интересная статья самих адептов TDD, которая показывает, что тесты, созданные ИИ, относительно тестов, сделанных человеком — это мусор.

Если человек сам пишет тесты для контроля результата кодирующего агента, то получается огромный прирост на SWE-Bench +27.8% относительно тестов самого агента.

В режиме самостоятельной генерации их даже улучшенный вариант TDD как TDFlow решает 68.0% задач против 94.3% с человеческими тестами.

Теперь попробуем это объяснить.

Авторы прямо пишут, что главное препятствие для полностью автономного фикса — написание успешных reproduction tests, а не сам фикс. На мой взгляд это значит, что классические тесты от ИИ на safe path практически бесполезны для фикса багов, т.к. реально полезны repro-тесты, которые воспроизводят некорректное поведение, но сам ИИ не может их часто создать, т.к. такие тесты на деле не просто код, а передача от человека к ИИ его «намерения» (intent).

Это согласуется с тезисом Kun Chen: человеческие тесты — ценный asset, автономно написанные — нет.

В чём-то наблюдаемый экспертами парадокс тестов в том, что ручное программирование может сохраниться не в самой разработке кода, а скорее в разработке тестов, т.к. если тесты пишет человек, который понимает замысел приложения, то агент на замысел и подстраивается.

Вероятно, слухи о смерти тестировщиков слегка преувеличены. Если окажется, что это важный процесс разработки, то скорее кодировщиков уволят, а останутся аналитики и тестировщики по созданию тестов. С другой стороны, это указывает вектор действий для тестировщиков сейчас: как им выжить в условиях набега ИИ-ботов на разработку — начать писать «умные тесты».

https://aclanthology.org/2026.eacl-long.70/