«У нас 90% автоматизации». После этой фразы хочется спросить: 90% чего?

Ravi Rawal на Medium написал материал «Automation Coverage Is Not Test Coverage» — он вошёл в выпуск Software Testing Weekly от 25 сентября. Тезис автора: даже при 90% автоматизации можно пропустить сбои, которые случаются в реальной работе. Среди примеров — сетевые проблемы и истёкшие токены.

Процент автоматизации отвечает на вопрос «сколько сценариев написано кодом». Покрытие отвечает на другой: что из важного вообще проверяется. Две шкалы, но в отчёте их кладут рядом и читают как одну.

В итоге Экономический ЛПР видит «90%» и спокойно выпускает релиз. А Head of QA знает, что в эти 90% не вошли пара критичных сценариев. Риск живёт в разрыве между двумя этими прочтениями.

Закрывается он не новым фреймворком, а связью: требование — тест-кейс — автотест — результат прогона. Тогда видно, у каких требований автоматики нет совсем, а у каких она есть, но давно красная.

Какая цифра по автоматизации стоит у вас в отчёте — и что за ней на самом деле? 🤔