В тестировании главное отличие человека от автоматизированного скрипта в том, что человек в состоянии заметить проблему даже, когда у него нет при себе описания списка возможных проблем. Это называется когнитивные способности, машины таким сейчас не обладают.

Вот вам по этому поводу комикс.