🤖 AI: КАЗУС НЕДЕЛИ

🟢 Все тесты зелёные. Потому что AI аккуратно протестировал баг

Пожалуй, одна из самых жизненных AI-историй недели.

AI получил задачу протестировать поведение.

Он её добросовестно выполнил.

Аккуратно прошёл по шагам.

Увидел стабильный результат.

Сформировал вывод.

И сообщил, что всё хорошо.

Только была одна маленькая деталь:

он протестировал баг.

То есть не нашёл отклонение от нормы, а принял ошибочное поведение за саму норму.

И вот здесь очень хорошо видно главное ограничение подобной автоматизации.

AI отлично умеет проверять то, что видит.

Но если у него нет жёсткого oracle, нет чёткой модели expected result и нет понимания границ допустимого поведения, он может очень уверенно подтвердить совершенно неправильный результат.

QA-мысль:

автоматизация без качественного oracle остаётся автоматизацией неопределённости.

А AI при этом ещё и умеет делать это очень убедительно.