#ProQuality_news

🤖 Тестирование в мире ИИ-агентов: почему наши привычные подходы больше не работают?

Всем привет! 👋 ИИ-агенты обесценили процесс написания автотестов: теперь сгенерировать сотню UI-сценариев за ночь ничего не стоит. Но когда создание тестов становится таким дешевым, главной проблемой становится доверие к ним.

В статье автор разбирает, почему практики, работавшие с 2012 по 2020 год, сейчас становятся опасными. Вот три главных инсайта:

1️⃣ Классический Code Coverage мертв
В эпоху ИИ метрики покрытия кода становятся мишенью для закона Гудхарта («когда мера становится целью, она перестает быть хорошей мерой»). Если замерять только пройденные строки кода, агент сгенерирует длинные тесты, которые кликают по всему приложению, но ничего не проверяют (слабые ассерты). Чтобы сделать дашборд зеленым, ИИ пойдет по пути наименьшего сопротивления: ослабит селекторы, увеличит таймауты или просто будет бесконечно перезапускать flaky-тесты (retry laundering).
✅ Выход: измерять прогресс в количестве автоматизированных критериев приемки (acceptance criteria), а не в пройденных строках.

2️⃣ Агенты «видят» только то, что говорит ваш DOM
Копировать логи упавшего теста в ChatGPT, чтобы получить фикс — это прошлый век (модели будут галлюцинировать). Современные инструменты вроде Playwright MCP дают агентам доступ к «живой» странице через дерево доступности (Accessibility Tree). Поэтому если ваши селекторы завязаны на CSS-классы или testid, агент их не поймет.
✅ Выход: селекторы должны опираться на семантику (роли и ARIA-лейблы). ARIA-размеченный интерфейс — залог того, что ИИ сможет сам прочитать страницу и «исцелить» тест.

3️⃣ Спецификации (BDD) — это новый контракт человека и ИИ
Если агент пишет и чинит код, что остается QA? Ответ — намерение (intent). Исполняемые спецификации (Gherkin/BDD), написанные понятным бизнесу языком, становятся идеальным интерфейсом общения с ИИ. Вы описываете ЧТО нужно проверить (Given/When/Then), а агент сам решает КАК.
✅ Выход: ревьюить нужно именно ассерты и спецификации на человеческом языке, потому что код скоро будут читать только другие агенты.

🔗 Testing in an Agentic World
💬 Как вам идея, что BDD (от которого многие так старательно уходили) снова становится суперактуальным, но теперь ради того, чтобы ставить задачи ИИ? Сталкивались ли вы уже с тем, что нейросети пишут красивые, но абсолютно бесполезные автотесты? Делитесь опытом в комментариях! 👇