🔨 Как мы научили VLM проходить тест-кейсы вместо человека
Совсем забыл с вами поделиться статьей про то как у нас смогли заимспользовать AI для ручного прогона тестовых сценариев. В нашем мобильном приложении десятки тысяч тест-кейсов. Регресс проводится каждые 2 недели, и каждый цикл съедает значительную часть ресурсов QA-команд.

Мы построили AI-QA-агента, который проходит тест-кейсы так же, как это делает человек: запускает приложение на симуляторе, шаг за шагом выполняет сценарий, анализирует экраны с помощью VLM и автоматически сравнивает ожидаемый результат с фактическим. Как всё устроено:
🟢тест-кейсы берутся из Allure (наша TMS)
🟢оркестратор подготавливает окружение и запускает симулятор
🟢собственный движок на Swift и XCUITest выполняет тапы, свайпы и ввод текста
🟢VLM анализирует скриншоты и решает, что делать дальше
🟢после каждого шага агент проверяет фактический результат
🟢QA получает отчёт со скриншотами и найденными расхождениями

Интересно, что команда отказалась от подхода, где LLM ориентируется исключительно на accessibility-дерево. В большом приложении с сотнями экранов оно не всегда достаточно полно и качественно размечено. Конечно, это не замена качественному покрытию автотестами, но отличное подспорье. Крайне рекомендую полную статью