-
От ручного тест-кейса к AI-driven UI-автоматизации: blackbox-подход на базе LLM и vision-моделей
Коротков Алексей
Москва, Открытая Мобильная Платформа, Разработчик в тестировании
#QA/Testing
-
UI-автоматизация сильно продвинулась: локаторы, удобные обёртки, self-healing, AI-assisted инструменты. Но между ручным тест-кейсом и исполняемым автотестом всё ещё остаётся инженерный слой: сценарий нужно перевести в код, описать действия, проверки, локаторы и подготовку данных.
В докладе я расскажу о нашем исследовании: можно ли сократить этот разрыв и дать AI-системе возможность исполнять ручные UI-тесты в blackbox-режиме — без локаторов, без доступа к внутренней структуре интерфейса и без заранее подготовленного whitebox-описания.
Мы рассмотрим архитектуру такого подхода: обогащение сценария, планировщик действий, слой выполнения на устройстве, работу с визуальным контекстом и отдельную проверку результата после каждого шага. На сквозном примере приложения заметок покажем, как система превращает человеческий сценарий в последовательность исполнимых действий и проверок.
Отдельно разберём практические ограничения: точность vision-моделей, нормализацию скриншотов, зацикливания агентов, стоимость одного AI-прогона, скорость ответа моделей и пригодность реальных ручных тест-кейсов к такой автоматизации. Также покажем результаты оценки тестового фонда с помощью crawler-а, который анализировал тысячи тест-кейсов и классифицировал их по применимости для AI-автоматизации.
-
Нажимайте "Хочу послушать" и бот пришлет вам уведомление о начале доклада.
-
Билеты тут! (бесплатно) нооооо могут закончиться