Почему ИИ-агенты учат интерфейсы лучше в симуляции, чем в реальном мире?

Мы привыкли, что для обучения ИИ нужны реальные данные: миллионы примеров взаимодействий с веб-сайтами, мобильными приложениями и интерфейсами. Но что если я скажу вам, что симуляция может дать лучшие результаты? Именно этим вопросом задали себе исследователи, разработавшие UI-Simulator. Сегодня расскажу, почему симуляция зачастую оказывается эффективнее реальности 🚬

Сложности реального мира и преимущества симуляции

Сбор реальных данных — задача не только трудоемкая, но и дорогостоящая. Вместо того чтобы собирать данные в реальной среде, эта система генерирует синтетические сценарии с помощью моделей, таких как LLM (Large Language Models). И ключевое преимущество — это разнообразие и устойчивость к изменениям в интерфейсах, что делает ИИ более гибким и надежным.

Процесс обучения агентов на синтетических данных выглядит как сложный и многозадачный процесс. Сначала создается модель мира, которая на основе текущего состояния интерфейса генерирует следующее. Затем проходят управляемые тесты, и результаты превращаются в обучающие примеры. Важная особенность: модель использует шаги, которые помогают делать переходы между экранами более связными и разнообразными, а также применяет фильтры для удаления ошибок и логических несоответствий.

Что это дает на практике? 🐰

Тесты показали, что использование UI-Simulator уже дает результаты, сопоставимые с моделями, обученными на реальных данных. Так, например, модели, обученные на синтетических сценариях с использованием UI-Simulator, продемонстрировали значительные улучшения на платформах WebArena и AndroidWorld. К примеру, с помощью UI-Simulator-Grow удается достичь уровня в 13.4% на AndroidWorld — и это при том, что используется гораздо более легкая модель, чем у конкурентов.

Почему симуляция может быть лучше реальности?

В реальных условиях мы сталкиваемся с ограниченными сценариями и редко — с «краевыми» случаями. В то время как симулятор может генерировать намного больше вариаций, которые позволяют агенту быть более гибким и адаптивным к изменениям интерфейса. Это делает ИИ более устойчивым и готовым к новым условиям, которые могут встретиться в реальной жизни.

Но есть и свои слабости. Иногда симулятор может не справиться с контекстом после клика или слишком полагаться на «старые» данные, что приводит к ошибкам. Разработчики честно признают эти недостатки и активно работают над улучшением алгоритмов 🤔

Это ускорит развитие ИИ и снизит затраты на подготовку обучающих наборов. В итоге, мы быстрее перейдем к реальным задачам, а потом и к еще более сложным и динамичным сценариям.

Data Science