Gemini автоматизирует работу с приложениями

На презентации Samsung Galaxy Unpacked компания Google анонсировала возможности автоматизации с помощью агентов для приложения Gemini на Galaxy S26, а также на Pixel 10. Приложение Gemini может выполнять многоэтапные задачи в поддерживаемых приложениях.

Gemini запускает приложение в «защищенном виртуальном окне на вашем телефоне». Оно не имеет доступа к «остальной части вашего устройства». Все, что происходит на этом виртуальном экране, обрабатывается в облаке. Вы можете просматривать это окно и видеть, как Gemini прокручивает, нажимает и вводит текст в режиме реального времени, или продолжать использовать свой телефон и другие приложения. Когда Gemini работает в фоновом режиме, вы будете получать уведомления, которые позволят вам присоединиться к процессу.

Под капотом

Google "на ранней стадии предоставляет разработчикам возможности, которые устраняют разрыв между вашими приложениями, агентскими приложениями и персонализированными помощниками, такими как Google Gemini".

Android предлагает два подхода к реализации взаимодействия.

Первый - AppFunctions, фича платформы Android 16 и сопутствующая библиотека Jetpack, которая позволяет приложениям предоставлять доступ к определенным функциям для вызывающих, например, агентским приложениям, для доступа и выполнения на устройстве. Разработчики описывают возможности своих приложений как инструменты, которые могут использовать агенты и ИИ-помощники (например, Gemini). Google сравнивает AppFunctions с MCP, популярным для агентов и серверных инструментов. Однако эти функции выполняются локально на устройстве Android.

Второй - автоматизация работы с UI. Google «разрабатывает фреймворк автоматизации работы с UI для агентов и ИИ-помощников, чтобы они могли интеллектуально выполнять общие задачи в установленных приложениях пользователей». Эта платформа берет на себя основную работу, поэтому агенты смогут получить доступ к приложениям без написания кода. Это простой способ расширить охват без серьезных инженерных затрат прямо сейчас. Google заявляет, что Android 17 «расширит эти возможности, чтобы охватить еще больше пользователей, разработчиков и производителей устройств».