AI-агент, который управляет телефоном через обычный текст 💖

Один разработчик выложил в опенсорс проект PhoneDriver. Он работает на визуальной модели Qwen3-VL, умеет понимать, что на экране телефона, и имитировать действия человека.

Достаточно просто описать задачу, например: "Открой настройки и включи Wi-Fi". Модель сама анализирует элементы интерфейса и через команды ADB выполняет клики, свайпы или ввод текста.

Есть визуальный веб-интерфейс: можно в реальном времени смотреть скриншоты с телефона и логи выполнения.

Также поддерживается автоопределение разрешения экрана, плюс можно настраивать параметры модели, задержку действий, число ретраев и т.д.

Для деплоя в основном нужны Python и окружение ADB. Ещё нужна видеокарта с достаточным объёмом VRAM, чтобы тянуть 4B или 8B визуальную модель, а на телефоне должен быть включён USB Debugging.