Android Bench - бенчмарк языковых моделей в решении задач Android-разработки

Android Bench — это специализированная платформа, разработанная для оценки производительности больших языковых моделей в практических задачах мобильной разработки.

Используя тщательно подобранный набор данных из 100 задач из реальных проектов с открытым исходным кодом, бенчмарк измеряет способность ИИ генерировать точный код и работать со сложными архитектурами, специфичными для Android. Тест основан на специально разработанной тестовой среде, которая работает в два основных этапа: агент инференса и верификатор патчей. Агенту предоставляется описание реальной проблемы, взятое из популярных проектов Android с открытым исходным кодом, и, используя пользовательский образ Docker и базовый промпт, модель пытается решить проблему и сгенерировать код. Затем верификатор патчей берет сгенерированный код, применяет его к кодовой базе и выполняет в проекте набор тестов, чтобы проверить, успешно ли патч решает проблему.

В последнем обновлении таблицы лидеров в марте, лучшие модели в Android Bench:

• GPT-5.4: делит первое место с результатом 72,4%
• Gemini 3.1 Pro Preview: также делит первое место с результатом 72,4%
• GPT-5.3-Codex: третье место с результатом 67,7%
• Claude Opus 4.6: четвертое место с результатом 66,6%
• GPT-5.2-Codex: пятое место с результатом 62,5%