🚀 Появился Android бенчмарк LLM от Google

Давно пора было, чтобы кто-то взялся за оценку LLM системно. Вопрос "какая модель лучше пишет Android-код" висел в воздухе, и каждый отвечал на него субъективно или на основе личных впечатлений и умений.

Общие тесты, публикуемые при выходе модели, не говорят ничего про то, умеет ли модель разобраться в реальных задачах Android разработки. Android Bench закрывает именно этот пробел.

Задачи взяты из реальных публичных Android-репозиториев на GitHub — никакой синтетики, разного уровня сложности. Модель должна самостоятельно починить проблему, а результат проверяется через unit или instrumentation-тесты. Никакой субъективщины — только прогон тестов.

Модели справились только с 16–72% задач. Разброс огромный и показывает, где пропасть между разными моделями.

🔗 Подробности про Android Bench
🐱 GitHub репо Android Bench
🔗 Источник - блог Android Developers

#Android #AndroidDev #Benchmark #AI #ИИ