image-classification-with-local-vlms

Когда ты отвечаешь за разработку мобильного приложения, а бизнес требует добавить функцию распознавания изображений, использование сторонних облачных API не только добавляет задержки, но и вызывает проблемы с приватностью.

image-classification-with-local-vlms этот open-source туториал может помочь: он шаг за шагом показывает, как собрать точный и быстрый классификатор изображений прямо на мобильном устройстве.

Всё начинается с простой задачи - распознавания кошек и собак, а дальше по ходу объясняется, как использовать локальные vision-language модели для классификации изображений.

Туториал охватывает темы вроде оценки модели, оптимизации промптов, тонкой настройки через LoRA и других нюансов. В конце модель разворачивается в iOS-приложении, обеспечивая офлайн-распознавание.

Также показано, как применить техники структурированной генерации, чтобы повысить точность модели с 73% до 98%, а затем довести её до 100% с помощью LoRA fine-tuning - при этом модель остаётся лёгкой и быстрой.

Туториал написан на Python и использует платформу Modal, так что отлично подойдёт разработчикам, которые хотят разобраться в edge AI и деплое моделей на мобильных устройствах.

⭐️ Stars: 254

➡️ Cсылка на GitHub

📱 @git_developer