Бенчмарки для запуска моделей на девайсе с помощью ExecuTorch
Swmansion обновили документацию и представили бенчмарки для 4 типов ML-моделей, которые можно запускать на устройстве:
- Classification
- Object Detection
- Style Transfer
- LLMs
Три ключевых бенчмарка:
- Размер модели
- Использование памяти
- Скорость инференса
Запуск моделей на телефонах с помощью RN - уже реальность 🚀
React Native World | Навигация по каналу
Post #31
863
React Native World Запуск LLM в мобильном приложении на React Native Хочу поделиться двумя проектами для запуска современных LLM локально в ваших мобильных приложениях. 🦙llama.rn – обёртка над llama.cpp, которая позволяет запускать модели в формате GGUF (Graphical General…
- 🔥 6
- 😁 1