ML для embedded: запуск CV-пайплайнов на платах

Машинное обучение всё чаще уезжает с серверов в сторону edge AI - то есть туда, откуда происходят исходные данные: камеры, сенсоры.
Переход на edge ML активно происходит при решении, к примеру, задач видеонаблюдения, промышленности.

Перед запуском нейросети на edge-устройстве важно провести профилирование - то есть процесс анализа производительности. на устройствах с RockChip NPU (нейропроцессорным блоком).

➡️ Для этого используется RKNN Toolkit Profiler — он показывает:
– Время на каждый слой
– Нагрузку на NPU / CPU
– FPS, задержки и узкие места

Зачем это нужно?
– Понять, стоит ли оптимизировать архитектуру
– Найти слабые места до продакшена
– Ускорить вывод фреймов и реакцию системы