Выбираем оборудование и фреймворки для EML (Embedded Machine Learning)

Основная задача EML — адаптировать мощные алгоритмы машинного обучения к работе на ресурсозависимых платформах.

Самые популярные устройства:

➡️Raspberry Pi (для начальных экспериментов и лёгких приложений)
➡️NVIDIA Jetson Nano/AGX Xavier (для задач с интенсивными вычислениями, например, компьютерного зрения)
➡️Google Coral Dev Board (для инференса моделей TensorFlow Lite с поддержкой Edge TPU)
➡️ASUS Tinker Board, Banana Pi (альтернативы для недорогих приложений IoT)

Фреймворки:
TensorFlow Lite позволяет уменьшать модели через квантизацию, что помогает сделать их более компактными и эффективными для мобильных устройств.

MicroTVM интегрируется с популярными библиотеками глубокого обучения (TensorFlow, PyTorch) и оптимизирует их для микроконтроллеров.

Для ARM-процессоров идеально подходит CMSIS-NN.

Если используется Google Coral, то можно использовать Edge TPU Compiler для ускорения инференса и оптимизации моделей для работы с Edge TPU.