Edge AI в embedded Linux: Jetson / ONNX / TPU - совместимость и контейнеризация

⭕️ Jetson + ONNX Runtime. ONNX Runtime официально доступен для платформ Jetson. Есть предсобранные Docker-образы, пакеты, которые позволяют запускать модели ONNX с ускорением через GPU+cuDNN/TensorRT. Возможны проблемы, если образ/контейнер собирался для другой версии JetPack.

⭕️ Jetson + TPU (Coral Edge TPU). Теоретически возможно подключать Edge TPU к системе Jetson (USB или PCIe/M.2) и использовать его через TensorFlow Lite / Edge TPU runtime / PyCoral. Software runtime, драйверы Google доступны на Linux / Ubuntu / ARM64. Но на практике часто сталкиваются с несовместимостями

⭕️ ONNX + TPU. ONNX не “из коробки” таргетит Edge TPU. Требуется либо конверсия модели в TFLite + квантование + компиляция через edgetpu_compiler. Некоторые проекты (например, YOLO / Ultralytics) добавляют экспорт в TFLite + поддержка EdgeTPU. Есть ограничения по операциям (Edge TPU не поддерживает произвольные операции ONNX)

При этом NVIDIA Container Runtime дает прямой доступ к GPU внутри Docker-контейнеров, а Google Coral требует явного проброса устройств и модулей ядра в контейнер.