На CES анонсировали интересную штуку. Некоторый внешний инференс сервак для моделек - https://tiiny.ai/
Выглядит интересно, даже показывают демо.
Но по характеристикам как-то странно, такого никогда не видел.
Несколько гипотез после быстрого гугления:
1) Процессор с NPU на борту похож на CIX P1 CD8180. Сам NPU чип похож на Houmo.ai. Ни тот ни другой я не щупал. Зная железо у китайских ноунеймов - я бы удивился что это заработало из коробки. Но опять же, на демо могут показывать фейк и надеятся что соберут всё сами.
2) Какая-то комбинация Qualcomm/Mediatek. Сама коробка похожа на смартфон. И у тех и у тех есть чипы под 100NPU. Питание должно быть примерно похожим. Но очень сомнительно.
3) Кто-нибудь известный по типу Axelera. Но там числа не бьются. И, конечно, там у них будет очень много сложностей на этом пути.

Короче дико интересно. Ваши ставки?