Желаем отличного понедельника уважаемым разработчикам встраиваемых систем!

На выходных мы тут наткнулись на сообщение о том, что пользователи сумели запустить LLM на Radxa Rock 4D NPU без rknntoolkit, на открытом драйвере и mainline kernel.

Кто плавал, тот знает, что обычно для работы с NPU Rockchip требуется: rknn toolkit, проприетарные драйверы, патчи ядра, закрытые runtime-библиотеки. Что в общем создает некоторые сложности с поддержкой, это раз. И такое решение занести в Реестр Минцифры не выйдет, это два.

Но вот теперь сделан важный шаг к полностью открытому стеку для ИИ/ML на Rockchip-платформах 👍