Чувак собрал локальный движок инференса для LLM, который гоняет модель на 1B параметров на плате за $10 с 256 МБ RAM. Модель лежит на SD-карте и стримится по одному слою, при этом в оперативке держится примерно 45 МБ.

Можно использовать как локальный backend для модели в PicoClaw.

Без Python, без облака, без API-ключей.
80 КБ бинарник, чистый C, ноль зависимостей.

100% опенсорс 😼