Огромную модель на 35b параметров теперь можно запустить на iPhone — вышел опенсорсный движок Edge0.

Он позволяет крутить локальные нейронки с архитектурой MoE без нагрузки на оперативу — в пике используются всего 1-2,5 ГБ. Секрет оптимизации прост: вместо RAM используется флеш-память айфона.

Есть модели на 8B и 35B — для последней понадобится iPhone 15 Pro и новее. Код на GitHub.

@exploitex