На iPhone теперь можно запускать гигантскую модель на 35 млрд параметров — вышел опенсорсный движок Edge0. 🚀

Движок работает с локальными MoE-моделями и почти не грузит оперативку: в пике задействует 1–2,5 ГБ. Как? Вместо RAM используется флеш-память смартфона.

Доступны версии на 8B и 35B параметров — для 35B нужен iPhone 15 Pro или новее. Исходники — на GitHub. 💻

#Edge0 #AI #iPhone #машинноеОбучение

Program Service