Гигантскую нейронку на 35B запустили прямо на iPhone 😊

Вышел Edge0 — открытый движок, который умудряется крутить тяжелые нейронки почти без оперативы (пик всего 1–2.5 ГБ). Никаких облаков и серверов, всё строго локально.
Секрет прост — модель хранится на диске, а нужные веса подтягиваются в память прямо на лету.

Так что да, теперь смартфон полностью офлайн может писать софт, генерировать 3D-сцены и собирать игры.

В релизе модели на 8B и 35B.

Забираем с GitHub 🤨