Походу происходит формирование нового нарратива в сторону локальных моделей. Чел на видео запустил ИИ с 400b на iPhone 17 Pro. В целом всё ок -- это первое реальное доказательство, что можно запустить опенсорс-модель полностью локально на обычном смартфоне без облака, но это модель MoE, и всё же есть разница между обычной 400b-моделью:

В обычной модели -- все 400 миллиардов параметров работают одновременно при каждом ответе, а в MoE модель хоть и имеет 400b, но при каждом вопросе активно работает только маленькая часть -- 17 миллиардов (отсюда название Qwen3.5-397B-A17B). Выбирается только 4-8 самых подходящих экспертов, а остальные спят. По скорости и мощности она ведёт себя как модель в 17 миллиардов параметров (быстро и относительно легко), но знает столько же, сколько огромная 400-миллиардная.

Немного ввели в заблуждение, но и само достижение -- это уже серьёзный скачок в развитии AI-инженерии. iPhone 17 Pro имеет всего 12 ГБ оперативной памяти. Обычная 400b-модель требовала бы 200+ ГБ, но они смогли хранить 99% параметров на внутреннем диске, сжали до 3–4 бит на параметр, оптимизировали под чип Apple, а по мере ответа подгружаются только нужные эксперты с диска в процессор. В итоге модель использует ~400 МБ – 6 ГБ. 🤯

Главный плюс всего этого -- теперь любой может скачать модель и запустить её у себя на телефоне без облаков, без интернета. Через пару лет боюсь, телефоны будут умнее любой сегодняшней модели. Барьер уже сломан, будущее локальных моделей уже здесь.

Если не считать GPT-4, опенсорс-модели догоняют самые крутые закрытые модели в пределах 6 месяцев после их выхода. Это большая угроза для AI-компаний, но чудо для нас.

📱 Youtube | 💬Чат | 📱 Канал