400B-модель уже запускают на iPhone 😮
Чтобы заставить Qwen3.5-397B работать на Apple Silicon, разработчики отказались от Python и фреймворков в пользу «голого» C и шейдеров Metal.
Главная фишка — умный стримминг с SSD: веса (160–200 ГБ) не грузятся в RAM целиком, а стримятся прямо с диска через кастомный конвейер.
Из нюансов: скорость генерации всего 0,6 токенов в секунду, но, как мы помним, всегда можно попросить агента оптимизировать модель ⌨️
Запускаем гигантов в кармане 😏
Post #10142
17.8K
CodeCamp Наконец-то большие LLM можно запустить прямо на макбуке — и нет, не благодаря Тиму Куку. Разраб попросил Claude Code поднять Qwen на безумные 397B параметров на M3 Max с 48 ГБ. Чтобы ИИ нашел способ, гений скормил ему: — репу Андрея Карпаты Autoresearch;…
- 🔥 80
- ❤ 22
- 👍 8
- 🫡 8
- 😁 6
- 🌚 4