Запускать гигантские нейросети теперь можно и на домашнем ПК — вышел новый ИИ-движок FreeToken.
Его фишка в тонкой работе с архитектурой МоЕ, которую используют современные модели — вся нагрузка равномерно распределяется между видеокартой, оперативкой и процессором. Благодаря этому, даже самые требовательные нейронки буквально летают на одной видеокарте:
— Qwen3.6 35B запускается на ноутбуке с RTX 4060 8GB со скоростью 39 токенов/с;
— DeepSeek-V4-Flash 284B запускается на RTX 5090 и выдаёт 22–25 токенов/с.
Забираем новую революцию — здесь.
@exploitex
Post #36020
128K
- ❤ 308
- 👍 82
- 🔥 27
- 🫡 21
- 😁 20
- 👀 12
- 🗿 9