Офигеть, теперь даже игровой ПК может запускать передовые модели с интерактивной скоростью, используя официальные веса без экстремального квантования.

Исследователи из UC Berkeley, MIT и UT Austin открыли исходный код FreeToken — системы, специально созданной для запуска сверхбольших MoE-моделей на обычных компьютерах.

В статье они показывают очень впечатляющие результаты:

Qwen3.6 35B → ноутбук с RTX 4060 8 ГБ → 39 токенов/с

DeepSeek-V4-Flash 284B → RTX 5090 → 22–25 токенов/с

GLM-5.2 753B → RTX PRO 6000 → 15 токенов/с

По сравнению с Ollama скорость генерации выше в 3–4 раза, а обработка входного контекста — в 6–30 раз быстрее.

То есть игровой ноутбук всего с 8 ГБ видеопамяти уже может запускать модель на 35 млрд параметров почти на 40 токенах в секунду.

И это даже быстрее медианной скорости генерации Codex в 33 токена/с, которую авторы приводят в статье.

Главная идея FreeToken в том, чтобы заставить GPU, CPU, оперативную память и PCIe работать вместе.

Поскольку MoE-модели для каждого токена активируют только небольшую часть экспертов, нет необходимости постоянно держать сотни миллиардов параметров в видеопамяти.

FreeToken сам решает, какие части модели оставить в VRAM, какие временно переносить из оперативной памяти на GPU, а какие вообще считать на CPU.

На этапе обработки входного контекста система заранее загружает экспертов следующего слоя. Во время генерации она динамически распределяет вычисления в зависимости от текущей скорости CPU, GPU и PCIe.

Есть даже отдельный Agent State Cache.

Когда агент вызывает инструменты, меняет контекст или продолжает старую задачу, FreeToken может пропускать большую часть повторной обработки контекста.

FreeToken поставляется с полноценным графическим интерфейсом.

Не нужно конвертировать модели в GGUF или собирать проект из исходного кода.

Также в FreeToken Desktop уже встроены агентные обвязки - выбираете модель, выбираете приложение и запускаете.

https://arxiv.org/abs/2608.16157