Ваш игровой ПК теперь может тянуть передовые модели локально — и даже без дикого квантования 😨

Исследователи представили и открыли исходный код FreeToken — это система для запуска больших MoE-моделей на обычном железе. Дело в том, что она сама по-умному распределяет вычисления между GPU, CPU и RAM.

Главное:
🟢 Qwen3.6 35B запускается на ноутбуке с RTX 4060 8GB со скоростью 39 токенов/с;
🟢 А например, DeepSeek-V4-Flash 284B — на RTX 5090, выдавать будет 22–25 токенов/с.

Используем всю мощь здесь 😎

@xor_journal