💻 Огромные ИИ-модели уже запускают на ноутбуках

Появился FreeToken — новый open-source движок для запуска тяжёлых ИИ-моделей на обычном железе. Проект вышел несколько дней назад, а на GitHub уже собрал 2+ тыс. звёзд.

Авторы запустили Qwen3.6 35B на ноутбуке с RTX 4060 и получили до 39 токенов в секунду.

Модели, для которых ещё недавно требовался отдельный GPU-сервер, постепенно переезжают на домашние компьютеры.

@HotCodeIT