Кстати если вы из тех извращенцев которые запускают локальные модели на маках, то для вас придумали интересную штуку - Slipstream

Это движок инференса для Apple Silicon, который ускоряет запуск модели Qwen3.8-Flash-Next на 64 ГБ Mac. По сравнению с кастомным форком llama.cpp, новая архитектура обеспечивает прирост скорости в 1.76 раза: скорость декодирования вырастает с 23.1 до 41–52 токенов в секунду. Ключевое преимущество — стабильная производительность на длинных контекстах: даже при 130 000 токенов скорость удерживается в диапазоне 33–44 ток/с.

Секрет скорости кроется в асинхронном префетчинге слоев экспертов с SSD и гибридной спекулятивной декомпрессии. Вместо того чтобы останавливать GPU из-за задержек NVMe, движок заранее подгружает следующие слои в оперативную память. Дополнительно используются Metal-ядра для сбора эмбеддингов n-грамм и Prompt Lookup Decoding, что снижает задержку первого токена (TTFT) в среднем с 1.86 до 1.29 секунды. Для тех, кто ищет больший запас памяти, доступна опциональная Swift-версия модели с KV-sparse attention, которая повышает точность на бенчмарках до 70.3% при той же скорости.

Единственный минус в том что модель занимает почти всю оперативную память, что делает Mac непригодным для других задач (браузер, Docker) без риска интенсивного свопинга. Пользователи отмечают, что чтение с SSD не изнашивает диск, но свопинг — да. Рекомендация: использовать такой Mac исключительно как инференс-сервер или ограничивать контекст до 100k, чтобы оставить место под системные процессы.