🔥 Perplexity разогнала локальный запуск LLM на Apple Silicon

Компания сделала собственный движок Lily специально под Mac и Qwen3.6-35B-A3B без PyTorch и MLX в цепочке выполнения.

На MacBook Pro с M5 Max и 128 ГБ unified memory:

- prefill: 5749 ток/с
- генерация: 186,6 ток/с
- в среднем prefill быстрее MLX-LM в 1,23×
- decode — в 1,35×

Что внутри:

- runtime на Rust
- собственные Metal-кернелы
- MoE-routing остаётся на GPU
- оптимизация отдельно под prefill и decode
- KV-cache и Gated DeltaNet заточены под Apple GPU
- 35B-модель ужата до 19,4 ГБ в 4-bit

На длинном контексте отдельная оптимизация attention дала до +40% скорости на 128K токенов.

Сам Lily Perplexity обещает скоро открыть.

https://www.perplexity.ai/hub/blog/optimizing-on-device-inference-for-apple-silicon