Протестировал новые модельки. Код выдает, нууу, нормальный. Очень хочу qwen3-4b для локального автокомплита, потом еще как-нибудь попытаюсь завести.

Бтв, LM Studio - супер удобная штука, как для локального чата, так и для сервера. Нормальный, т.е. фичастый и понятный интерфейс.

Air M4 24GB

Input 2.3k tokens:
- file
- /no_think Write me todo app model (without UI bindings)

qwen3-8b-mlx 8bit - 11.48 tok/sec.

qwen3-4b-mlx 4bit - 33.60 tok/sec.

qwen3-8b-mlx 8bit + qwen3-1.7b-mlx 4bit (Speculative Decoding) - 17.82 tok/sec (Accepted 534/909 draft tokens (58.7%)).