Купился на новый инференс uzu - который обещал гипер скорость на маке.

Но я когда затащил в проект, посмотрел просто на гланвые бенчи где фигурировал только M5 процессор и думал что на моем будет чуть хуже. Но мне удалось выжать только 23 токена в секунду. Это прям печаль.

Сейчас походу маки для локального инференца нужно менять каждый год. Если посмотрите скорость на mini m6 против m5 - сильно удивитесь.