Не люблю локальні модельки, але коли це рівень кімі к2.5, ще і 24 токенів за секунду - таке можна навіть використовувати.
Оригінал:
Running Kimi K2.5 on my desk.
Runs at 24 tok/sec with 2 x 512GB M3 Ultra Mac Studios connected with Thunderbolt 5 (RDMA) using @exolabs / MLX backend.
Yes, it can run clawdbot.
https://x.com/alexocheema/status/2016404573917683754?s=46&t=wZBBuu5Ja3J16VZyazzyCw