یه نفر با حدود 5 هزار دلار هزینه خرید DGX Spark 1 تونسته مدل GLM-5.3-Flash رو اجرا کنه و سرعت خروجی حدودا 20 تا 25 توکن بر ثانیه بگیره

نکته مهم اینه که مدل به شکل معمولی توی این سخت‌افزار جا نمی‌شه، برای همین مدل رو با کوانتایز فشرده کرده و runtime لازم برای اجرای اون رو هم دستکاری کرده، قدرت مدل کمی افت پیدا میکنه ولی محسوس نیست، لینک کامل پروژه :

github.com/0xSero/GLM-5.3-Flash-DGX-Spark

این مدل انصافا قدرتش بد نیست و می‌ارزه به چند هزار دلار لوکال راهش انداخت.

@Linuxor