کش KV با ظرفیت 262K
سرعت Prefill حدود 600 تا 800 توکن بر ثانیه
حالت C1 الان به سرعت 26 توکن بر ثانیه در Decode رسیده
حالت C4 الان به سرعت 41 توکن بر ثانیه در Decode رسیده
برای اجرای این تنظیمات به اینا نیاز داری:
1 عدد GPU با 24GB حافظه VRAM
رم 256GB DDR4 یا DDR5
فضای 200G NVMe
github.com/0xSero/dsv41-flash-offload
@IDOLvpn
@IDOLvpn_group
@a_c_official
♡ ㅤ ❍ㅤ ⎙ㅤ ⌲
ˡᶦᵏᵉ ᶜᵒᵐᵐᵉⁿᵗ ˢᵃᵛᵉ ˢʰᵃʳᵉ