یک پروژه از DeepSeek برای آموزش و ارزیابی الگوریتم های Speculative Decoding وجود داره که با کمک یک مدل کوچیکتر، سرعت تولید پاسخ مدل های زبانی رو بدون افت محسوس کیفیت افزایش میده:

https://github.com/deepseek-ai/DeepSpec

@RepoFa