ابزار TurboLLM رو ساختم
یک inference engine برای مدل های local ساختم که خودکار quantization های 8-bit , 4-bit , 2-bit و حتی 1-bit رو انجام بده
البته 1بیت مطلق که نداریم - 1.58bit داریم
خلاصه که برید استفاده کنید
برای بعدش میخوام یسری چیزا با cuda اضافه کنم.
https://github.com/Mahdi-Rashidiyan/TurboLLM
@DevTwitter | <Mahdi Rashidiyan/>
Post #11331
6.04K
- 👎 31
- ❤ 10
- 👍 2