یه مدل هست به اسم kev-4b که از روی qwen3-4b درست کردن که مثل jev کار classification رو انجام میده.
من واسه فرمت onnx یه docker image درست کردم که علاوه بر اجرای runtime، یه لایه api سازگار با typesafe-jev میده که میتونید به صورت local روی cpu اجرا کنید.
سوالات کوتاه (کمتر از ۱۰۰ توکن) رو با ۴ هسته cpu، توی حدود یک ثانیه جواب میده.
https://github.com/aleskxyz/kev-onnx
@DevTwitter | <aleskxyz/>
Post #13360
2.38K

- ❤ 12
- 🍌 4
- 👍 3