2-bit kvantlangan Qwen3-8B.

Bir necha oydan beri ekstrim kvantizatsiya ustida ishlayapman. Bir narsalarni bo'lishsam bo'lar ekan.

Mana: https://huggingface.co/gitarist/Qwen3-8B-BPDQ-2bit
Model barcha quvvatini ushlab qolmagan, lekin ko'p qismini olib qolgan.

Mac M chiplarda va nvidia gpu larda ishlashi kerak. Model o'zi 4 GB dan kam, 4.5 GB atrofida RAM/VRAM oladi. Ishlatib ko'rish uchun demo.ipynb ham berilgan.

Ishlatib ko'ring, takliflar bering, ulashing.
@tabiiyin