اینم جالبه مدل 2.78 تریلیون پارامتری Kimi K3 رو با C خالص روی یک CPU اجرا کردن، بدون GPU، فقط حدود ۸ گیگ رم.
ایده اصلی خیلی ساده هستش فرض کنید مدل یه کتابخونه هستش 1.56 TB کتاب داره، ولی برای جواب دادن به هر سوال، لازم نیست همهی کتابها رو همزمان روی میزت بریزی فقط به اندازه میزت کتاب میریزی!
github.com/FareedKhan-dev/kimi-k3-in-c
@Linuxor ~ ai_ba_reza
Post #5003
11.7K
