اگر قصد دارید مدل های لوکال رو اجرا کنید
میتونید از LM Studio استفاده کنید

هم مدل های مختلف توی لایبراری خودش داره
هم میتونید مدلهای gguf. رو از huggingface دانلود کنید و داخلش استفاده کنید

مدتی هست که ازش استفاده میکنم، اما چیزی که باعث شد الان بخوام معرفیش کنم اینه که:

توی آپدیت جدید شما بصورت api سرور لوکال هم میتونید ستاپش کنید (هم api های خودش رو داره، هم میتونید از ساختار openai استفاده کنید براش!)
خوبی این ویژگی اینه که شما میتونید اگر یک سرور یا هوم لب یا سیستم قوی دارید، بصورت سرور مدلتون رو آماده کنید، و با دستگاه های دیگه ازش استفاده کنید!

اگر عمری باشه و بتونم امتحانش کنم، تلاشمو میکنم تا آموزش راه اندازی سرورش رو هم آماده کنم👨‍🦯


#LLM #HomeLab
🔰@Rs_tutorial