قبل از اینکه مدلهای سنگین رو دانلود کنید، اول مطمئن بشید که واقعاً اجرا میشن
ابزار llmfit یه ابزار خط فرمانه (CLI) که خودش سختافزار شما رو تشخیص میده و 206 تا مدل رو بر اساس اینکه واقعاً روی سیستمتون اجرا میشن یا نه، رتبهبندی میکنه.
اول CPU، RAM، GPU و VRAM رو بررسی میکنه، بعد همه مدلها رو با سختافزار شما میسنجه و امتیاز میده.
میتونین بهصورت TUI تعاملی باهاش مدلها رو ببینین، یا تو حالت CLI یه جدول سریع بگیرین، یا حتی خروجی JSON برای اسکریپتها بگیرین. حتی REST API هم داره برای کلاسترها و زمانبندی.
یه حالت جالب دیگه هم داره: برعکسش هم کار میکنه! یعنی شما میگین چه مدل و چه سطح عملکردی میخواین، اون بهتون میگه چه سختافزاری لازم دارین.
github.com/AlexsJones/llmfit
@Linuxor ~ Reza Jafari
Post #4264
9.13K