چجوری بفهمیم بهترین مدل برای استفاده ما چیه؟

۱. بنچ مارک ها. بنچ مارک کلا یعنی مقایسه عملکرد یه چیزی نسبت به یه مقیاس مشخصی

شرکت ها و موسسات خیلیی خیلی زیادی ایجاد شدن که کارشون همینه


روش های متنوع هم براش هست
یکی از معروف ترین هاش اینجا توضیح دادم

کارش اینه که دوتا مدل رو میزاره جلوی کاربر تا استفاده کنه بدون اینکه کاربر بدونه مدل ها کدومن بعد میگی بگو کدوم بهتر بودن و براساس تعداد ارایی که برای هر مدل میگیره عملکرد رو مشخص میکنه

روش دیگه یک سری تست و ازمون هست مثلا یه سری سوال برنامه نویسیه یا یه سری سوال ریاضیه یا اخیرا خود اوپن ai اومده و یک بنچ مارک درست کرده برای سطح ادراک مدل ها از مقالات علمی که راجع به مقالات ارایه شده توی ICML 2024 سوال کرده که یک کنفرانس خفن برنامه نویسی هست و سطح شون رو بررسی کرده و این یکی هم یه تست دیگه با عنوان humanity last exam هست.

هر کدوم از این بنچ مارک ها یه حوزه رو بررسی میکنن و هیچ کدوم جامع نیستن

یعنی یکی وضعیت ریاضی رو چک میکنه یکی مقالات علمی یکی کد نویسی یکی هم تولید محتوا


✅ پس روش اول بررسی این سایت بنچ مارک هاست تا به نتیجه برسی کدوم بهتره

این پست توضیح دادم که با این ابزار تو این سایته میتونی use case ات رو بگی و بهت بهترین مدل رو معرفی میکنه


البته که چون خیلی از مدل ها روی سوالات بنچ مارک ها ترین میشن گاهی این بنچ مارک ها کامل قابل اتکا نیستن

روش دوم راستش ازمون و خطاست و هیچ مدلی هیچ وقت بهترین نیست

✅ تئوری no free lunch theorem که اینجا میتونین راجع بهش بخونین میگه هیچ مدلی برای همه اشکال مسئله بهترین نیست


شما باید براساس نیازی که داری خودت سبک سنگین کنی

بهترین روش اینه یک سری پرامپت برای کاری که میخوای بکنی رو عیناااا بدی به همه مدل ها و ببینی کدوم بهتر عمل میکنن و با اون کار کنی

در نهایت هم همین برتری ممکنه باز ۳ ۴ ماه دیگه با توجه به سرعت تغییرات عوض بشه

@aipulse24