💺 میخوام یکم راجع به رتبه بندی مدل های زبانی اوپن سورس صحبت کنیم

بعد از معرفی Chat GPT یه عالمه مدل های زبانی اوپن سورس معرفی شدن که هرکدوم ویژگی های خودشون رو دارن

اما این وسط نیاز بود که یک رتبه بندی صورت بگیره تا کاربرها واقعا بتونن قابلیت های این مدل هارو مقایسه کنن

به خصوص با جنگ هوش مصنوعی که راه افتاده و هر شرکت هر روز ادعای بهترین بودن میکنه یه منبع بی طرف نیاز بود

💡💡 اینجا بود که LMSYS وارد شد!💡💡

یک موسسه که توسط دانشجوهای دانشگاه برکلی تاسیس و مدیریت میشه و یک رویکرد خیلی خلاقانه به ارزیابی این مدل های زبانی داشته

درواقع این موسسه از روش رایج برای رتبه بندی در شطرنج برای امتیازدهی به مدل های زبانی استفاده کرده!

🌕روش کار به چه صورت هست؟

یک نوع از رتبه بندی به صورت Crowdfunding اتفاق میوفته
یعنی کاربرها میرن و روی سایت این موسسه یا روی هاگینگ فیس با ۲ تا مدل زبانی که نمیدونن چی هستن کار میکنن و براساس کیفیت پاسخ هایی که از این ۲ مدل دریافت میکنن بهشون رتبه میدن
وقتی رتبه بندی ثبت شد برای کاربر نمایش داده میشه که به چه مدل هایی امتیاز داده

یعنی کاربر ممکنه درحال کار با کلاد یا Chat GPT باشه ولی تا زمانی که امتیاز نداده نمیدونه داره با چه مدلی کار میکنه

روزانه هزاران رویو به این صورت توسط کاربرها درحال انجام هست روی این سایت و این رتبه بندی ها توسط کاربرها درنهایت Leaderboard این موسسه رو شکل میده!

این لینک لیدربرد هست:

https://chat.lmsys.org/?leaderboard

و اگر دوست دارین شمام تو رتبه بندی ها کمک کنین از طریق این لینک امکانش هست:

https://arena.lmsys.org/

@aipulse24