کدام هوش مصنوعی بهتر است؟

🔹به‌جای اتکا به جدول‌های بنچمارک، برخی وب‌سایت‌ها مدل‌های جدید را در کارهای واقعی آزمایش می‌کنند؛ از کدنویسی و ساخت وب‌سایت گرفته تا کار با کامپیوتر و حل مشکلات واقعی در GitHub.

چند وب‌سایت که ارزش بوکمارک کردن دارند عبارتند از:

LMArena:
🔹در این سایت مدل‌ها در کارهای واقعی با هم رقابت می‌کنند و کاربران خروجی‌ها را مقایسه و رأی می‌دهند. این سایت بخش‌های Coding، WebDev و Agent نیز دارد.

SWE-bench:
🔹مدل‌ها باید مشکلات واقعی GitHub را حل کنند، کد را تغییر دهند و تست‌های پروژه را پاس کنند. این سایت یکی از منابع مهم برای مقایسه Coding Agentها است.

Terminal-Bench:
🔹در اینجا Agentها باید کارهای واقعی و چندمرحله‌ای را در Terminal انجام دهند و تنها به تولید یک جواب متنی بسنده نکنند.

OSWorld:
🔹این وب‌سایت برای مقایسه مدل‌هایی است که می‌توانند مانند یک کاربر با کامپیوتر کار کنند؛ از جمله باز کردن برنامه‌ها، کلیک کردن و انجام وظایف چندمرحله‌ای.

Artificial Analysis:
🔹این سایت برای دنبال کردن مدل‌های جدید و مقایسه کیفیت، سرعت، قیمت، latency و مشخصات مختلف مدل‌ها طراحی شده است.
🔹اگر به دنبال مدل‌های جدید هستید، تنها به یک Leaderboard اکتفا نکنید. ممکن است یک مدل در کدنویسی عالی باشد، اما در استفاده از کامپیوتر یا تحقیق در وب عملکرد متفاوتی داشته باشد.
🌐 @IT_Fouri