یه سوالی که جواب دادن بهش راحت نیست، اینه که دو تا LLM مختلف چه عملکردی نسبت به هم دارند و کدوم یکی بهتره. از اونجایی که پارامترهای زیادی مثل کیفیت prompt و عدم قطعیت و ... دخیله، شاید خیلی وقتها تجربه ما واقعا درست نباشه. مخصوصا این که اکثرا وقتی یه مسأله حل میشه رهاش میکنیم و دیگه با LLM دیگه‌ای بررسیش نمی‌کنیم.

اگه شما هم مثل من براتون سواله کدوم مدل برای برنامه‌نویسی عملکرد بهتری داره، میتونید از benchmark های مختلف استفاده کنید. یه بنچمارک خوبی که پیدا کردم swe benchmark بود
https://swe-rebench.com/leaderboard

میتونید هم در زمینه متنی هم در زمینه tool calling مقایسه کنید. توضیح داده که بر چه اساسی ارزیابی می‌کنه و من دیگه وارد جزییات نمیشم.

در زمینه نتایج هم چیزی که برام جالب بود مدل qwen3 coder بود که اگرچه اسمش رو نشنیده بودم زیاد و قیمت APIش هم به نسبت پایین بود، عملکرد خوبی داشت. خودم هم تستش کردم و عملکرد و سرعت خوبی داشت.