ابزار Jev فقط یه هفته‌ست که اومده و تا الان ۳۱ بار به‌صورت مستقل بازتولید و بررسی شده؛ یعنی ۳۱ نفر یا تیم مختلف سعی کردن همون نتیجه یا عملکرد Jev رو دوباره اجرا کنن و ببینن آیا واقعاً قابل تکراره یا نه.

بیشتر مقایسه‌هایی که تا حالا انجام شده، نهایتاً روی چند صد تا تصمیم اجرا می‌شن. ولی یه بنچمارک جدید و جالب به اسم Decision Index 0.1 هست که ۱۳۲٬۴۲۲ تا تصمیم رو بررسی می‌کنه؛ یعنی همه‌ی این بازتولیدها به‌علاوه‌ی Jev روی ۳۷ تا بنچمارک مختلف. توی این تست نه چیزی حذف یا کوتاه می‌شه، نه پرامپت‌تیونینگ انجام می‌شه و هر سوالی هم که بی‌جواب بمونه، جواب غلط حساب می‌شه. با این حال، Jev هنوز با امتیاز ۵۹.۵ بالاتر از بقیه قرار داره .

https://huggingface.co/spaces/multimodalart/jev-decision-index

@DevTwitter | <Reza Jafari/>