فرانسوا شوله (François Chollet)، نسخه جدید بنچمارک
ARC-AGI-3 رو منتشر کرده. هدف این بنچمارک تست AGI واقعیه، نه حفظیات و الگوهای تکراری.تفاوت بزرگ این نسخه با قبل اینه که دیگه استاتیک نیست؛ تبدیل شده به چندتا مینی‌گیم تعاملی. ایجنت AI باید خودش با آزمون و خطا قوانین بازی رو کشف کنه و هدف رو بفهمه. دقیقاً مثل کاری که ما آدما وقتی با یه بازی جدید روبرو می‌شیم انجام می‌دیم.
نتیجه؟ فاجعه‌بار برای AIها! آدما بازی‌ها رو تو چند دقیقه حل می‌کنن، ولی تا این لحظه هیچ مدل AI نتونسته حتی یه امتیاز بگیره. این نشون می‌ده سیستم‌های فعلی چقدر تو استدلال انتزاعی ضعیفن و بیشتر یه ماشین پیشرفته‌ی تطبیق الگو هستن تا یه موجود متفکر.
البته HuggingFace یه مسابقه با جایزه ۱۰ هزار دلاری گذاشته برای کسی که بتونه بهترین ایجنت رو برای این بازی‌ها بسازه. اگه کسی از بچه‌ها پایه‌ست، فرصت خوبیه خودشو به چالش بکشه.
📃 https://arcprize.org/
🛠 Join @LLMEngineers Community