‏90% of US working hours are spent on tasks not covered well by AI benchmarks
‏۹۰٪ از ساعات کاری آمریکا روی وظایفی است که benchmark‌های هوش مصنوعی آن‌ها را خوب نمی‌سنجند

‏نقشه‌ی US Benchmark Map جایگاه benchmark‌های هوش مصنوعی را در اقتصاد آمریکا مشخص می‌کند و می‌سنجد کدام بخش‌های نیروی کار توسط benchmark‌های عمومی، اشباع‌نشده و agentic پوشش داده می‌شوند.

‏نظر هوش مصنوعی — ⭐ ۸/۱۰
‏🎯 چرا مهمه: اکثر ادعاهای «AI کارها را جایگزین می‌کند» بر اساس benchmark‌هایی است که فقط ۱۰٪ از واقعیت بازار کار را پوشش می‌دهند؛ این تحقیق آن شکافِ نگران‌کننده را با داده نشان می‌دهد.
‏💡 نکته: نبودِ benchmark مناسب یعنی نه می‌توان توانایی مدل‌ها را سنجید، نه می‌توان ریسک جایگزینی شغلی را درست ارزیابی کرد — یک کور‌نقطه‌ی بزرگ برای هر دو طرفِ این بحث.
‏👥 برای کی: کسانی که روی evaluation، agent و سیاست‌گذاری هوش مصنوعی کار می‌کنند.

‏🔗 https://www.mercor.com/research/labor-index/benchmark-map/
‏#ai #benchmark #LLM

‏@BenFeed