🔵 عنوان مقاله
Pretraining progress is mostly coming from data (11 minute read)

🟢 خلاصه مقاله:
در حال حاضر، پیشرفت در مرحله پیش‌آموزش عمدتاً ناشی از بهبودهای داده‌ای است. در یک مطالعه مقایسه‌ای کنترل‌شده، مجموعه‌‍های داده و الگوریتم‌های مدل‌های آزاد (Open-Model) بین سال‌های ۲۰۱۹ تا ۲۰۲۵ مورد بررسی قرار گرفتند. نتایج نشان داد که بهبودهای داده‌ای باعث افزایش بهره‌وری محاسباتی تا ۱۲ برابر شده است، در حالی که بهبودهای مربوط به طراحی مدل‌ها تنها حدود ۳.۷ برابر اثر داشتند، و این با بودجه‌ای معادل یک اگزافلوب (۱۰^19 FLOP) صورت گرفته است.

این یافته اهمیت فرآیندهای استخراج، غربالگری و فراهم‌آوری داده‌ها را به عنوان یک عامل عمده در سیستم‌های یادگیری ماشینی نشان می‌دهد. با این حال، باید توجه داشت که تأثیرات داده‌های بزرگ‌تر و تولید داده‌های مصنوعی هنوز به اندازه کافی آزمایش نشده‌اند و نیاز به بررسی‌های بیشتر دارند. در مجموع، این بررسی نشان می‌دهد که تمرکز بر بهبود کیفیت و تنوع داده‌ها می‌تواند نقش کلیدی در تسریع پیشرفت‌های فناوری هوش مصنوعی ایفا کند و آینده توسعه را بیشتر از تغییرات در ساختار مدل‌ها شکل دهد.

#هوش_مصنوعی #پیشرفت_در_داده‌ها #یادگیری_ماشینی #مطالعات_علمی

🟣لینک مقاله:
https://www.dwarkesh.com/p/pretraining-progress-is-mostly-data?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy