ایده‌ش ساده‌ست: امبدینگ بنچمارک‌ها و نمونه‌ای از دیتاست اصلی رو می‌گیره، شباهت‌شون رو حساب می‌کنه و بعد یه مدل سبک (FastText) رو ترین می‌کنه که یاد بگیره کدوم داکیومنت‌ها به درد تسک‌های هدف می‌خورن. نتیجه؟ ۲ تا ۴.۷ برابر بهبود در بهره‌وری محاسباتی (compute multiplier) نسبت به بیس‌لاین‌های قوی مثل DCLM.
اما نکته‌ی مهم‌ترش اینه: اگه مدل رو فقط برای بنچمارک‌های مشخصی بهینه کنی (مثلاً Core benchmarks)، توی همون‌ها خفن می‌شه ولی روی تسک‌های ندیده، ضعیف عمل می‌کنه. دقیقاً مصداق قانون گودهارت. 🧠
«بنچمارک‌ها فقط پیشرفت رو اندازه نمی‌گیرن، بلکه به طور ضمنی اون رو هدایت می‌کنن.»
مقاله اصلی (BETR)
مقاله بیس‌لاین (DCLM)
🛠 Join @LLMEngineers Community