یه توضیحی راجع به صحبت شخص کدلوژیست من اضافه کنم

حرف کدلوژیست درسته و این روش واقعا توی وایب کدینگ استفاده می‌شه اما زیاد آنچنان خیلی خفن بهتون کمک نمیکنه چون قضیه برمیگرده به اوایل هوش مصنوعی که این ایده ایجاد شد ولی بعدش دیدن زیاد آنچنان مدل رو باهوش و خفن نمی‌کنه چون خطر بهینه‌سازی روی معیار اشتباه (Goodhart's Law) وجود داره
بزرگ‌ترین مشکل اینه که مدل ممکنه یاد بگیره چیزی رو بهتر کنه که اندازه‌گیری می‌شه، نه چیزی که واقعاً مهمه.
مثلاً:
معیار ارزیابی: تست‌ها پاس بشن
نتیجه: مدل کدی می‌نویسه که تست‌ها رو دور می‌زنه ولی معماری بدی داره.
یا مثلا
معیار: کاربر سریع جواب بگیره
نتیجه: مدل پاسخ‌های کوتاه و سطحی تولید می‌کنه.

یعنی حلقه‌ی ارزیابی ممکنه مدل رو به سمت بازی کردن با معیار سوق بده به قولی اگه مدلی خوب نباشه خودتونم بکشید نمی‌تونید بهترش کنید. ولی تجربیات میگن این نوع حلقه کمک می‌کنه درکل ولی اونقدر که فکر می‌کنید کمکش زیاد نیست.

@Linuxor