🚨 زمان مطالعه: ۲ دقیقه
🔗 #مقاله
🗯 نتیجه چه بود؟
نشریه TMLR ده مقاله را که در مسیر desk reject بودند، نگه داشت و Nihar Shah، یکی از سردبیرهای اصلی، از نویسنده‌ها خواست درباره مقاله خودشان جلسه بگذارند.
آخر کار، هر ده مقاله desk reject شدند.
در این ده مورد، یک مقاله پس گرفته شد، یک نویسنده گفت وقت تماس ندارد، یک نفر جلسه را نیامد، نویسنده‌های سه مقاله حتی به سوال‌های پایه جواب ندادند، نویسنده‌های سه مقاله ایده کلی را می‌گفتند ولی در جزئیات فنی گیر می‌کردند، و فقط یک مورد توانست همه سوال‌ها را جواب بدهد. همان یکی هم یک ایراد مهم در claim اصلی داشت.
💻 مشکل اصلی کجا بود؟
این ماجرا فقط درباره استفاده از AI در نوشتن مقاله نیست. مسئله این است که وقتی اسم کسی روی مقاله است، باید بتواند claim، روش، notation و انتخاب‌های فنی مقاله را توضیح بدهد. اگر نویسنده خودش نمی‌تواند مقاله را defend کند، publication دیگر آن سیگنال قبلی را برای سهم پژوهشی آدم‌ها نمی‌دهد.
✅ عدد مهم‌تر اینجاست:
نرخ desk reject در TMLR حدود ۶ درصد در سال ۲۰۲۳ بود و حالا حدود ۵۳ درصد شده. خود TMLR تاکید می‌کند این عدد فقط معنی افت کیفیت submissionها را نمی‌دهد، چون سیاست و سخت‌گیری مجله هم عوض شده. اما جهت کلی روشن است: ظرفیت reviewerها محدود است و ژورنال‌ها دارند زودتر جلوی مقاله‌های ضعیف یا غیرقابل دفاع را می‌گیرند.
🔺 این روش چقدر قابل اجراست؟
این آزمایش برای ۸ مقاله حدود ۲۰ تا ۲۵ ساعت وقت سردبیر گرفت. یعنی به عنوان راه دائمی مقیاس‌پذیر نیست، ولی به TMLR اعتماد بیشتری داد که desk rejection در این موارد درست بوده.
جمع‌بندی از این گزارش ساده است: در دوره‌ای که نوشتن مقاله با AI راحت‌تر شده، توانایی توضیح دادن مقاله احتمالا خودش تبدیل به بخشی از داوری می‌شود. نه فقط این‌که متن خوب باشد، بلکه این‌که نویسنده واقعا بداند چه چیزی را امضا کرده.
💳 https://medium.com/@TmlrOrg/asking-authors-about-their-own-papers-3d2e04e5dee0
✍️✍️✍️ ✍️✍️✍️ ✍️✍️✍️ ✍️✍️✍️
😊 ما رو به دوستانتون معرفی کنین 😉
🔅 «Instagram 💎 @Pyramid_Research»