🚨 زمان مطالعه: ۲ دقیقه
🔗 #هوش‌مصنوعی
🗯 مقاله‌ی سال ۲۰۲۴ این تیم
گزارش ۲۰۲۴ Pangram می‌گوید مسئله را با rule دستی حل نکرده‌اند. یعنی مدل فقط دنبال چند کلمه پرتکرار، طول جمله یا perplexity پایین نمی‌گردد. یک classifier بر پایه transformer آموزش داده‌اند که از متن، احتمال Human یا AI بودن را یاد می‌گیرد.
💻 مشکل detectorهای ساده چیست؟
اگر مدل فقط یاد بگیرد متن‌های علمی یا متن‌های رسمی بیشتر AI هستند، در عمل موضوع را تشخیص داده نه نویسندگی را. برای همین Pangram از چیزی استفاده می‌کند که اسمش را synthetic mirror گذاشته‌اند.
ایده ساده است: یک متن انسانی را برمی‌دارند و از AI می‌خواهند متنی با همان موضوع، همان genre، همان style و تقریبا همان طول بسازد. بعد مدل مجبور می‌شود تفاوت فرایند نوشتن انسان و مدل زبانی را یاد بگیرد، نه تفاوت موضوع‌ها را.
✅ روش Hard Negative Mining یعنی چه؟
مدل اولیه را روی حجم بزرگی از متن‌های انسانی اجرا می‌کنند. متن‌هایی که مدل اشتباهی AI تشخیص داده، همان موارد سخت‌اند. بعد برای همین متن‌ها mirror جدید می‌سازند، دوباره وارد training می‌کنند و مدل را از نو train می‌کنند.
مشکل اصلی اینجاست که dataset ثابت کافی نیست. Pangram عملا از خطاهای خودش dataset جدید می‌سازد. هر بار می‌بیند کجا انسان را اشتباه گرفته، همان نقطه را تبدیل به تمرین بعدی می‌کند.
🔺 نتیجه ادعایی Pangram
در گزارش اولیه، خودشان می‌گویند false positive در بعضی domainها اول بالای ۱ درصد بوده و با این روش حدود ۱۰۰ برابر کم شده. این عدد از evaluation خود Pangram است، ولی نکته فنی مهم‌تر خود روش است: detector خوب قرار نیست فقط فهرست کلمات مشکوک باشد.
💳 https://www.pangram.com/blog/technical-report-february-2024
✍️✍️✍️ ✍️✍️✍️ ✍️✍️✍️ ✍️✍️✍️
😊 ما رو به دوستانتون معرفی کنین 😉
🔅 «Instagram 💎 @Pyramid_Research»