تعریف مسئله (صفحات ۳ تا ۵)
اینجا نویسنده ها توضیح میدن که هدف اینه بفهمیم یه متن رو آدم نوشته یا هوش مصنوعی.
چطور دقت تشخیص رو میسنجن؟
- با AUROC: یعنی چقدر مدل خوب میتونه متنها رو دستهبندی کنه.
- نرخ تشخیص درست (TPR) و نرخ خطا (FPR): اینکه مدل چقدر درست تشخیص میده و چقدر اشتباه میکنه.
- خطای نوع اول و دوم: وقتی یه متن انسانی رو اشتباهی AI تشخیص بدیم یا برعکس.
چالشها
بعضی متنها ترکیبی هستن، یعنی یه بخش رو AI نوشته، ولی یه آدم ویرایشش کرده.
بعضی مدلها میتونن با تغییرات کوچیک خودشونو جای انسان جا بزنن
in this part of the study they introduce key metrics used for evaluation:
- AUROC (Area Under the Receiver Operating Characteristic Curve) – Measures classification effectiveness.
- True Positive Rate (TPR) at a fixed False Positive Rate (FPR) – Ensures detectors correctly identify AI-generated text.
Type I & Type II Errors – Helps assess false positive and false negative rates.
🔰 @scopeofai | #papers
Post #275
34

- ❤ 1
- 🔥 1