چکیده

🚏 این پروژه پیش‌بینی ایموجی از روی متن‌های کوتاه (مثل توییت) رو با چهار مدل یادگیری عمیق بررسی می‌کنه:

شبکه ساده (Feedforward)، CNN، Transformer و BERT.

از دیتاست TweetEval استفاده شده و برای حل مشکل نامتوازن بودن کلاس‌ها (یعنی بعضی ایموجی‌ها خیلی بیشتر از بقیه میان)
از روش‌هایی مثل focal loss و منظم‌سازی استفاده کردن.

نتیجه‌ها نشون دادن که BERT بهترین عملکرد کلی رو داشت چون قبلاً آموزش دیده، ولی CNN تو ایموجی‌های نادر بهتر عمل کرد.

این تحقیق نشون می‌ده انتخاب معماری و تنظیم درست هایپرپارامترها برای پیش‌بینی ایموجی خیلی مهمه و می‌تونه به تعامل بهتر انسان و کامپیوتر کمک کنه.

Abstract (What’s the big picture?)
The paper studies how to predict which emoji best fits a short text (like a tweet). They test four deep learning models:

CNN (captures patterns in word sequences)

Transformer (self-attention to model relationships)

BERT (pretrained on lots of text, strongest)

BERT is best overall (because of pretraining and context handling).

🔰 @scopeofai | #papers