🔹
TurkishBERTweet: Fast and Reliable Large Language Model for Social Media Analysis
🔹

✔️ بالاخره این پروژه رو هم به اتمام رساندم. 🥵😆

✔️ تو این پروژه، یک مدل BERT-BASE رو از صفر روی TPU های گوگل، روی دیتای تویتر برای زبان ترکی استانبولی که تقریبا دیتایی از سال 2010 تا 2021 از پلتفورم Twitter/X رو شامل میشه ترین کردم.
✔️ روی دیتاست هایی که دردسترس بود برای این زبان، benchmark هایی انجام دادیم.
✔️ علاوه بر این مدل ChatGPT-turbo رو فاین تون کردیم روی دیتا و به صورت OOD مقایسه کردیم که مدل ما تقریبا برابری میکنه در پرفورمنس
✔️ این مدل به صورت اوپن سورس روی هاگین فیس دردسترس عموم قرار داره.
✔️ توکنایزر خاصی هم ساختیم تو این پروژه که میتونه Hashtag, Emoji, Cashtag, Http رو Unmask بکنه.
✔️ روش های فاین تونینگ LoRA هم در این پروژه استفاده شده.
✔️ از روش Distributed Training استفاده شد روی TPU های V3-8 گوگل.

🌐 Paper 🌐
🌐 HuggingFace 🌐

@css_nlp