🧠📚 چهار روش مهم آموزش مدل‌های زبانی

مدل‌های زبانی بزرگ با روش‌های مختلفی آموزش می‌بینند و هر روش هدف متفاوتی دارد:

🔹 Causal Language Modeling:
پیش‌بینی Token بعدی با توجه به Tokenهای قبلی؛ روشی که پایه بسیاری از مدل‌های مولد و چت‌بات‌هاست.

🔹 Masked Language Modeling:
بخشی از متن مخفی می‌شود و مدل باید با استفاده از کلمات اطراف، قسمت گمشده را حدس بزند.

🔹 Text Classification:
کل متن در یک دسته قرار می‌گیرد؛ مثلاً تشخیص مثبت یا منفی بودن نظر، موضوع متن یا Spam بودن پیام.

🔹 Token Classification:
به هر Token یک برچسب داده می‌شود؛ مثلاً تشخیص نام افراد، مکان‌ها و تاریخ‌ها در یک متن.

💡 البته یک نکته مهم: دو مورد آخر بیشتر وظایف آموزش/فاین‌تیون نظارت‌شده هستند تا روش اصلی Pre-training یک LLM. مدل‌های مولد امروزی عمدتاً با پیش‌بینی Token بعدی پیش‌آموزش می‌بینند و سپس مراحل دیگری مثل Fine-tuning و Alignment روی آن‌ها انجام می‌شود.

@rss_ai_ir

#LLM #MachineLearning #DeepLearning #NLP #LanguageModel #GenerativeAI #FineTuning #هوش_مصنوعی