لازم نیست همه‌شون رو خط‌به‌خط و مثل یک ریسرچر بخونی، ولی حداقل باید ایده، معماری و Contribution اصلیشون رو بفهمی:
Attention Is All You Need
پایه‌ی Transformer
BERT
برای Pre-training و Language Understanding
GPT / GPT-2 / GPT-3
مسیر توسعه‌ی Generative Language Models و Few-Shot Learning
Scaling Laws for Neural Language Models
رابطه‌ی Model Size، Data و Compute
Chinchilla
برای Compute-Optimal Scaling
InstructGPT
پایه‌ی RLHF
Constitutional AI
آموزش مدل با AI Feedback
LoRA / QLoRA
برای Parameter-Efficient Fine-tuning
FlashAttention / FlashAttention-2
بهینه‌سازی Attention و Memory/Compute
RoPE / ALiBi
روش‌های Positional Encoding
MQA / GQA
بهینه‌سازی Attention و کاهش KV Cache
Speculative Decoding
افزایش سرعت Inference
PagedAttention
مدیریت بهینه‌ی KV Cache در vLLM
RAG
اتصال LLM به External Knowledge
Chain-of-Thought / Tree of Thoughts / ReAct
روش‌های Reasoning و Tool Use
DPO / ORPO / GRPO
روش‌های جدید Preference Optimization
Switch Transformer / DeepSeekMoE
معماری Mixture of Experts
Test-Time Scaling
افزایش محاسبات در زمان Inference برای بهتر شدن Reasoning
Muon Optimizer
رویکرد جدید برای Optimization مدل‌های Neural Network
نکته اینه که اینا صرفاً یه لیست از Paperهای معروف نیستن تقریباً هر کدوم بخشی از چیزی رو توضیح میدن که امروز در LLM، Fine-tuning، Inference، RAG، Reasoning و Agentic AI استفاده می‌کنیم.
@silicon_brain | از هوش مصنوعی عقب نمانید