روشی برای شخصی‌سازی یه مدل هوش مصنوعیه که به‌جای تغییر دادن تمام پارامترهای مدل، فقط بخش کوچیکی از پارامترها رو آموزش می‌ده. این کار باعث می‌شه برای سازگار کردن مدل با یه وظیفه خاص، به حافظه و قدرت پردازشی کمتری نیاز داشته باشیم.
A method for customizing an AI model by training only a small set of additional parameters instead of changing all the model's parameters. This reduces the memory and computing power needed to adapt the model to a specific task.
RLHF (Reinforcement Learning from Human Feedback)
روشی برای بهتر کردن رفتار مدل با استفاده از بازخورد انسان‌هاست. مثلاً آدم‌ها چند جواب مدل رو مقایسه می‌کنن و مشخص می‌کنن کدوم بهتره؛ بعد از این بازخوردها استفاده می‌شه تا مدل جواب‌های مفیدتر و مناسب‌تری تولید کنه.
A method for improving a model's behavior using human feedback. People compare different model responses and indicate which ones are better. This feedback helps train the model to produce more useful and appropriate answers.DPO (Direct Preference Optimization)
روشی برای آموزش مدل بر اساس ترجیحات انسان‌هاست. به مدل نمونه‌هایی از جواب‌های ترجیح‌داده‌شده و جواب‌های ضعیف‌تر می‌دیم تا یاد بگیره کدوم نوع پاسخ بهتره، بدون اینکه به فرایند جداگانه و پیچیده یادگیری تقویتی نیاز داشته باشیم.
A method for training a model using human preferences. The model learns from examples of preferred and less-preferred responses, without requiring a separate, complex reinforcement learning process.
LLM as Judge
یعنی از یه مدل زبانی بزرگ برای ارزیابی جواب‌های یه مدل دیگه استفاده کنیم. مثلاً مدل ارزیاب بررسی می‌کنه که جواب تولیدشده چقدر دقیق، مرتبط، کامل و قابل‌فهمه. این روش برای ارزیابی خودکار تعداد زیادی پاسخ کاربرد داره، ولی ممکنه خودش هم اشتباه کنه یا سوگیری داشته باشه.
Using a large language model to evaluate the responses of another model. The evaluator checks qualities such as accuracy, relevance, completeness, and clarity. This is useful for automatically evaluating many responses, although the judge can also make mistakes or show bias.
Distillation (Knowledge Distillation)
روشی برای آموزش یه مدل کوچیک‌تر با استفاده از خروجی‌ها یا دانش یه مدل بزرگ‌تره. هدف اینه که مدل کوچیک بخش مهمی از توانایی مدل بزرگ رو حفظ کنه، اما سریع‌تر اجرا بشه و منابع کمتری مصرف کنه؛ مثلاً برای استفاده در اپلیکیشن‌هایی که منابع محدودی دارن.
A technique for training a smaller model using the outputs or knowledge of a larger model. The goal is to preserve much of the larger model's capability while reducing computing requirements and improving speed, especially in applications with limited resources.
Speculative Decoding
روشی برای سریع‌تر کردن تولید متن توسط مدل‌های زبانیه. یه مدل کوچیک‌تر چند توکن رو به‌عنوان پیش‌بینی اولیه تولید می‌کنه و مدل بزرگ‌تر اون‌ها رو بررسی می‌کنه. اگر پیش‌بینی‌ها تأیید بشن، لازم نیست مدل بزرگ هر توکن رو جداگانه از اول تولید کنه و سرعت کار افزایش پیدا می‌کنه.
A technique for speeding up text generation. A smaller model drafts several tokens, and a larger model verifies them. Accepted predictions allow the larger model to generate text more efficiently, reducing the time needed to produce a response.
KV Cache (Key-Value Cache)
حافظه‌ایه که مدل‌های زبانی برای نگه داشتن بخشی از محاسبات قبلی خودشون، به‌خصوص اطلاعات مربوط به مکانیزم Attention، ازش استفاده می‌کنن. وقتی مدل داره یه پاسخ طولانی تولید می‌کنه، این حافظه باعث می‌شه مجبور نباشه اطلاعات توکن‌های قبلی رو دوباره محاسبه کنه؛ در نتیجه تولید متن سریع‌تر می‌شه، هرچند حافظه بیشتری مصرف می‌شه.
A memory mechanism that stores previously computed attention keys and values. During text generation, it prevents the model from repeatedly calculating this information for earlier tokens, making generation faster at the cost of additional memory usage.
Latency
مدت‌زمانی که بین ارسال یه درخواست و دریافت پاسخ از سیستم می‌گذره. مثلاً وقتی از یه چت‌بات سؤال می‌پرسی، زمانی که طول می‌کشه تا اولین بخش پاسخ ظاهر بشه یا پاسخ کامل بشه، به نوعی از معیارهای تأخیر مربوطه. کاهش Latency باعث می‌شه برنامه سریع‌تر و روان‌تر به نظر برسه.