مفهوم توکن در مدل‌ها

در مدل‌های زبانی مثل Qwen و GPT و کلاد و ...  دو مفهوم (maximum context length) حداکثر طول متن ورودی و همچنین (Maximum generation Length) حداکثر طول متن خروجی بر واحد –توکن– خیلی مهمن.

–توکن– یه واحد از متن ورودی یا خروجی مدل زبانیه. این می‌تونه یه کلمه، بخشی از یه کلمه یا حتی یه کاراکتر باشه. مثلا:
Hello → یک توکن
I'm → دو توکن (I + 'm)

هوش مصنوعی → دو توکن «چون مدل‌های انگلیسی معمولاً کلمات فارسی رو به بخش‌های کوچیک‌تری می‌شکنن»


2. Maximum Context Length
2. حداکثر طول متن ورودی

این عدد نشون می‌ده که مدل چقدر می‌تونه متن ورودی رو به طور همزمان درک کنه. مثلاً:

Maximum Context Length: 131,072
یعنی مدل می‌تونه حداکثر 131,072 توکن رو توی حافظه‌اش نگه داره و پردازش کنه.

این مقدار هرچی بیشتر باشه، مدل می‌تونه متن‌های بلندتری رو تحلیل کنه بدون اینکه اطلاعات قبلی رو فراموش کنه.


3. Maximum Generation Length
3. حداکثر تعداد توکن‌های خروجی

این عدد نشون می‌ده که مدل در هر بار تولید متن، حداکثر چند توکن می‌تونه تولید کنه. مثلاً:

Maximum Generation Length: 8,192
یعنی مدل حداکثر 8,192 توکن می‌تونه به عنوان خروجی تولید کنه.

اگه متنی که تولید می‌کنه طولانی‌تر از این بشه، باید یه درخواست جدید ارسال بشه تا ادامه متن ساخته بشه.

یه مثال ساده
فرض کن یه مدل با Maximum Context Length = 1,000,000 داری. یعنی می‌تونه 1 میلیون توکن از متن قبلی رو تو حافظه‌اش نگه داره. حالا اگه ازش بخوای یه داستان بنویسه، ممکنه تا 8,192 توکن رو توی یک مرحله تولید کنه، بعدش باید دوباره ازش بخوای ادامه بده.

هرچی حداکثر طول کانتکست بیشتر باشه، مدل توی تحلیل متن‌های طولانی قوی‌تر عمل می‌کنه و متن‌های قبلی رو بهتر یادش می‌مونه.