وقتی با هوش مصنوعی مثل ChatGPT حرف می‌زنیم، یکی از مهم‌ترین چیزها «context window» ـه. این همون حافظه کوتاه‌مدت مدله که تعیین می‌کنه چند کلمه یا جمله قبلی رو می‌تونه ببینه و در ادامه مکالمه استفاده کنه. هرچی این پنجره بزرگ‌تر باشه، مدل بهتر می‌تونه متن رو دنبال کنه. 📖
🪟حالا Context Window یعنی چی؟
تصور کن داری با یه نفر حرف می‌زنی، ولی اون فقط ۱۰ جمله آخرت رو یادشه. خب معلومه زود مکالمه رو گم می‌کنه! 🤷♂️ برای مدل‌های زبانی هم همینطوره. context window تعیین می‌کنه چند «توکن» در حافظه کوتاه‌مدت نگه داشته بشن.🚀 از چند هزار تا چند میلیون توکن
مدل‌های قدیمی‌تر مثل GPT-3 فقط ۲ هزار توکن نگه میداشتن (تقریباً چند صفحه متن). ولی مدل‌های جدید تا ۲ میلیون توکن رو هم می‌تونن نگه دارن! یعنی چی؟ یعنی می‌تونی کل یه کتاب رو به مدل بدی و اون هنوز یادش باشه اولش چی گفتی. این جهش باعث می‌شه کارهایی مثل تحلیل اسناد بزرگ، یادگیری شخصی‌سازی‌شده و برنامه‌نویسی روی پروژه‌های عظیم ممکن بشه.📌 مرجع تخصصی هوش مصنوعی و علم داده
🤖 دیتایاد / datayad@