Post #4240
33
بازه باز دوستان اگر نفهمیدین چرا میگم جالبه، در مدلهای بزرگ فعلی، برای کانتکستهای خیلی طولانی یا باید دست به دامن فول اتنشن بشن که چالشش اینه هزینه پردازش و رم با افزایش متن دو سه برابر میشه، یا اینکه کانتکست رو با روشهای دیگری تقریب بزنن کوتاه بشه
مثلا در کانتکست 1 میلیون توکن، مشکل اصلی فقط پردازش نیست، بلکه نگهداشتن تاریخچه چت ها در حافظه موقت یا همون KV Cache عه که معمولا صدها گیگ کارت گرافیک میخواد.
- ❤ 1