بحث قبلی رو امشب ادامه بدیم.
دیشب لکس فریدمن یه گفتگو در مورد روش آموزش Deepseek داشت و نکات جالبی رد بدل شد که به صورت خلاصه بخش های مهمش رو مینویسم، علاقه مند بودید میتونید این گفتگو رو توی لینک زیر دنبال کنید.
موضوع بحث بیشتر در مورد این بود که چطور این شرکت تونسته با وجود محدودیت در منابع سخت‌افزاری، مدل‌های زبانی بزرگ و قدرتمندی رو آموزش بده.
خوب تیم DeepSeek برای این کار، از چند تا ترفند و نوآوری جالب استفاده کردن.
این تیم با استفاده از ترکیبی از نوآوری‌ها مثل MoE با پراکندگی بالا و Auxiliary Loss و بهینه سازی‌های سطح پایین مثل کتابخانه NCCL اختصاصی و دستورالعمل‌هایPTX، نشون دادن که حتی با منابع محدود هم میشه مدل‌های زبانی بزرگ و قدرتمندی رو آموزش داد.
این موضوع نشون میده که همیشه لازم نیست بهترین و گرون ترین سخت افزار رو داشته باشیم، بلکه با خلاقیت میشه کارهای بزرگی انجام داد.
https://www.youtube.com/watch?v=aAfanTeRn84
ادامه دارد...
Post #3878
3.14K
Tensorflow(@CVision) مشکل اصلی روش‌هایی قبلی اینه که برای کم کردن حجم کش KV، مجبوریم کیفیت مدل رو پایین بیاریم، یعنی یه جورایی معامله می‌کنیم: حافظه کمتر، کیفیت کمتر در عوض مدل بزرگتر! اما DeepSeek مدلی رو پیشنهاد میده که حجم کش KV رو کم کنه بدون اینکه کیفیت مدل کم شه. به عبارت…YouTube DeepSeek's GPU optimization tricks | Lex Fridman Podcast Lex Fridman Podcast full episode: https://www.youtube.com/watch?v=_1f-o0nqpEI Thank you for listening ❤ Check out our sponsors: https://lexfridman.com/sponsors/cv8472-sb See below for guest bio, links, and to give feedback, submit questions, contact Lex,…
- 👍 7