#حاجی_پشمام

استارتاپ Talaas مدل‌های LLM رو مستقیم روی چیپ «حک» می‌کنه — مثل CD-ROM، فقط یه مدل رو اجرا می‌کنه ولی با سرعت ۱۷,۰۰۰ توکن در ثانیه.

یعنی ۳۰ صفحه A4 در یک ثانیه. بدون GPU، بدون memory bottleneck.

- وقتی وزن‌های مدل رو hardwire کنی روی سیلیکون، دیگه نیازی به RAM نیست. ۱۰ برابر ارزون‌تر، ۱۰ برابر کم‌مصرف‌تر از GPU.

https://taalas.com/the-path-to-ubiquitous-ai/


@DevTwitter | <Amir Afianian/>