«هوش مصنوعی مولد، دنیا را می خورد»

آقای «اندور فلدمن - Andrew Feldman» مدیرعامل شرکت کامپیوترسازی «سربراس – Cerebras» (مستقر در سیلکون ولی) با این جمله معرفی محصول جدید شرکت خود را آغاز کرده است. یک ابررایانه اختصاصی برای حوزه هوش مصنوعی که قادر به انجام 2 اگزافلاپس ( 2 میلیارد میلیارد عملیات در ثانیه) است. این سیستم که «کاندور گلکسی 1- Condor Galaxy 1» نام دارد، قرار است طی 12 هفته آینده دوبرابر هم بشود! همچنین در اوایل سال 2024، دو سیستم دیگر با اندازه دو برابر قبلی به آن ملحق بشود و این کار را تا حدی ادامه دهد که شبکه‌ای متشکل از 9 ابررایانه با قابلیت 36 اگزافلاپس را دراختیار داشته باشند.

با همان تعبیر آقای فلدمن اگر مدل‌های زبانی بزرگ و هوش مصنوعی در حال بلعیدن دنیا باشد، شرکت Cerebras به هضم آن کمک می‌کند! که البته در این مسیر تنها نیست و شرکت‌هایی مانند انویدیا (که امسال با H100 برگ جدید خود را رو کرد) و دیگران بطور تخصصی در حال ساخت سیستم‌های عظیم برای این مهم هستند که البته قضاوت درباره بزرگی و ارتباط آن با قابلیت‌های عملکردی خیلی کار آسانی نیست. ولی Cerebras قطعاً یکی از بزرگ‌ترین‌های این حوزه است.

کاندور گلکسی وان، شامل 32 کامپیوتر Cerebras CS-2 است که قرار است به 64 عدد افزایش یابد و طی ده روز اسمبل می‌شود. در قلب این CS-2 یک پردازنده تخصصی با نام Engine-2 است که در آن 2. 6 تریلیون ترانزیستور و 850هزار هسته هوش مصنوعی قرار دارد که روی یک! ویفر کامل سیلیکونی ساخته شده‌اند. این چیپ بقدری بزرگ است که مقیاس حافظه، پنهای باند و منابع پردازشی آن شکل عجیبی به خود می‌گیرد و هنگامی که کاندور گلکسی کامل می‌شود 166 تریلیون ترانزیستور خواهد داشت!

یکی از مزایای بزرگ سربراس این است که امکان افزایش مقیاس خوبی دارد و به عنوان مثال یک شبکه با 40 میلیارد پارامتر، می‌تواند در همان زمانی Train شود که یک شبکه 1میلیارد پارامتری روی منابع 40برابر Train شود! و این افزایش مقیاس نیاز حتی به یک خط کد هم نخواهد داشت! این نمایش افزایش مقیاس خطی تاکنون خیلی سخت بود چون شما نمی‌توانید براحتی شبکه‌های عصبی بزرگ را تقسیم کنید و عملکرد مناسبی هم داشته باشید. به گفته آقای فلدمن آن‌ها فقط با یک کلیک! می‌توانند مقیاس را 32برابر کنند.

داستان جایی برای ما ایرانی‌ها جذاب می‌شود که متوجه شویم مالکیت این شرکت در اختیار G-42 است که یکی از بزرگترین بازیگران پردازش ابری در خاورمیانه است و دفترش در ابوظبی است! وی در مصاحبه با IEEE اضافه کرده است که این رابطه بسیار استراتژیک و حیاتی است برنامه این است که این 36اگزافلاپ را طی 36ماه عملیاتی کند و آن را به مخزن پردازشی G-24 اضافه کند.

این نکته را هم در نظر داشته باشید که تقاضا برای train شبکه‌های عصبی بزرگ هرروز افزایش می‌یابد و تعداد شرکت‌هایی که می‌توانند شبکه‌هایی با بیش از 50میلیارد پارامتر را پردازش کنند از 2 عدد در سال 2021 به 100 شرکت در سال 2023 افزایش یافته است!

همانطور که گفتم سربراس تنها شرکت این این حوزه نیست و بازیگران بزرگ مثل آمازون و گوگل و متا و مایکروسافت هرکدام مسیر خودشان را دارند با این تفاوت که اکثر آن‌ها برنامه‌شان درست کردن خوشه‌ها و فارم‌های بسیار بزرگ از پردازنده‌های گرافیکی شرکت انویدیا است ولی شرکت‌هایی مثل سربراس راهکارهای تخصصی «سیلیکونی» خود را آغاز کرده‌اند یا مثلاً گوگل سراغ TPU رفته و آمازون هم از Trainium استفاده می‌کند. اگر می‌خواهید در این حوزه عمیق‌تر شوید چند استارت‌آپ هم مثل Habana (اینتل همین چند وقت پیش این را خرید) و Graphcore و Samba Nova از مهمترین موارد هستند.

حضرت متا هم یک مرکز هوش مصنوعی توسعه داده که 6000 پردازنده A-100 انویدیا دارد و در فاز دوم قرار است که به 5 اگزافلاپ برسد (حالا مقایسه کنید که متا با این عظمت میخواهد به 5اگزافلاپ برسد و سربراس تا آخر سال بعد 36 اگزافلاپ خواهد داشت!!). گوگل هم سیستمی ساخته است که 4096 شتابدهنده TPU v4 دارد که 1. 1 اگزافلاپ قدرت پردازشی دارد. اگر به این حوزه علاقه‌مند هست مدل BERT (که البته خیلی کوچکتر از LLMهای فعلی است) ظرف 10 ثانیه روی این سیستم Train می‌شود. گوگل همچنین در حال توسعه Engine A3 است که براساس انوندیا H100 طراحی شده است. شرکت ابری CoreWeave هم با مشارکت انویدیا سیستمی با حضور 3584 پردازنده H100 ساخته است که که مدل‌هایی مثل GPT-3 را ظرف ده دقیقه train می‌کند!! در سال 2024 گرافکور هم می‌خواهد سیستمی 10اگزافلاپی با نام Good Computer بسازد که از 8000 پردازنده اختصاصی خودش ساخته شده است. و درنهایت هم چند روز پیش خبر آمد که عربستان میخواهد ۳۰۰۰ پردازنده قدرتمند گرافیکی H100 با قیمت تقریبی ۱۲۰میلیون دلار از Nvidia خریداری کند و به سوپرکامپیوتر خود با نام شاهین ۳ اضافه کند.