Silicon Brain | جامعه هوش مصنوعی

مایکل بَری (Michael Burry) سرمایه‌گذار و تحلیلگر آمریکایی معتقده هشدارهای OpenAI و Anthropic درباره خطرات AI ممکنه تا حدی جنبه رسانه‌ای و PR داشته باشه مخصوصاً در شرایطی که سرعت رشد این شرکت‌ها و بحث عرضه اولیه مطرحه.

به‌نظر بَری، LLMها لزوماً به AGI نمی‌رسن و رقبای جدید هم دارن فاصله رو کم می‌کنن. بنابراین تأکید مداوم روی اینکه AI اونقدری قدرتمنده که خطرناک شده می‌تونه به تثبیت جایگاه شرکت‌های بزرگ و ایجاد market hype کمک کنه

بری بیشتر به‌خاطر پیش‌بینی سقوط بازار مسکن آمریکا در بحران مالی 2008 معروف شد

@silicon_brain | از هوش مصنوعی عقب نمانید

مدل TypeSafe AI و ایده‌ی جدیدی برای AI Automation

یه سؤال جالب پشت این پروژه بوده:

اگر LLMها سال‌هاست در Chat کردن از انسان بهتر شدن، چرا هنوز بخش بزرگی از Automation رو نتونستیم بهشون بسپاریم؟

اینا میگن مشکل اینجاست که LLMها اساساً برای تولید متن طراحی شدن، نه تصمیم‌گیری ساختاریافته برای Software. برای همین یک کلاس جدید از مدل‌ها به اسم System One Models ساختن مدل‌هایی که به‌جای اینکه متن تولید کنن، مستقیماً Typed Probabilistic Decisions برمی‌گردونن.

مدل اولشون Jev هست. ایده‌ی اصلیش رو میشه این‌طوری دید که به‌جای اینکه مدل یک جواب متنی بده و بعد Software مجبور بشه اون رو Parse کنه، مستقیماً یک خروجی ساختار یافته می‌گیره که قابل استفاده در کد هست.

از نظر معماری هم فقط یک مدل جدید نیست یک Stack کامل برای Automation ساختن که مدل به‌جای صرفاً تولید پاسخ، روی Decision Quality و Calibration آموزش ببینه.

یکی از ادعاهای مهم Jev اینه که در بعضی System One Tasks تقریباً به سطح عملکرد مدل‌های LLM خفن موجود می‌رسه، اما خیلی سریع‌تر و با کارایی بالاتر اجرا میشه. مدل Jev اصلاً تولید متن انجام نمیده برای همین بخش بزرگی از هزینه‌ی معمول Token Generation حذف میشه.

یک نکته‌ی فنی جالب دیگه هم Cardinality هست، Jev می‌تونه تا 255 انتخاب رو مدیریت کنه. برای تعداد انتخاب‌های بالا، سیستم از یک Two-Stage Decision Process استفاده می‌کنه:
ابتدا گزینه‌ها به‌صورت مستقل امتیازدهی میشن و بعد مدل یک انتخاب نهایی انجام میده به همین دلیل در بعضی موارد Latency کمی افزایش پیدا می‌کنه.

@silicon_brain | از هوش مصنوعی عقب نمانید

قابل توجه AI Engineer ها!
4 تا موردی که قسمت آخر پست قبلی گفته شده، جز مهمترین معیار های مقایسه و انتخاب LLM ها برای تسک های عمومی و Agentic یا RAG در آینده خواهد بود

‏چطور DeepSeek یک مدل بزرگ‌تر رو ارزان‌تر کرد؟

دیپ سیک با انتشار V4.1-Flash یک نکته‌ی مهم درباره‌ی اقتصاد LLMها نشون داده:

تعداد Parameterها به‌تنهایی معیار خوبی برای هزینه‌ی Inference نیست

مدل V4.1-Flash یک 552B MoE Model هست، تقریباً دو برابر V4-Flash، اما با معماری‌های جدید، مصرف KV Cache رو تا حدود ۴ برابر بهینه‌تر کرده. در هر Input Token فقط حدود 8B Active Parameters و در هر Output Token حدود 16B فعال میشه. یعنی لازم نیست کل ظرفیت مدل برای هر Token اجرا بشه.

یکی از تغییرات مهم، معماری Causal Encoder-Decoder (CED) هست. در مرحله‌ی Prefill فقط بخش Encoder پردازش میشه و Decoder بیشتر در مرحله‌ی Decode وارد کار میشه؛ بنابراین هزینه‌ی پردازش Contextهای خیلی بزرگ کاهش پیدا می‌کنه.

از طرف دیگه DeepSeek از Sliding-Window Attention (SWA) استفاده کرده تا هر Layer مجبور نباشه کل Context رو نگه داره. با Bounded Replay هم وقتی یک Agent Session دوباره لود میشه، لازم نیست کل KV Cache از ابتدا ساخته بشه و فقط بخش‌های اخیر دوباره محاسبه میشن.

در بخش Memory هم CSA2 (Compressed Sparse Attention 2) باعث میشه چند Layer بتونن بخشی از KV Cache و Retrieval Results رو با هم Share کنن. در کنار اون، Hierarchical Sparse Indexing باعث میشه برای پیدا کردن اطلاعات مرتبط، لازم نباشه هر بار کل یک Context یک‌میلیون‌تایی Search بشه.

پس نکته‌ی اصلی V4.1-Flash اینه که برای ساخت یک LLM ارزان و سریع، الزاماً نباید تعداد arameter رو کم کرد، میشه معماری رو طوری طراحی کرد که چه Parameterهایی اجرا بشن، چه Memoryای نگه داشته بشه و چه بخشی از Context دوباره خوانده بشه هوشمندانه‌تر مدیریت بشه.

برای AI Agents این موضوع خیلی مهمه، چون Context این سیستم‌ها دائماً با Conversation، Source Code، Retrieved Documents و Tool Results بزرگ‌تر میشه. بنابراین در آینده احتمالاً معیارهایی مثل:

▫️برای Input و Output چند Parameter واقعاً فعال می‌شن؟
▫️هر Token چقدر به KV Cache اضافه می‌کنه؟
یعنی برای نگه‌داشتن Context هر Token چقدر Memory مصرف میشه؟ هرچی این مقدار کمتر باشه، اجرای Contextهای طولانی و Agentها به‌صرفه‌تره.
▫️وقتی یک Session متوقف میشه، چه اطلاعاتی باید ذخیره بشه؟
مثلاً وقتی یک AI Agent موقتاً متوقف میشه، برای ادامه دادن کارش دقیقاً چه Stateای باید روی Disk یا SSD ذخیره بشه و چقدر هزینه داره؟
▫️با بزرگ‌تر شدن Context، هزینه‌ی Attention و Retrieval هم بیشتر میشه؟
یعنی وقتی Context از چند هزار Token به صدها هزار یا حتی یک میلیون Token می‌رسه، آیا Model مجبور میشه برای پیدا کردن اطلاعات مرتبط، حجم خیلی بیشتری از داده رو پردازش و Search کنه یا معماری می‌تونه این هزینه رو محدود کنه؟

اینا به‌اندازه‌ی تعداد کل Parameters برای انتخاب یک مدل اهمیت پیدا می‌کنن.

@silicon_brain | از هوش مصنوعی عقب نمانید

اینم از GPT-6 Astra 😂

توضیح کامل از عملکرد مغز مگس میوه که این روزا حسابی سر و صدا کرده....

یکی از عجیب‌ترین دستاوردهای چند سال اخیر در نوروساینس پروژه‌ای به اسم FlyWire هست که محقق‌ها تونستن نقشه‌ی سیم‌کشی مغز یک مگس میوه‌ی بالغ رو در سطح نورون و سیناپس بازسازی کنن یعنی فقط تعداد نورون‌ها رو نشمردن، بلکه مشخص کردن هر نورون به چه نورون‌هایی متصل شده و این شبکه‌ی پیچیده چطور کنار هم قرار گرفته.

نتایج

مغز این مگس فقط حدود 139,255 نورون داره، اما همین شبکه‌ی کوچک شامل حدود 54.5 میلیون Synapse هست و می‌تونه رفتارهای پیچیده‌ای مثل Learning & Memory، Social Interaction، پردازش اطلاعات حسی، کنترل حرکت و معاشقه با صدا رو ایجاد کنه. مگس نر حتی در هنگام معاشقه با حرکت بال‌هاش الگوهای صوتی مشخصی تولید می‌کنه و تجربه‌های قبلی می‌تونن روی رفتار و این تعاملات اثر بذارن.

چیزی که این پروژه رو خاص می‌کنه مفهوم Connectome هست یعنی نقشه‌ی ارتباطات عصبی یک سیستم عصبی. برای ساخت این نقشه، پژوهشگرها از Electron Microscopy برای تصویربرداری با وضوح بسیار بالا استفاده کردن و بعد با کمک روش‌های AI-based Segmentation و بررسی انسانی، ساختار نورون‌ها و ارتباط بین اون‌ها رو از حجم عظیمی از تصاویر بازسازی کردن. در نهایت به یک نقشه‌ی سه‌بعدی رسیدن که بیش از 139 هزار نورون و ده‌ها میلیون اتصال سیناپسی رو در خودش جای داده.

حالا این عدد رو با مغز انسان مقایسه کنید

تخمین رایج برای مغز انسان حدود 86 میلیارد Neuron هست؛ یعنی تقریباً 618 هزار برابر تعداد نورون‌های مغز این مگس. با این حال، ما هنوز Connectome کامل مغز انسان رو در مقیاس تک‌نورون و تک‌سیناپس نداریم. به همین دلیل پروژه‌هایی مثل FlyWire فقط برای Neuroscience مهم نیستن بلکه می‌تونن برای درک بهتر Neural Computation، Brain-Inspired AI، Neuromorphic Computing و Memory Architectures هم اهمیت زیادی داشته باشن.

اما قسمت خبر ساز جدید اینه که

یه سری اومدن عملکرد این حشره رو توی کارهای مختلف شبیه‌سازی کردن مثل:
حشره توی بازی‌های مختلف
حشره توی دنیای کریپتو
حشره توی معاملات بورسی
و ...
بعضی‌هاش واقعا نتایج جالبی داره و ایده‌های خنده‌دار هم توش زیاده. بعضیا میگن قدرتش توی بعضی کارها از LLMها بیشتره ولی خب تا انتشار نتایج دقیق مقایسه شده صبر میکنیم برای تایید این موضوع

همچنین گفته شده جاندارانی با مغز بزرگتر هم توی صف هستند برای این تحقیقات

@silicon_brain | از هوش مصنوعی عقب نمانید

اخیرا Anthropic سه سناریو برای تأثیر AI روی شغل‌ها در آمریکا تا سال 2030 مدل‌سازی کرده

توی این مدل، هر شغل رو به یه مجموعه از taskها تقسیم می‌کنن و بعد می‌پرسن: آیا AI باعث می‌شه انجام اون task سریع‌تر بشه، کلاً جاش رو بگیره، یا حتی taskهای جدیدی ایجاد کنه؟

سه تا scenario برای بررسی وجود داره:

Modest
تأثیر AI تقریباً شبیه تأثیر اینترنت می‌شه. GDP فقط 1.6٪ بیشتر از حالتی رشد می‌کنه که AI وجود نداشته باشه و دستمزدها تقریباً ثابت می‌مونن.
Substantial
هوش مصنوعی حدود نصف کارهای knowledge work رو انجام می‌ده. GDP حدود 8.3٪ رشد می‌کنه. ولی دستمزدها مربوط به knowledge workerها عملاً flat می‌شن و بعضی افراد مجبور می‌شن کلاً شغل خودشون رو عوض کنن.
Extreme
رشد سالانه به 15٪ می‌رسه و اقتصاد تقریباً هر 4.5 سال دو برابر می‌شه. ولی در عوض، knowledge worker unemployment به 17.9٪ می‌رسه و سهم نیروی کار از GDP از 60٪ به 45٪ کاهش پیدا می‌کنه.
لینک
@silicon_brain | از هوش مصنوعی عقب نمانید

روز برنامه نویسو به اونایی که تجربه برنامه‌نویسی کلاسیک دارن تبریک میگم 😍😁

به‌نظرم برنامه نویسی مدرن امروزی رو بهتره تو روز مهندس تبریک بگیم، چون مهندسی هنوز سرجاشه

پروژه های اوپن سورس‌تون رو برام بفرستین چک کنم باحال بود شیر میکنم تو کانال
یه کمکی کرده باشیم به کامیونیتی اوپن سورس داخلی

اخیرا یکی از اعضای کانال یه پروژه open-source به اسم Citeprobe ساختن که برای بررسی و اعتبارسنجی referenceهای علمی به شکل static و بدون استفاده از LLM، مشابه اون‌چه در کنفرانس‌ها و ژورنال‌های آکادمیک رخ می‌ده

ایده اصلی اینه که صرفا چون یک citation توی یک دیتابیس پیدا نشده، نباید نتیجه بگیریم که جعلی یا hallucinated بوده. Citeprobe هر reference رو همزمان با چند منبع علمی مثل Crossref، OpenAlex، Semantic Scholar، arXiv، Europe PMC، DBLP و OpenReview بررسی می‌کنه و به‌جای یک جواب باینری، evidence و اختلاف بین sourceها رو هم نگه می‌داره.

علاوه بر title و DOI، اطلاعاتی مثل authorها، سال انتشار و venue و retraction/correction status و duplicate referenceها رو هم بررسی می‌کنه و مشخص می‌کنه نتیجه verified یا problematic یا inconclusive بوده و چرا.

ورودی هم فقط متن نیست. می‌تونه DOI، BibTeX، RIS، EndNot و یا PDF باشه و حتی PDF اسکن‌شده با OCR رو پشتیبانی می‌کنه. هم CLI و Python API داره و هم یه local web UI.

کل verification هم بدون LLM انجام می‌شه و پروژه open-source هست.
گیتهاب

@silicon_brain | از هوش مصنوعی عقب نمانید

یه سری مقالات وجود دارن که بخش بزرگی از تکنولوژی‌های امروزی LLMها روی ایده‌های همین مقالات ساخته شده

لازم نیست همه‌شون رو خط‌به‌خط و مثل یک ریسرچر بخونی، ولی حداقل باید ایده، معماری و Contribution اصلیشون رو بفهمی:

Attention Is All You Need

پایه‌ی Transformer

BERT

برای Pre-training و Language Understanding

GPT / GPT-2 / GPT-3

مسیر توسعه‌ی Generative Language Models و Few-Shot Learning

Scaling Laws for Neural Language Models

رابطه‌ی Model Size، Data و Compute

Chinchilla

برای Compute-Optimal Scaling

InstructGPT

پایه‌ی RLHF

Constitutional AI

آموزش مدل با AI Feedback

LoRA / QLoRA

برای Parameter-Efficient Fine-tuning

FlashAttention / FlashAttention-2

بهینه‌سازی Attention و Memory/Compute

RoPE / ALiBi

روش‌های Positional Encoding

MQA / GQA

بهینه‌سازی Attention و کاهش KV Cache

Speculative Decoding

افزایش سرعت Inference

PagedAttention

مدیریت بهینه‌ی KV Cache در vLLM

RAG

اتصال LLM به External Knowledge

Chain-of-Thought / Tree of Thoughts / ReAct

روش‌های Reasoning و Tool Use

DPO / ORPO / GRPO

روش‌های جدید Preference Optimization

Switch Transformer / DeepSeekMoE

معماری Mixture of Experts

Test-Time Scaling

افزایش محاسبات در زمان Inference برای بهتر شدن Reasoning

Muon Optimizer

رویکرد جدید برای Optimization مدل‌های Neural Network

نکته اینه که اینا صرفاً یه لیست از Paperهای معروف نیستن تقریباً هر کدوم بخشی از چیزی رو توضیح میدن که امروز در LLM، Fine-tuning، Inference، RAG، Reasoning و Agentic AI استفاده می‌کنیم.
@silicon_brain | از هوش مصنوعی عقب نمانید

مدل ChatGPT Images 2.5

شرکت OpenAI نسخه‌ی جدید ChatGPT Images 2.5 رو منتشر کرده که هم در خود ChatGPT و هم از طریق API، سرعت و کیفیت Image Generation و Editing رو بهتر کرده.
مهم‌ترین تغییر، مدل Flare هست که نسبت به GPT-Image-2 کیفیت بالاتری ارائه میده و در عین حال 50٪ Latency کمتری داره یعنی برای اپلیکیشن هایی که حجم زیادی تصویر تولید می‌کنن، خیلی مهمه.

از نظر Image Editing هم مدل در حفظ Reference بهتر شده مثلاً می‌تونی لباس یک شخص رو تغییر بدی بدون اینکه Position و ظاهر کلیش خراب بشه Background محصول رو عوض کنی بدون تغییر خود محصول، یا فقط یک بخش از Text رو اصلاح کنی.

یک قابلیت جالب دیگه هم Sketch هست که می‌تونی مستقیماً داخل ChatGPT چیزی رو نقاشی کنی و با @Sketch به مدل نشون بدی دقیقاً چه چیزی می‌خوای.

در API هم دو مدل جدید هست

مدل Flare برای Generation سریع و باکیفیت و Sunburst برای زمانی که دقت در Editing مهم‌تره. هر دو مدل با قیمت 2× GPT-Image-2 ارائه میشن و روی Desktop، Mobile و Web در دسترس هستن.
@silicon_brain | از هوش مصنوعی عقب نمانید

حل یک مسئله‌ی ۹۰ ساله‌ی ریاضی توسط AI در ۸۸ ساعت
یک مسئله‌ی ریاضی که حدود ۹۰ سال بدون جواب مونده بود، این بار نه توسط انسان، بلکه توسط AI Agents حل شده.
مسئله مربوط به Navier-Stokes Equations هست معادلاتی که حرکت سیالات مثل آب و هوا رو توصیف می‌کنن. سؤال اصلی این بود که آیا تحت شرایط خاص و شدید، این معادلات می‌تونن کاملاً Break Down بشن یا نه.
شرکت OpenAI حدود ۱۰,۰۰۰ AI Agent رو روی یک مدل منتشرنشده اجرا کرده و بعد از ۸۸ ساعت به جوابی رسیده که نشون میده در شرایط خاص، چنین Breakdownای واقعاً ممکنه.

مدل یک Vortex پیدا کرده که دائماً متراکم‌تر و سریع‌تر می‌چرخه، در حالی که انرژی سیال همچنان محدود باقی می‌مونه چیزی شبیه این‌که سیال مثل یک تکه اسپاگتی مدام کشیده بشه تا در نهایت ساختار ریاضی سیستم دچار Singularity/Breakdown بشه.

نکته‌ی مهم‌تر اینه که این بار AI فقط یک مسئله‌ی مشخص رو حل نکرده؛ بلکه Multi-Agent System با هزاران Agent برای حل یک Open Problem علمی استفاده شده. یعنی استفاده از Agentها برای Research علمی دیگه صرفاً یک ایده‌ی تئوری نیست و داره وارد عمل میشه.

@silicon_brain | از هوش مصنوعی عقب نمانید

جناب Linus Torvalds:

رویکرد من نسبت به AI اینه که به صورت کلی باید فضای AI رو نادیده گرفت!
چون صنعت Tech که امروز با AI درست شده ۹۰ درصد بخاطر مارکتینگ هست و ۱۰ درصد واقعیت!

لینوس هم ‌کم‌کم داره میره تو تیم مخالفا 😁

جدیدا Shopify نشون داده که همیشه بزرگ‌ترین مدل، بهترین انتخاب نیست. این شرکت یک مدل 0.8B رو برای یک تسک تخصصی Fine-tune کرده که در همون تسک از GPT-5.6 Sol بهتر عمل کرده و Throughput رو از حدود ۲ میلیون به ۷۲ میلیون خروجی در روز رسونده.
دلیلش اینه که وقتی Workload مشخص و قابل پیش‌بینی باشه، میشه مدل، پرامپت و Inference رو برای همون Task بهینه کرد.

قسمت فنی جذاب ماجرا، Self-improving Flywheel هست

یعنی Failureهای واقعی کاربران تبدیل به Training Data میشن. یک مدل Frontier می‌تونه درخواست‌های ناموفق رو تحلیل و بهتر کنه و بعد نمونه‌های موفق برای Fine-tuning یک مدل کوچک‌تر استفاده بشن. البته اینجا کیفیت LLM Judge و Evaluation Pipeline مهمه، چون اگر Judge رفتار اشتباه رو درست تشخیص بده، همون اشتباه می‌تونه وارد Training بشه.

در واقع آینده‌ی این حوزه فقط ساختن مدل نیست ساختن یک Feedback Loop بین Production، Evaluation، Training و Deploymentهم هست و Frontier یک مدل هم بیشتر از اینکه Worker نهایی باشن، نقش Teacher رو برای ساخت مدل‌های کوچک‌تر، ارزان‌تر و تخصصی‌تر بازی کنن.

@silicon_brain | از هوش مصنوعی عقب نمانید

آپدیت جدید CortexKG

چند قابلیت جدید به پروژه اضافه شده که تجربه کار با AI Memory و Knowledge Graph رو بهتر میکنه

🔹نمایش سه بعدی گراف دانش
حالا می‌تونید Knowledge Graph رو به‌صورت سه‌بعدی ببینید و ارتباط بین Entityها و Relationshipها رو بهتر Explore کنید

🔹پارامتر های بیشتر مدل
برای مدل پارامتر های مهم مثل مقدار Temperature و Max Tokens رو تنظیم میشه کرد و کنترل بیشتری روی میزان خلاقیت، طول و رفتار خروجی LLM داشته باشین.

هدف CortexKG اینه که یک حافظه AI قابل مشاهده، قابل کنترل و قابل انتقال بسازه جایی که بتونید ببینید AI چه چیزهایی رو از مکالمات شما یاد گرفته و این knowledge چطور به هم متصل شده و حتی بتونین این حافظه رو شخصی سازی و ویرایش کنین

گیتهاب پروژه

@silicon_brain | از هوش مصنوعی عقب نمانید

تعریف عناوین شغلی مرتبط با AI

AI Engineer

ساخت و Deploy کردن AI Applications، از LLM و RAG گرفته تا AI Agents و پیاده سازی Backend

Machine Learning Engineer

توسعه، آموزش، بهینه‌سازی و Deploy کردن ML Models و ساخت Pipelineهای مربوط به یادگیری ماشین و هسته محاسبات مدل ها

AI Platform Engineer

ساخت و نگهداری زیرساخت، Cloud و Platform لازم برای اجرای AI/ML در مقیاس بالا؛ مثل Inference، GPU، Model Serving و MLOps.

Forward Deployed Engineer (FDE)

نزدیک به مشتری کار می‌کنه و AI Solutionها رو مستقیماً برای حل مشکلات واقعی مشتری طراحی، پیاده‌سازی و Integrate می‌کنه.

AI Solutions Engineer

نیاز کسب‌وکار رو به یک AI Solution عملی تبدیل می‌کنه و معمولاً بین تیم Technical و Business نقش رابط رو داره.

این تعریف رو بیشتر از افراد فعال و متخصص در این حوزه، باید شرکت ها بلد باشن عوض اینکه برای تمامی رول ها AI Enginner استفاده کنن، بهتره دقیق تشخیص بدن نیازشون کدوم یک از ایناست.
@silicon_brain | از هوش مصنوعی عقب نمانید