یه نگاهی به چند صدتا کیس استادی جدید LLMOps که تو پروداکشن کار می‌کنن انداختم. چهارتا ترند اصلی خیلی داره تکرار می‌شه, اینا چیزاییه که تیمای جدی دارن انجام می‌دن، نه دموهای پرزرق و برق.

بحث Agent ها بالاخره از فاز دمو خارج شده و داره تو پروداکشن استفاده می‌شه. ولی این Agent ها هیچ شباهتی به سیستم‌های خودکار و همه‌کاره‌ای که تو مقاله‌ها می‌بینیم ندارن. Agent های موفق فعلی، به طرز شگفت‌آوری narrow و تک‌دامنه‌ای هستن. بیشتر شبیه اسکریپت‌های اتوماسیون خیلی هوشمند و context-aware عمل می‌کنن تا یه موجودیت مستقل. نظارت انسان هم تقریبا دائمیه. حتی سیستم‌هایی که لیبل multi-agent می‌گیرن، اغلب فقط یه الگوی ساده orchestrator-worker هستن که یه کنترلر اصلی، کارها رو به ماژول‌های تخصصی‌تر پاس می‌ده.

موضوع بعدی اینه که زمان بیشتری صرف ساخت زیرساخت evaluation می‌شه تا منطق اصلی اپلیکیشن. اگه اینطور نیست، احتمالاً دارید محصول باگ‌دار تحویل می‌دید. الگوی LLM-as-judge برای ارزیابی‌های بدون مرجع (reference-free) غالب شده، چون scale می‌شه. اما این یه راه‌حل کامل نیست. هر پیاده‌سازی موفقی که بررسی شده، یه سری golden dataset داره که توسط انسان اعتبارسنجی شدن. الگو اینه: با LLM judges سریع شروع کن، ولی همه چیز رو به یه ground truth انسانی متصل نگه دار. هزینه evals هم یه فاکتور مهمه؛ تیم‌ها متوجه شدن که اجرای eval های سنگین روی هر commit می‌تونه بودجه inference رو سریع‌تر از ترافیک پروداکشن تموم کنه. رویکرد درست، یه eval stack چندلایه است: تست‌های سبک مثل unit test برای prompt template ها به صورت مکرر و تست‌های سنگین‌تر offline در شرایط خاص.

اون روزا که RAG فقط به معنی "یه سری داکیومنت رو بریز تو vector DB و امیدوار باش خوب کار کنه" بود، تموم شده. معماری‌های RAG جدید خیلی عجیب و پیچیده شدن. الان سیستم‌هایی رو می‌بینیم که vector search، keyword matching، graph traversal و پایپلاین‌های reranking رو با هم ترکیب می‌کنن و یه LLM دیگه هم اینا رو ارکستریت می‌کنه. این پیچیدگی بعضی وقتا جواب می‌ده و دقت رو برای کوئری‌های تخصصی خیلی بالا می‌بره، اما هزینه‌ش پیچیدگی عملیاتی وحشتناکه.

در نهایت، Data Flywheels الگوییه که برنده‌ها رو از بازنده‌ها جدا می‌کنه: تبدیل تعاملات کاربر به دیتا برای آموزش. هر سیستم موفقی یه راهی پیدا کرده که وقتی کاربر خروجی AI رو اصلاح می‌کنه، اون اصلاح مستقیم به سیستم برگرده و prompt ها رو آپدیت کنه، مدل‌ها رو fine-tune کنه یا استراتژی‌های retrieval رو تغییر بده. برای شروع این چرخه هم، معمولاً از synthetic data استفاده می‌شه تا سیستم سرد نباشه. به نظر من، چالش اصلی اینجا فنی نیست؛ طراحی UX برای گرفتن فیدبک راحت از کاربر و گرفتن تأییدیه تیم حقوقی برای استفاده از اون دیتا، بخش سخت ماجراست.

در کل، هنوز تا رسیدن به یه نقطه پایدار فاصله داریم. معماری‌ها و زیرساخت‌های LLMOps همینطور در حال تکامل هستن و این الگوها نشون می‌ده که کار تو این حوزه چقدر از فاز آزمون و خطا فاصله گرفته و جدی شده.

🛠 Join @LLMEngineers Community