اوبر مقاله فنی بسیار خواندنی و پرنکتهای درباره معماری «کارخانه نرمافزار» خود منتشر کرده است. در حال حاضر بیش از ۷۰ درصد PRها در اوبر توسط ایجنتها ایجاد یا تغییر داده میشوند و با وجود رشد ۹ برابری درخواستها، هزینه هر تسک تا ۵۲ درصد کاهش پیدا کرده است.
نکات فنی کلیدی که برای بهینهسازی سیستمهای ایجنتی مقیاسبالا پیاده کردهاند:
۱. حل مشکل اسکیماهای سنگین MCP: بارگذاری مستقیم دهها سرور MCP باعث میشد مدل قبل از اولین پرامپت، ۵۰ تا ۷۰ هزار توکن اسکیما را در هر دور حمل کند. اوبر ابزارها را به صورت CLI و Tool Search درآورده تا فقط ابزارهای مورد نیاز وارد کانتکست شوند.
۲. رویکرد Code-Mode بهجای ابزار چتی: به جای رفتوبرگشتهای متوالی با مدل برای هر کوئری و بررسی وضعیت، کارها در قالب یک اسکریپت پایتون در سابپراسس اجرا میشوند و فقط نتیجه برمیگردد که مصرف توکن را ۵۰ تا ۹۹ درصد کم کرده است.
۳. ساخت گراف کانتکست: ایجنتها بهجای جستجوی خطی در کدبیس، اطلاعات را از یک گراف با ۲۴ میلیون نود (سرویسها، معماری و لاگها) میگیرند و زمان حل تسک از ۲۰ دقیقه به ۳۸ ثانیه رسیده است.
۴. تفکیک مدل برای سابایجنتها: وظایف کوچک به مدلهای ارزانتر سپرده میشوند و مدلهای پیشرفته فقط برای برنامهریزی اصلی استفاده میشوند.
۵. کش یکساعته کانتکست: افزایش TTL به یک ساعت مانع از بازسازی پرهزینه کانتکست در زمان بیکاری مهندسان پشت سیستم میشود.
این بلاگ خودش یه کلاس درسه!
لینک مقاله اوبر:
https://uber.com/us/en/blog/efficient-software-factory/?uclick_id=8c39ed77-46d9-4e1a-bd0a-20aaec118b9a
@DevTwitter | <Mehdi Allahyari/>
Post #13223
6.41K
- 👍 17
- ❤ 8
- 🍌 5