آیا باید کلاً دست از خوندن کد برداشت و اجازه داد Agentها همه تصمیم‌ها رو به‌صورت Autonomous بگیرن؟ دِکس از HumanLayer می‌گه: «نه، دیگه نه!»

کامنت‌های بیشتر، کامنت‌های طولانی‌تر و تعداد زیادی PR که بدون هیچ Reviewای Merge می‌شن.
تعداد Incidentها به شکل محسوسی افزایش پیدا کرده.
تعداد Bug به ازای هر Developer هم به‌مراتب بیشتر شده.

این‌ها بخشی از نکات جالبی هستند که از گزارش‌های چند تیم به دست اومده؛ تیم‌هایی که تلاش کردن به‌صورت کامل یا تا حدی Autonomous بشن و انجام همه کارها رو به Agentها بسپارن. نتیجه این بوده که خیلی زود (یا گاهی با کمی تأخیر) مشخص شده این رویکرد در Codebaseهای Production و پیچیده می‌تونه از کنترل خارج بشه.

بخشی از محدودیت‌های فعلی به این موضوع برمی‌گرده که Coding Modelهای امروزی عمدتاً برای Functional Correctness در کوتاه‌مدت آموزش داده و ارزیابی می‌شن، نه برای Long-term Maintainability.

این یعنی هنوز فاصله قابل‌توجهی در حوزه Software Design وجود داره و یک Design ضعیف ممکنه تا هفته‌ها یا حتی ماه‌ها خودش رو نشون نده؛ مثلاً زمانی که Incidentی رخ بده یا نیاز به Modificationهای پیچیده به وجود بیاد. Evaluationهای جدیدتری مثل SWE-Marathon و Frontier Code در حال ظهور هستند که Taskهای طولانی‌تر و Workflowهای چند-PRی رو پوشش می‌دن، اما این مسئله آن‌قدر پیچیده است که گاهی حتی فراتر از این چارچوب‌ها می‌ره.

تشبیه «Software Factory» و تأکید بر اهمیت Human Review بسیار جالبه. تجربه تیم‌هایی که در هفته‌های اخیر با ابزارهایی مثل Fable کار کرده‌اند هم تا حد زیادی همین موضوع رو تأیید می‌کنه، البته از زاویه‌ای متفاوت.

در این رویکرد، نقش Developer کمتر شبیه فردی است که مستقیماً کنترل همه چیز را در دست دارد و بیشتر به نقش یک Coach شباهت پیدا می‌کند که تصمیم‌های Architectural را هدایت می‌کند. بخش قابل‌توجهی از زمان نیز صرف یادگیری رویکردهای جدید و هوشمندانه‌ای می‌شود که شاید در حالت عادی به ذهن نرسند.

بر این اساس، ارزش خوندن کدها (یا Artifactها) فقط در این نیست که مطمئن بشیم مسیر اشتباهی طی نمی‌شه؛ بلکه این کار کمک می‌کنه تغییرات سریع Codebase بهتر درک بشن و مهم‌تر از اون، امکان یادگیری دانشی فراهم بشه که به نظر می‌رسه دامنه و عمقش از چیزی که قبلاً از Developerها انتظار می‌رفت، بسیار گسترده‌تر شده است.

لینک گزارش
https://github.com/humanlayer/advanced-context-engineering-for-coding-agents/blob/main/wsff.md

@DevTwitter | <Reza Jafari/>