مفهوم Harness در دنیای AI

خیلی اوقات در حالیکه انتظار داریم پرامپتی که نوشته‌ایم کار کند ولی کار نمی‌کند (در برنامه‌نویسی). بیشتر وقت‌ها کاری که می‌کنیم بهبود پرامپت و یا استفاده از مدل بهتر است، ولی باز هم تاثیری ندارد، هر چقدر هم توضیح دهیم که اول چک کن که کاربر لاگین باشد و بعد این کار را انجام بده، باز هم نمی‌شه که نمی‌شه! واقعیت این است که خیلی از کارها پیچیده‌تر از آن هستند که با بهبود پرامپت بتوان ببهبودشان داد.

فکر کنید که GitHub Copilot یا Claude اگه فقط یک پرامپت بود که کل کد را به همراه پرامپت شما اجرا می‌کرد چقدر ناکارآمد بود.
مفهوم جالبی که این سیستم‌ها از آن استفاده می‌کنن تا مفاهیم non-determinstic دنیای AI را به مفاهیم deterministic دنیای واقعی نزدیک کنند مفهومی است به نام Harness.

جالب است بدانید که در GitHub Copilot برای هر مدل یک هارنس اختصاصی نوشته می‌شود و هر وقت یک مدل جدید از راه می‌رسد قبل اینکه آن مدل به VS Code اضافه شود اول هارنس اختصاصی‌ش نوشته می‌شود.

در این ویدئو مفهوم Harness خیلی خوب و قابل فهم توسط Tejas Kumar از IBM توضیح داده شده. اگر برنامه‌نویسی هستید که سیستم‌های مبتنی بر LLM می‌نویسید که کار واقعی انجام می‌دهد (نه صرفا یه چت ساده برای دمو) پیشنهاد می‌کنم حتما این ویدئو را ببینید.

این مفهوم همان مفهومی است که ما در CrystaCode برای ساخت «ادیتور ایجنت» از آن استفاده کردیم تا بتوان روی عملکرد سیستم حساب کرد و طبق سناریوهای skUnit تست‌ها پاس شود.

🔗 ویدئو کامل را می‌توانید اینجا ببینید.

#مهران_داودی (لینکدین - بلاگ)

⁉️ برای بحث و تبادل نظر فنی در مورد این پست، نظرات خود را با ما در قسمت کامنت‌ها به اشتراک بگذارید.

کانال تلگرام:
@SoftwarePhilosophy

______