OKF (by google)
وقتی مدلها با کانتکستهای بالای
128K و حالا بیش از 1M استاندارد شدند واقعا هزینه توسعه و نگهداری سیستمهای RAG برام قابل درک نبود.توی یک سری از ابزارهای چت شما میتونید مشخص کنید چت با چه پیامهایی از قبل مشخص شدهای شروع بشه و ماهم از همین تکنیک استفاده میکردیم.
مثلا برای نیروهای تازه وارد به شرکت؛ شماتیک دیتابیس رو توی چت اول میذاشتیم و نیرو همزمان با خوندن کدها اگر سوالی روی دیتابیس براش پیش میومد میتونست از مدل لوکال استفاده کنه و جلو بره.
برای بچههای سنیور هم خیلی خوب بود؛ هم سوالات خیلی کم شده بود؛ هم کمکی بود برای یادآوری و هم اگر کوئری بود که یادشون میرفت میتونستند از مدل بپرسند و تقریبا مطمئن باشند که بهترین جواب رو احتمالا خواهند گرفت.
حالا گوگل توی یک حرکت خیلی خفن اومده و یک استاندارد رو ارائه داده برای فرمت فایلها و ...
بجای اینکه یک چت هیستوری خیلی بزرگ به سیستم بدید (مثل کاری که ما میکردیم) اونها رو توی فایلهای
markdown مختلف بشکونید ولی ابتدای هر فایل یک استاندارد رو رعایت کنید.تقریبا دو روزی هست که دارم روی یک دیتابیس پروداکشن استفادهاش میکنم و بنظرم این از
RAG, chat history خیلی بهتره (حداقل توی استفاده من) مثلا:
توی سورس کد یک کوئری کند داشتیم و فکر میکردیم این دیگه ازین بهتر نمیشه؛ اما شد چون ما یک view ایی که ایجاد شده بود رو فراموش کردیم بودیم که همچین دیتایی رو داره و میتونه این کوئری رو هم اپتیمایز کنه و مدل این کوئری جدید رو بهمون داد.
برای استفادههای این شکلی بنظرم خیلی تکنیک تمیز و خوبی هست.
Github
توجه کنید هیچ تکنولوژی یا ... جدیدی پشت این نیست دنبال ابزار نباشید یک استاندارد برای نوشتن فایل
Markdown هست بیشتر که مدل هوش مصنوعی شما راحت تر بفهمه چیکار کنه که بنظرم استاندارد تمیز و خوبی هم هست.