🔴معرفی یک ابزار/لایبرری خیلی جالب و به درد بخور به اسم LLM Intercept: یه پراکسی سبک و ساده برای ذخیره و استفاده‌مجدد از درخواست‌های LLM‌هاتون.

💯تقریباً همه‌ی اپ‌ها دارن از APIهای سازگار با OpenAI استفاده می‌کنن. حالا با LLM Intercept می‌تونید اون تماس‌ها رو ضبط کنید و تبدیلشون کنید به دیتاست برای فاین‌تیون مدل‌های کوچیک‌تر و ارزون‌تر.

ایده‌اش ساده‌ست 👇
1️⃣ مثل همیشه از یه مدل بزرگ (مثلاً GPT-4 یا Claude) توی اپتون استفاده کنید.
2️⃣ ترافیک رو از طریق LLM Intercept عبور بدید تا ورودی و خروجی‌ها به‌صورت شفاف ذخیره بشن.
3️⃣ دیتای جمع‌شده رو به‌صورت Parquet خروجی بگیرید (می‌تونید پرامپت‌های سیستمی رو حذف کنید).
4️⃣ با اون داده‌ها یه مدل کوچیک‌تر مثل Liquid AI LFM2 (از ۳۵۰M تا ۲.۶B) رو فاین‌تیون کنید.
5️⃣ بعد مدل بزرگ رو با مدل خودتون جایگزین کنید. لوکال، خصوصی و تقریباً رایگان.
هدف: کمک به تیم‌ها برای اینکه بتونن از ترافیک واقعی اپشون، مدل‌های کوچیک و بهینه بسازن، بدون دردسر، سریع و اقتصادی.
این خیلی به درد میخوره
Link
Vibe Coding Iran | سازندگان آینده🧑‍💻
@vibecodingiran