🧪ابزار Promptfoo: به جای حدس زدن، تست کن

یه سؤال: وقتی یه پرامپت می‌نویسی، از کجا می‌فهمی خوبه؟ معمولاً چند تا ورودی می‌دی، خروجی رو نگاه می‌کنی و می‌گی «آره به نظرم خوبه». ولی این «به نظرم» خیلی شکننده‌ست. با یه تغییر کوچیک تو پرامپت، ممکنه همه چی خراب بشه و تو حتی نفهمی.

این دقیقاً همون جاییه که Promptfoo وارد می‌شه.

تصور کن به جای اینکه با حس و حال تصمیم بگیری، یه آزمایشگاه داشته باشی. پرامپت‌هات رو می‌ذاری وسط، مدل‌های مختلف رو کنار هم می‌چینی، و با معیارهای مشخص می‌سنجی کدوم بهتر جواب می‌ده. انگار داری یه آزمایش علمی انجام می‌دی، نه یه حدس شخصی.

چه کاری برات می‌کنه؟

🔹 پرامپت‌هات رو خودکار تست می‌کنه — مثل تست نویسی برای کد، ولی این بار برای هوش مصنوعی
🔹 مدل‌ها رو مقایسه می‌کنه — GPT، Claude، Gemini و حتی مدل‌های لوکال، همه تو یه زمین
🔹 دنبال حفره‌های امنیتی می‌گرده — خودش حملاتی مثل Jailbreak و Prompt Injection رو شبیه‌سازی می‌کنه تا ببینه اپت مقاومه یا نه
🔹 تو CI/CD جا می‌گیره — هر بار پرامپتت رو عوض کردی، خودکار چک می‌شه که چیزی نشکسته باشه

✅ همه چی لوکال اجرا می‌شه، داده‌هات پیش خودت می‌مونه
✅ رایگان و اوپن‌سورس
✅ شرکت‌های بزرگ مثل OpenAI و Anthropic ازش استفاده می‌کنن

شروعش یه خط دستوره:

npx promptfoo@latest init

🔗 promptfoo.dev

@CodeVerse_dev