من همیشه توی پروژه‌های AI Engineering روی Evaluation یا همون Eval تأکید ویژه‌ای دارم و همیشه می‌گم: تا وقتی Eval درست‌وحسابی پیاده‌سازی نکردید، عملاً هیچ چیزی ندارید!

اینکه یه مدل خروجی خوب تولید می‌کنه یا توی دمو عالی به نظر می‌رسه، لزوماً به این معنی نیست که یه سیستم AI قابل‌اعتماد ساختید. تا وقتی نتونید کیفیت خروجی‌ها رو اندازه بگیرید، خطاها رو شناسایی کنید و تأثیر تغییراتتون رو بسنجید، عملاً نمی‌دونید سیستمی که ساختید واقعاً چقدر خوب کار می‌کنه.

بدون Eval، حتی نمی‌تونید با اطمینان بگید تغییر پرامپت، عوض کردن مدل یا بهبود RAG واقعاً نتیجه رو بهتر کرده یا بدتر. در واقع، Eval چیزیه که به فرایند توسعه AI از حالت آزمون‌وخطا خارجش می‌کنه و بهش یه رویکرد مهندسی و قابل‌اندازه‌گیری می‌ده.

برای همین، این کتاب توجهم رو جلب کرده؛ چون Evaluation رو نه یه‌سری تست و بنچمارک مقطعی، بلکه یه بخش جدایی‌ناپذیر از کل چرخه عمر سیستم‌های AI می‌دونه؛ از LLM و RAG گرفته تا Agentها و سیستم‌های چندوجهی.
به نظرم برای هر کسی که توی حوزه AI Engineering کار می‌کنه و مخصوصاً دنبال بردن سیستم‌های AI به محیط Production هست، کتاب ارزشمندیه.

چون در نهایت، ساختن یه سیستم AI که گاهی خوب کار کنه، هنر نیست؛ مهندسی واقعی اینه که بدونید چقدر خوب کار می‌کنه، کجا شکست می‌خوره و چطور بهترش کنید. و این بدون Eval ممکن نیست.

👑 توضیحات در مورد دوره منتورینگ
🏆 نحوه ثبت‌نام در دوره منتورینگ
🤝 تجارب موفق قبلی بچه‌ها از منتورینگ

🛠 راه‌ ارتباطی مشاوره تخصصی کسب‌وکار در زمینه دیتا و هوش مصنوعی

@reza_jafari_ai