چند وقت پیش یکی از بچه‌ها اصرار داشت برای یه تسکِ ساده‌ی بهینه‌سازی مصرف انرژی خانگی، حتماً از LLM استفاده کنیم... قضیه اینه که نباید برای هر میخی چکشِ هوش مصنوعی مولد رو برداریم. خیلی جاها یه الگوریتم ساده‌ی Linear Programming یا حتی یه Greedy Scheduling معمولی خیلی دقیق‌تر و ارزون‌تر جواب می‌ده. چیپ هوین هم دقیقاً به همین نکته اشاره کرده؛ خیلیا غرق هایپ می‌شن و یادشون می‌ره هدف حل کردن مسئله است، نه صرفاً "استفاده از هوش مصنوعی". توی پروژه‌های تشخیص Anomaly ترافیک شبکه یا پیش‌بینی حجم تماس‌ها هم همین بساط هست؛ وقتی ریاضیاتِ کلاسیک جواب می‌ده، مدل مولد فقط هزینه و خطا رو بالا می‌بره.

واقعیت اینه که خیلیا وقتی پروژه‌شون شکست می‌خوره فکر می‌کنن مدلِ هوش مصنوعی ضعیف بوده، در حالی که مشکل از UX و محصوله. مثلاً توی لینکدین فهمیدن کاربرها لزوماً دنبال جواب "درست" نیستن، بلکه دنبال جواب "کمک‌کننده" هستن. یا مثلاً توی Intuit فهمیدن کاربرها از تایپ کردن متن‌های طولانی متنفرن و با اضافه کردن Suggestionها تونستن رضایت رو بالا ببرن. ما هم نباید از اول بپریم سراغ Agentic Frameworkهای پیچیده یا Fine-tuning وقتی با یه Prompt درست کار راه می‌افته. استفاده‌ی زودهنگام از ابزارهای انتزاعیِ جدید مثل Semantic Caching یا دیتابیس‌های برداری سنگین، وقتی هنوز زیر و بم سیستم رو نمی‌شناسیم، فقط دی‌باگ کردن رو سخت‌تر می‌کنه.

بزرگترین اشتباهی که خودم هم چند بار مرتکب شدم، دست‌کم گرفتنِ مسیرِ بین دمو تا محصول نهاییه. رسیدن به ۸۰ درصد کیفیت معمولاً یک ماه زمان می‌بره، اما برای بردن اون عدد بالای ۹۵ درصد ممکنه ماه‌ها درگیر Hallucination و Latency بشی. یه دمو ساختن راحته، ولی ساختن محصولی که توی تولید واقعی با ۱۰ درصد Time-out کنار بیاد و رفتارش با تغییر ورژنِ API عوض نشه، واقعاً سخته. جوری که چیپ میگه، مسیرِ ۶۰ تا ۱۰۰ درصد، وحشتناک‌ترین بخشِ مهندسی هوش مصنوعی هست و نباید با موفقیت‌های اولیه توی محیط تست، گول بخوریم.

نظارت انسانی رو هیچ‌وقت نباید حذف کرد. استفاده از LLM-as-a-judge خوبه ولی اصلاً مطمئن نیست و خودش نیاز به Evaluation مداوم داره. خودم همیشه سعی می‌کنم حداقل روزی ۱۵ دقیقه مستقیم به دیتای ورودی و خروجی نگاه کنم؛ طبق تجربه، همین نگاهِ کوتاه بینشی به آدم می‌ده که هیچ ابزار اتوماتیکی نمی‌ده. در نهایت هم نباید اجازه بدیم استراتژی هوش مصنوعی شرکت رو صرفاً با جمع‌آوری ایده‌های پراکنده از بخش‌های مختلف (Crowdsourcing) جلو ببرن، چون تهش می‌شه هزار تا پلاگین و باتِ بی‌مصرف که ROI واقعی ندارن.

https://huyenchip.com/2025/01/16/ai-engineering-pitfalls.html

🛠 Join @LLMEngineers Community