اندر حکایات بازی با کلمات: AI Engineering vs ML Engineering/Data Scientist

این روزها عناوینی مثل AI Engineer، ML Engineer و GenAI Engineer زیاد شنیده می‌شوند، اما مرز بین این نقش‌ها همیشه شفاف نیست. بخشی از فصل اول کتاب AI Engineering (از بانو چیپ هوین، از الهه‌های AI) و همچنین این ویدیو دقیقاً روی همین تمایز تمرکز دارند (این کانال یوتیوب هم کانال قابلی است).
اگر بخواهیم به ‌دور از هایپ و با نگاه مهندسی جلو بریم، تفاوت اصلی این دو نقش در «سطح مسئله» است.

تمرکز ML Engineerها و Data Scientistها روی خود مدل است. یعنی طراحی، آموزش و بهینه‌سازی مدل‌های یادگیری ماشین.
مسائلی مثل آماده‌سازی داده، feature engineering، انتخاب معماری، تنظیم هایپرپارامترها و ارزیابی مدل در این حوزه قرار می‌گیرند. هدف اصلی این است که مدل، روی داده‌های موجود، بهترین عملکرد ممکن را داشته باشد.
به زبان ساده، ML Engineer درگیر این سؤال است که: چگونه مدلی بسازم که درست یاد بگیرد و از آن در پروداکشن به درستی استفاده کنم؟

از طرف دیگر، AI Engineering در یک لایه دیگر می‌ایستد و با «سیستمی» سر و کار دارد که نسخه اولیه یک مدل از‌پیش‌آموزش‌داده‌شده از قبل وجود دارد.
در این نقش، مدل معمولاً بخشی از سیستم است، نه کل آن. AI Engineer با طراحی جریان‌های end-to-end، اتصال مدل به ابزارها، APIها، دیتابیس‌ها و رابط کاربری، و همچنین کنترل هزینه، latency، خطا و رفتار سیستم در دنیای واقعی سروکار دارد.
سؤال محوری این نقش این است: چگونه یک سیستم هوشمند با استفاده از یک مدل از‌پیش‌آموزش‌داده‌شده بسازم که در محصول واقعی پایدار و قابل استفاده باشد؟

نکته مهمی که در فصل اول کتاب به آن اشاره می‌شود این است که با ظهور GenAI و مدل‌های پایه، بخش زیادی از ارزش دیگر در آموزش مدل جدید نیست، بلکه در طراحی سیستم، تعامل انسان و مدل، مدیریت خطا و خصوصا طراحی نظام ارزیابی (درباره نظام ارزیابی بعدا بیشتر سخن‌پراکنی خواهیم کرد) نهفته است.
این همان جایی است که AI Engineering اهمیت پیدا می‌کند. نه به این معنا که ML Engineering کم‌اهمیت شده است، بلکه مسئله‌ها تغییر کرده‌اند. همچنان در حوزه‌هایی مثل credit scoring، Dynamic Pricing، ... که با تسک‌های close-ended مثل classification سر و کار داریم، ML Engineering اولین گزینه مطرح است.

در پایان توصیه می‌کنم اگر علاقه‌مند به حوزه AI Engineering هستید، حتما این کتاب رو مطالعه کنین.

#book
@nlp_stuff