سرو مدل‌های تورچی با TorchServe

پایتورچ هم مثل تنسرفلو بالاخره کتابخونه سروینگش رو ارائه کرده. معادلش tfserve برای تنسرفلو میشه.
کاری که TorchServe انجام میده اینه که مدل شما رو به صورت یه http api تحویل میده. یعنی شما مدلتون رو آماده کنید و این براتون بالا میاره که راحت مثلا backendتون بهش درخواست بده و اینا از هم جدا باشند.
یه ویدیوی آموزشی هم دادند که مراحلش را توضیح میده. برای چند تا تسک مثل image classification کارهای سرو مدل رو خودش انجام میده و برای بقیه مدل‌ها هم کافیه چهار تابع از یه کلاس رو پیاده کنید تا مثلا برای مدل‌های هاگینگ‌فیس هم بتونید راحت سرو کنید.
برای استفاده در kubeflow و mlflow یکپارچه‌اش کردند و مثال‌های متنوعی واسه کتابخونه ترنسفورمرز هاگینگ‌فیس و MMF و .. هم درست کردند که بهره ببرید.

لینک ویدیوی توضیح و دمو (حتما لینک‌های توضیحات زیرش رو هم ببیینید):
https://www.youtube.com/watch?v=XlO7iQMV3Ik

پ.ن. پیش از این راجع به tfx در این پست [https://t.me/nlp_stuff/157] صحبت کرده بودیم.
#tool
#watch

@nlp_stuff