برای سال ها محبوب ترین استاندارد برای انجام محاسبات توزیع شده MPI بوده.
یکی از پروژه های که سعی کرده جایگزین راحت تری به خصوص برای کاربرد های machine learning ارائه بده Ray هست

https://www.ray.io/

با قاطعیت نمیشه گفت ولی به نظر میاد OpenAI هم از Ray برای train مدل هاش استفاده می‌کنه.واسم جالب بود چون خودم اول حدس میزدم از MPI استفاده کرده باشن. به هر حال در این مورد اطلاعات زیادی منتشر نکرده.
به هر حال یادگیری Ray خیلی آسونه حتما امتحانش کنید.

@hpcnerds