👑 PyTorch Monarch: программируйте кластеры, как локальную машину

Команда PyTorch представила Monarch — новый фреймворк для распределенных вычислений, который кардинально упрощает разработку сложных ML-воркфлоу.

🔥 Главная идея Monarch: иодель программирования с единым контроллером.

Вместо того чтобы вручную координировать тысячи узлов, вы пишете один скрипт, который оркестрирует все распределенные ресурсы. Ваш код выглядит и ощущается как простая Python-программа для одной машины, но масштабируется на тысячи GPU!

Ключевые особенности Monarch:
1️⃣ Monarch организует хосты и процессы в масштабируемые меши (сетки).
2️⃣ Начните писать код так, будто отказов нет (по умолчанию программа останавливается, как при обычном исключении). Затем, при необходимости, точечно добавьте обработку и восстановление после сбоев, как при перехвате исключений.
3️⃣ Monarch разделяет управляющий (обмен сообщениями) и информационный (RDMA-передача) уровни, что позволяет напрямую передавать данные между GPU в кластере с максимальной оптимизацией.
4️⃣ Monarch предоставляет тензоры, которые распределены по кластеру GPU. Операции с такими тензорами выглядят локальными, но выполняются по всему кластеру, а Monarch координирует работу тысяч GPU.

➡️ Подробнее

🐸 Библиотека питониста

#буст