PyTorch представили Monarch (новый фреймворк для распределённых вычислений)

Он делает работу с кластерами почти такой же простой, как запуск обычного Python-скрипта. Вместо старого SPMD-подхода теперь всё управляется одной программой, которая координирует тысячи GPU как единую систему.

Процессы объединяются в структуры, похожие на массивы, отказоустойчивость решается через обычный try/except, а данные передаются напрямую между GPU по RDMA. Распределённые тензоры выглядят и ведут себя как локальные. Monarch легко интегрируется с VERL, TorchForge и Lightning AI, так что обучать и отлаживать большие модели можно прямо из Jupyter.

В итоге кластер ощущается как одна машина, а распределённые вычисления как обычный Python-код. 🦝

👉 @PythonPortal