AI-кластер на компьютерах Mac

Вчера (да-да, в пятницу, ничему людей жизнь не учит) вышла новая версия ОС для компьютеров Apple. Среди прочих фич, интересной для меня показалась вот какая. С версии 26.2 появляется возможность объединять компьютеры Mac в общий кластер для распределенного inference

Как вы помните, с чипами Apple M в настольном компьютере появилось понятие unified memory. Это когда нет больше разделения на RAM для CPU и RAM для GPU. Вместо этого память стала общей и доступна на высокой скорости и тому и другому устройству. По максимуму из этого выжать пользы в ML-задачах помогает фреймворк MLX, который является по сути заменой PyTorch, но построен изначально с упором на возможности Apple Silicon

Так вот, с помощью MLX, macOS 26.2 и простого советского кабеля Thunderbolt 5 можно теперь объединить устройства в кластер и делать инференс моделей сразу на кластере, объединяя и вычислительные возможности и увеличивая доступную память. Например, можно собрать кластер, с больше чем 512Gb RAM у себя в гараже дома

Обратной стороной медали может стать повышенный интерес бизнеса к этой возможности. Компьютеры Apple (возможно неожиданно для самой компании) могут стать выгодным способом организации кластера средних размеров. Не хотелось бы наблюдать как они пропадут с полок, особенно принимая во внимание имеющийся дефицит памяти на мировом рынке

Источники: Apple Developer portal, MLX Github