Запуск гигантских нейросетей на Mac Studio

Apple обновила фреймворк MLX, позволив запускать мощные языковые модели прямо на рабочем столе. Благодаря поддержке чипов M5 Ultra и технологии RDMA через Thunderbolt, теперь можно объединять несколько Mac Studio в кластер для работы с моделями, которые раньше требовали серверного оборудования.

Главные возможности новой версии:

• Запуск frontier-моделей: например, Muse Spark Open (816 млрд параметров) теперь работает локально.
• Высокая скорость: чипы M5 Ultra ускоряют генерацию первого токена в 4,6 раза по сравнению с M3 Ultra.
• Распределенные вычисления: использование RDMA позволяет эффективно распределять нагрузку между компьютерами через Thunderbolt.
• Энергоэффективность: вся система потребляет значительно меньше энергии, чем профессиональные серверные решения.

Разработчики могут использовать MLX для создания локальных ИИ-агентов, обеспечивая приватность и высокую производительность без облачных сервисов.