Миньоны теперь распределяют ИИ-мощности в Apple

Исследователи компании представили Minions — систему, которая превращает простаивающие GPU Mac’ов в общее вычислительное облако. Причина житейская: некоторые ИИ-задачи внутри компании ждали свободных серверных GPU больше десяти часов. А на столах стояли компьютеры с незанятыми ускорителями.

Под капотом — сервер-координатор, очередь в PostgreSQL и программа-исполнитель на каждом Mac. Сервер разбивает задачу на независимые порции; компьютеры сами забирают их через API. База гарантирует, что одну порцию не схватят одновременно два исполнителя. Исходные данные и результаты хранятся в Amazon S3, модели скачиваются и кешируются локально. Языковые модели запускаются через Ollama, модели для эмбеддингов — через Hugging Face Transformers.

Каждый Mac выполняет свою порцию с локальной моделью. Такая схема позволяет параллельно обрабатывать множество запросов или документов. Если компьютер уснул или владелец остановил исполнителя, система возвращает незавершённую работу в очередь.

Несколько команд Apple уже пользуются Minions: задачи часто стартуют через минуты вместо часов. Самая прекрасная деталь исследования — сотрудники пишут коллегам в Slack и просят временно подключить компьютеры к конкретному проекту. Когда такая работа заканчивается, компьютеры переключаются на задачи остальных. Получается вычислительная взаимопомощь: сегодня коллеги помогают тебе, завтра твой Mac разгребает их очередь.

У Nvidia, кстати, есть похожий инструмент PAIR: он распределяет независимые запросы между компьютерами с RTX, DGX Spark и совместимыми Mac’ами в локальной сети. Доступен под Apache 2.0. Ждём, когда ответный ход совершат яблочники.

@anti_agi