Архитектура Apple Silicon оказалась почти идеальной для запуска больших языковых моделей.

Всё благодаря сочетанию быстрой памяти, высокой пропускной способности и единой архитектуры памяти.

Mac Studio M5 Ultra с 512 ГБ памяти и пропускной способностью 1,2 ТБ/с способен целиком уместить GLM-5.3-Flash на 320 млрд параметров в FP8 и выдавать около 60 токенов в секунду локально, прямо на рабочем столе.

Альтернатива на ПК?

Примерно 10 RTX 5090 стоимостью более $20 000 и своя небольшая электростанция.

Полная версия GLM-5.3-Flash на 320 млрд параметров в FP8 весит около 306 ГБ.

У одной RTX 5090 всего 32 ГБ видеопамяти. Поэтому только для размещения весов модели понадобится минимум 10 видеокарт.

10 × 32 ГБ = 320 ГБ.

Mac Studio решает эту проблему за счёт единого пула памяти объёмом до 512 ГБ с пропускной способностью 1,2 ТБ/с.

Вместо того чтобы собирать ПК-кластер из множества видеокарт, бороться с задержками шины PCIe и энергопотреблением в районе 5000 Вт, можно загрузить всю модель объёмом 306 ГБ вместе с огромным контекстом и KV-кэшем в один настольный компьютер.