Похоже, гонка персональных устройств для локального ИИ началась всерьёз.

Apple сегодня представила M5 Ultra - первый четырёхкристальный чип компании. До 36 ядер CPU, 80 ядер GPU, 512 ГБ унифицированной памяти и пропускная способность 1,2 ТБ/с. На 50% больше, чем у M3 Ultra. Mac Studio с таким чипом начинается с $5499.

А буквально накануне Xiaomi показала прототип AI Cube. Внутри сразу три собственных чипа: Xring O3, O100 и D100. До 160 ГБ памяти, локальный запуск связки моделей 120B и 3B, потребление до 150 Вт. Ускоритель O100 получил пропускную способность 1,22 ТБ/с и в демонстрации выдавал до 330 токенов в секунду на MiMo 3B.

Самое забавное - на слайдах у Apple и Xiaomi почти одинаковая цифра: 1,2 ТБ/с.

Подозреваю, Xiaomi будет заметно дешевле Apple (ставлю что стоимость будет не больше 300к за 128 памяти. Им надо со Spark конкурировать) - если эта коробочка вообще доберётся до розницы. Пока это инженерный прототип без цены и даты начала продаж, а коммерческое применение O100 и D100 обещают только в 2027 году.

И главное: проблема локальных LLM постепенно становится не в том, как их запустить. Память и пропускная способность это уже позволяют. Проблема - сделать модель действительно полезной: дать ей нормальные инструменты, контекст, доступ к файлам и сервисам и заставить надёжно выполнять работу, а не просто очень быстро генерировать текст.

В общем, 1,2 ТБ/с у нас уже есть (осталось заплатить 1.5-2 млн за версию на 512). Теперь бы придумать, что полезного гонять через них каждый день.