Новые модели от Apple выглядят интересно.

Главная модель - AFM 3 Core Advanced: 20 млрд параметров, которые полностью работают на устройстве.

Ещё раз: 20 млрд параметров, on-device, на iPhone 17 Pro.

Apple обходит обычное ограничение по DRAM за счёт того, что держит полную модель во flash-памяти, а в активную память под каждый запрос подгружает только небольшую часть «экспертов» - примерно от 1 до 4 млрд параметров за раз.

Это умный способ выжать большую модель из мобильного железа без постоянного упора в память. Именно такой подход открывает вещи вроде более выразительных голосов и заметно более точной диктовки прямо на устройстве.

Вся линейка из пяти моделей была сделана вместе с Google. Она покрывает разные сценарии: от on-device моделей до серверных вариантов на Private Cloud Compute. Самая тяжёлая облачная модель при этом работает уже на NVIDIA GPU.

https://machinelearning.apple.com/research/introducing-third-generation-of-apple-foundation-models