Apple выпустили M6 и M5 Ultra

Цены сильно выросли, но приросты в метриках есть.

M6 – базовый чип, 12-core CPU, 12-core GPU, сдвоенный 16-core Neural Engine, до 32 ГБ unified memory, до 170 ГБ/с bandwidth. По цифрам Apple до 4.8x быстрее prompt processing, чем на M4. При 32 ГБ комфортно живут модели 7B–14B, квантованные 27-32B (Gemma 3, Qwen) тоже влезают. Mac mini с M6 от $899.

M5 Pro (тоже в Mac mini, старшая конфигурация) – до 18-core CPU, 20-core GPU, до 64 ГБ памяти, 307 ГБ/с. Норм для квантованных 70B-моделей (Llama 3 70B в 4-bit – это ~40 ГБ). Цена от $1699.

M5 Ultra (Mac Studio) – уже совсем другая весовая категория: до 36-core CPU, 80-core GPU, до 512 ГБ памяти, 1.2 ТБ/с bandwidth. Позволяет держать в памяти хорошие крупные модели, включая тяжёлые MoE. От $5499, а топовая конфигурация – за $18 000.

Так что полноценные 70B locally все-таки пока не выйдет, если вы случайно не Скрудж Макдак