На рынке железа для локального запуска больших языковых моделей (LLM) — два заметных сигнала: Intel готовит графический процессор с очень большим объёмом памяти, а конфигурации ноутбуков со 128 ГБ унифицированной памяти (unified memory) уже разбирают.
Intel Crescent Island: GPU серии D с 480 ГБ LPDDR5X
Intel присваивает новому графическому процессору «Crescent Island» серию D и указывает поддержку до 480 ГБ памяти LPDDR5X. Для практиков это означает: в памяти можно держать модели на 200–400 млрд параметров без сборки кластера из нескольких видеокарт и без агрессивного квантования, которое снижает качество ответов. Раньше похожие объёмы были доступны только в серверных GPU с дорогой памятью HBM (high bandwidth memory) и ценой уровня малого бизнеса. Кому полезно: командам, которым нужен локальный запуск больших открытых моделей, но не хватает 24–80 ГБ видеопамяти (VRAM) на одной карте. Оговорка: пока это анонс/название — ни дат, ни цен, ни независимых замеров нет.
Ноутбуки для локальных LLM: дефицит 128 ГБ unified memory
В обсуждении отмечают рост продаж ноутбуков на платформе NVIDIA RTX Spark и дефицит конфигураций Surface Laptop Ultra со 128 ГБ унифицированной памяти. Такая память позволяет выделить модели десятки гигабайт без отдельной GPU-рабочей станции, а CUDA-совместимость упрощает запуск привычного стека. Кому полезно: разработчикам и исследователям, которые хотят мобильный локальный инференс без отправки данных в облако. Оговорка: unified memory по пропускной способности всё же уступает выделенной GPU-памяти, а доступность может быть региональной.
Источники: обсуждения в r/LocalLLaMA (1x4g90u, 1x3ykyb).
━━━━━━━━━━━━━
📎 Источники:
• Any takers for local llm? NVIDIA’s CUDA Moat Is Accelerating RTX Spark Laptop Sales, Higher 128GB Unified Memory Options Belonging To Surface Laptop Ultra Already Out Of Stock
• Intel "Crescent Island" GPU Gets D-Series Name, Supports Up to 480 GB of LPDDR5X