Две новости для тех, кто запускает модели локально: флагманские карты стало ещё труднее достать, а распределять модель между видеокартами можно научиться без остановки генерации.
RTX 5090 уходит в контрабанду. Игровая карта Nvidia из-за экспортных ограничений и ажиотажного спроса попала в серые схемы поставок — её везут как сигареты. Для практиков это значит, что локальный инференс на топовом железе остаётся дорогим и ненадёжным: цены выше официальных, гарантии нет, доступность хуже. Полезно тем, кто планирует сборку или апгрейд под LLM: лучше закладывать риски дефицита и смотреть на альтернативы с большим объёмом памяти.
Горячая миграция слоёв между GPU. При запуске больших моделей на нескольких видеокартах слои обычно закреплены за конкретной картой. Новый метод переносит слой на другую карту прямо во время ответа за 8 мс и без повторного prefill — пересчёта кэша контекста. Раньше перенос требовал остановки генерации или повторных вычислений, что стоило секунд и памяти. Выгода: можно динамически балансировать нагрузку, освобождать VRAM под вторую модель и обслуживать несколько пользователей без перезапуска. Полезно командам, которые держат локальный инференс на нескольких GPU. Оговорка: пока единичная демонстрация без независимых бенчмарков.
Источник: r/LocalLLaMA
━━━━━━━━━━━━━
📎 Источники:
• Moving a running model's layers between GPUs mid-reply (8 ms, no re-prefill)
• So this is how they do it --> RTX 5090, once a consumer gaming card, is now on smugglers’ menu alongside cigarettes