Что это. Liquid AI опубликовала модель LFM2.5-24B-A2B. Судя по названию, это смесь экспертов: общий объём — 24 млрд параметров, а на каждый токен активируются около 2 млрд (A2B). Смесь экспертов означает, что модель состоит из нескольких специализированных блоков, и для каждого токена работает только нужная часть, а не все веса сразу.
Зачем. Обычная модель на 24 млрд параметров заставляет видеокарту читать и считать все веса на каждом токене — это медленно, дорого и требует много VRAM. Такую модель трудно запускать на одной потребительской GPU и неудобно использовать в агентных циклах, где к ней обращаются десятки раз подряд.
Выгода. Если архитектура работает как заявлено, инференс по скорости ближе к модели на 2 млрд параметров, при этом модель сохраняет знания и способности более крупного класса. Для локального запуска это потенциально означает меньше памяти и выше скорость без облачной подписки. Точных бенчмарков и требований к железу в треде пока нет — нужна проверка на своём стеке.
Кому полезно. Тем, кто запускает модели локально на 24–48 ГБ VRAM; разработчикам агентов, которым нужен быстрый отклик; командам, чьи данные нельзя отправлять в облако.
Оговорка. Пока нет независимых замеров и деталей о лицензии. Поддержка MoE в локальных рантаймах может быть капризной, поэтому стоит дождаться тестов на llama.cpp/vLLM или проверить модель на своей задаче.
Источник: тред r/LocalLLaMA.
━━━━━━━━━━━━━
📎 Источники:
• LiquidAI/LFM2.5-24B-A2B