‍FastFlowLM 1.0

11 августа опубликован FastFlowLM 1.0, первый общий выпуск проекта после его перехода под управление AMD. FastFlowLM представляет собой систему локального запуска больших языковых и мультимодальных моделей на NPU в процессорах AMD Ryzen AI, ориентированную на похожий на Ollama сценарий работы, но с использованием нейропроцессора вместо GPU.
Переход имеет для проекта особое значение: 17 июля команда FastFlowLM присоединилась к AMD, а разработка была переведена из FastFlowLM/FastFlowLM в организацию ROCm на GitHub. AMD заявила, что FastFlowLM войдёт в программный стек компании для клиентских систем и рабочих станций с ИИ-ускорителями. При переносе сохранены история репозитория, issues и pull requests, а все последующие выпуски будут публиковаться в ROCm/FastFlowLM.
FastFlowLM предназначен для NPU архитектуры AMD XDNA2 и поддерживает семейства Ryzen AI Strix Point, Strix Halo, Kraken Point и Gorgon Point. Проект позволяет запускать на NPU языковые и vision-language модели, модели распознавания речи, embeddings и MoE. Заявлена поддержка контекстного окна вплоть до 256 тыс. токенов для некоторых моделей. Размер самого runtime составляет около 17 МБ.
Основные изменения FastFlowLM 1.0:
( читать дальше... )



 amd, fastflowlm, llm, rocm

👉@sysadminoff

https://www.linux.org.ru/news/ai/18357231