⚡️ WORLD INTEL BRIEF
• 🔬 AMD Ryzen AI Max+ 395 с 128 ГБ общей памяти: три готовых стека LLM-инференса достигли 85–90% измеренного предела пропускной способности памяти; черновая генерация и параллельные запросы ускорения не дали. Замеры ограничены одним узлом, а модели использовали разное квантование. Zenodo
↳ Скорость этих конфигураций ограничивает чтение памяти, а не недозагрузка оборудования.
—
📡 @azalio_tech_summary
Post #9959
9