⚡️ WORLD INTEL BRIEF
• 🆕 Nvidia открыла конструкции стоек и вычислительных лотков Vera Rubin через Open Compute Project; совместно с Cisco, Google, Meta и Microsoft компания представила открытые стандарты AI-инфраструктуры. ITHome
↳ Производители серверов получили общую основу для систем следующего поколения Vera Rubin.
• 🆕 llama-roofline определяет предел скорости локальной LLM, оптимальное число потоков и подходящее квантование по замерам памяти и `llama.cpp`; для неизвестного оборудования инструмент отказывается угадывать и предлагает провести измерения. Zenodo
↳ Узкое место локального инференса теперь диагностируется готовой CLI-командой.
—
📡 @azalio_tech_summary
Post #9946
6