Принес вам классную статью с портала semianalysis: Groq Inference Tokenomics: Speed, But At What Cost?

В статье обсуждается производительность программно-аппаратного комплекса от Groq при работе с моделью Mixtral 8x7b. Обратите внимание, что на первом же графике указывается соотношение USD на 1 миллион токенов. Числа для топсов/флопсов придержите для рекламы и продакт брифов.

Интересен Groq в первую очередь с архитектурной точки зрения. Это VLIW машина, без внешний памяти, блоков типа предсказателя переходов, префетчеров, контроллера кэшей, а вся модель размещается на кластере, состоящей из Groq чипов.
В данной статье описывается, что для работы с моделью Mixtral потребовалось подключить 576-чипов, каждый из чипов обладает на кристальной SRAM памятью в 230 MB!

Фактически DSP-core AI/ML ускоритель от Groq — это классическая числодробилка. Блоки умножения матриц, как ни странно - для умножения матриц, VectorUnit для вычислений посложнее, например, обсчет активационных функций (sigmoid, softmax, и.т.п), а между модулями матричной и векторной обработки расположены блоки SRAM памяти.

Больше чисел, графиков и ссылок найдете в вышеуказанной статье