Выглядит довольно многообещюще - groq утверждают что смогли разогнать микстраль до ~500 токенов в секунду. Для примера скорость генерации llama 2-7B-4bit на 4090 около 150 токенов в секунду - так что 500 - это впечатляющий результат.

Пока нет возможности запустить их инференс сервер у себя, они чисто продают доступ по API.
А для ускорения локального инференса моедли советую чекнуть - Faster LLM, faster