Маск долго тянул интригу, но таки к исходу недели выпустил Grok на волю.
https://github.com/xai-org/grok
1️⃣ Здоровенная херобора на 314B.
2️⃣ Код модели и инференса на jax+haiku.
3️⃣ 8 экспертов (на инференсе активируются 2).
4️⃣ Словарь - 128к токенов.
5️⃣ Модель идет с 8-битной квантизацией (что все равно потребует 4 A100, чтобы только уместить)
6️⃣ Длина контекста - 8к
7️⃣ Архитектура навскидку та же, что у Mixtral (Llama-подобный трансформер)