[Релиз]
OpenSource LLMку от опенэйай добавили официально в релиз 4.55 трансформеров от 🤗.
Большинство догадок подтвердились:
📌 2️⃣ модели - большая (120B) и меньшая (20B). Однако обе из них MoE (а не меньшая dense).
📌 FP4 квантизация экспертов. Но, оказалось, что MXFP, а не NVFP.
На хабе где-то лежит оптимизированный кернел под attention_sinks, но ссылка битая.
UPD (веса появились)
- gpt-oss-120b
- gpt-oss-20b
Post #523
3.12K
- 👍 4
- 🔥 1
- 🥱 1