OpenAI и Jalapeño: как создать чип мечты за девять месяцев? 🔥
Пока технологии устремляются в будущее, OpenAI показывает, как создать собственный чип Jalapeño, который в тестах обошел конкурентов на базе Nvidia: в 1,5–1,9 раза больше работы на ватт и в 1,7–3,6 раза меньшая задержка. Есть ли в мире, где правят железные гиганты, место для смелых новичков?🙌
🔍 Главные цифры: Jalapeño в InferenceX дал 2,1–4,1 раза выше интерактивную производительность, чем Nvidia GB200/GB300. Для GPT-OSS 120B и DeepSeek R1 670B — в 1,9 раза больше mixed TPS/кВт и в 3,6 раза быстрее по задержке. Энергопотребление тоже впечатляет — фактическое не превысило 550 Вт против 1400 Вт у GB300. 🎯
🛠️ Технологии на службе у ИИ: в создании Jalapeño активно работали ИИ-модели. Менее чем за два месяца Codex на GPT-Astra оптимизировал три модели, изначально не планировавшиеся к производству. Итог: блоки attention стали в 1,5–1,8 раза быстрее, чем у конкурентов.
Post #3638
882

- 🤯 12
- 🔥 11
- ⚡ 2
- 👏 2
- 👨💻 2
- 🤩 1
- 🤗 1