OpenAI показала свой 1-й чип, который обогнал Nvidia по эффективности

На конференции Hot Chips компания впервые поделилась подробностями своего чипа Jalapeño, созданный под инференс ИИ-моделей. См. в комментариях слайды.

OpenAI сделала упор вот на что:

1. Огромный scale-up до 2048 чипов в одном домене (128 внутри стойки + 16 стоек). Для сравнения, у Nvidia NVL72 всего 72 GPU.

2. KV-кэш остаётся локальным. Один универсальный чип сам меняет соотношение compute / memory / network в зависимости от фазы, а ненужные блоки просто гасит.

3. У каждого ядра свой кусок HBM,нет конкуренции за глобальную память. Данные по возможности лежат рядом с вычислениями.

4. GPT-Astra и Codex помогали и проектировали сам чип, и писали оптимизированные ядра. Три open-weight модели, которых изначально не было в планах, довели до высокой производительности за два месяца. Некоторые ИИ созданные блоки оказались в 1,5–1,8 раза быстрее, чем то, что создано человеком.

Что это значит?
Теперь OpenAI может сильно снизить стоимость и энергозатраты инференса при высокой интерактивности особенно для агентов.

А для рынка это большой сигнал - один 8-чиповый узел Jalapeño по памяти и энергоэффективности выгоднее целой группы wafer-scale систем на больших моделях.

Деплой планируют начать уже к концу 2026 года. Второе поколение уже в разработке, а третье на подходе.