Тезисы Cristiano Amon [ Qualcomm ] p.2
2026 /post-GPU архитектура для дата-центров под инференс ИИ
Мы всегда считали, что при переходе к инференсу появится большая конкуренция между игроками. Тогда значение имеет совокупная стоимость владения, энергопотребление и архитектура. Логика такая: в телефоне энергоэффективность критична, а энергия — узкое место для ИИ. Это преимущество можно перенести в дата-центр. Если посмотреть на текущий агрессивный рост ИИ, то роста энергогенерации в таком же темпе нет. Уже есть разрыв между доступной энергией и потребностями ИИ. Энергия станет ресурсом для работы инференс-дата-центра и одним из крупнейших пунктов операционных расходов. Второй момент — архитектура. Дата-центр проходит ещё один этап дизагрегации. В мобильной индустрии смартфон — сложнейшая инженерная задача. Нужно уместить много вычислений в корпусе, который помещается в карман. Он не должен нагреваться. Вы касаетесь экрана, прикладываете его к лицу. Нельзя ставить вентиляторы. Нельзя использовать жидкостное охлаждение. Батарея должна работать весь день, иначе устройство бесполезно. Чтобы этого добиться, мы довели до совершенства дизагрегацию вычислений. Дата-центры идут в этом направлении. Уже начинается дизагрегация. Есть архитектура для prefill, есть для decode.Мы строим то, что считаем post-GPU архитектурой для инференса — когда нужны специализированные движки. Я считаю, что приобретение Nvidia компании Groq подтверждает идею: нужны разные движки под разные задачи. Именно этим мы и занимаемся. Это наш фокус в дата-центрах.
2026 / AI PC - Edge вычисления
Главное — возможность выполнять значительный высокопроизводительный инференс прямо на ноутбуке. Сейчас множество приложений используют облачные вычисления. Если задействовать вычисления на самом ПК, это быстрее и меняет экономику. Пример. SaaS-компании сейчас под давлением из-за ИИ. Если в их приложении есть агент, и каждый раз данные отправляются в облако для обработки, они платят за облачные вычисления. Экономика резко меняется, если часть вычислений выполняется на устройстве. Практический пример: кнопка «Summarize this» — «Суммируй это». У тебя несколько страниц текста. Можно отправить в облако и платить за вычисления, а можно запустить модель суммаризации на компьютере — это бесплатно, потому что это твое устройство. Мы уже видим интерес со стороны предприятий и разработчиков к тому, чтобы часть логики запускать на AI-движке устройства. Это начинается прямо сейчас. В корпоративном сегменте экономика изменится, потому что многие ISV и SaaS-приложения будут требовать вычислений на устройстве. И это будет иметь значение.
2026 / Bottlenecks Физического ИИ
Нужна зрелость моделей — они должны стать более развитыми и способными. Мы только в начале эры «физического ИИ», который критически важен для контекста. Вторая часть — вычисления. Нужно много высокопроизводительных вычислений. И здесь мы подключаемся, потому что всё нельзя делать в облаке — из-за задержек. Некоторые задачи должны выполняться на устройстве и быстро. Сейчас распознавание речи начинают делать локально, потому что задержку никто не терпит. Мы к этому придем.
Задержка 200-300 мс через облачные вычисления, локальный 20-30 мс. Реакция должна быть быстрее, чем человек моргает ( 100 мс ) .
2026 / Гонка ИИ - edge устройства
На мой взгляд, когда ИИ станет физическим, победит тот кто в итоге кто будет контролировать большую часть устройств. Без личного устройства не будет контекста. Когда мы перейдём к моделям с «физическим AI» — которые понимают реальный мир, твой контекст, тебя — они будут гораздо полезнее, чем обобщённая модель, обученная на интернет-данных. Поэтому тот, у кого есть доступ к такому контекстному данным, будет в очень сильной позиции. Это компании, которые уже присутствуют во множестве устройств. У них преимущество
Post #106
179