Господа!

Неделю назад вышло любопытное интервью CEO NVIDIA Дженсона Хуанга. Посмотрел его еще на выходных, но руки не доходили написать. Исправляюсь)

Какие мысли:

* Понятно, что в таких интервью очень частая задача — дать точку зрения своей компании (которая может не совпадать с реальностью, естественно). В частности, если послушать Дженсена, то их чипы первые и тут, и тут и еще тут (и вообще непонятно, зачем нужны конкуренты (часть высказываний захотелось фактчекнуть))) Ну и хочется, конечно, сравнивать производительность в пересчете на стоимость чипа. Ибо маржа у них уже до 88% на чип (H100 SXM5, например, продается по ~$25 000–30 000, при себестоимости по данным tomshardware ~$3 320).

* Дваркеш бил не в бровь, а в глаз. Факт: две из трех наиболее сильных LLM — гугловая Gemini и антропиковский Cloud обучаются на TPU гугла, а не на картах NVIDIA. Дженсен признал, что Антропик приходили к ним и просили адекватных условий на карточки для обучения. Но NVIDIA не согласилась, после чего те обратились в Google и получили добро. Надо понимать, что обучение довольно сильно оптимизируется под железо (просто потому, что там каждый процент экономии это натурально миллионы долларов). И это большая работа. В этом смысле компании сменить карты для обучения — довольно дорогое решение. И NVIDIA, считая себя царем горы, оттолкнула взлетающий Антропик. О чем Дженсен жалеет.

* Большой кусок интервью (почти треть) был посвящен спору — продавать или не продавать мощные карты в Китай. Жесткая позиция Дваркеша была — ни в коем случае. А Дженсен пытался объяснить что США сами мотивируют выращивать в Китае свою экосистему вокруг китайских чипов, которые развиваются очень и очень быстро. А NVIDIA, напротив, долю в экосистеме теряет (ибо в силу специфики Китая, Китай намного больше США контрибьютит неплохой open source в экосистеме NVIDIA). Очень познавательный кусок интервью про Китай.

* Ну и прошлый пост был посвящен статье "AI+HW 2035: Shaping the Next Decade", в которой вангуется с высокой вероятность улучшение энергоэффективности в 100 раз за 5 лет и с умеренной эффективности в 1000 раз за 6-10 лет. Дженсен подчеркивает, что они кардинально улучшили энергоэффективность (например, улучшение с A100 до B200 — 4 года между релизами — достигает 40 раз). Это чистое железо, но при квантовании до FP4. На FP8 без оптимизации (т.е. можно оптимизировать и цифры будут выше) улучшение около 14 раз. На FP16 — 5-6 раз. Очень хороший прогресс, который будет сложен с прогрессом в алгоритмах)

Ближайшие годы будут запредельно интересны! 😁

Больше материалов на тему:
#speed_of_progress@vgcourse

Ну и я сейчас на ICLR в Рио! Море общения, информации и впечатлений 🤩

Stay tuned! 😁

@vgcourse