Господа!

Поговорим о развитии железа)

Тут недавно на архиве вышла любопытная (хотя и водянистая местами) статья "AI+HW 2035: Shaping the Next Decade" — формирование следующего десятилетия в железе для ИИ, короче! В авторах NVIDIA, Google, AMD, OpenAI, Oracle AI, HP, IBM, SK Hynix (производство HMB), Synopsys (софт для проектирования железа) молодые AI-HW стартапы типа SEMRON, SambaNova Systems, EnCharge AI, Agentrys и куча университетов, занимающихся железом. В общем они собрали довольно много конкурентов и коллег в одном месте)

Статья написана по материалам осеннего одноименного семинара (куча слайдов презентаций университетов и компаний доступна тут, но такое впечатление, что компании свои секреты старались максимально не выдавать))).

Какие мысли по поводу:

* В последнее время регулярно слышу, что мол скоро токены в цене возрастут, поскольку уже реальный дефицит датацентры строить не успевают. К вашему сведению: компетентные товарищи уверенно декларируют 100-кратное увеличение энергоэффективности чипов для LLM в ближайшие 5 лет и 1000-кратное увеличение (с умеренной вероятностью, по крайней мере на текущих технологиях) в ближайшие 10 лет.

Даже 100 раз — это очень много. Это значит, что через 5 лет токены будут примерно в 100 дешевле даже если алгоритмы остановятся в развитии (что, конечно, не так).

И это выглядит совершенно реальным. NVIDIA ровно за 2 года показала в GB200 в 25 раз более высокую энергоэффективность по сравнению с H100, а Ultra B300 в 50 раз.

AMD также на своих чипах MI350X декларирует рост энергоэффективности в 35 раз за 5 лет.

Понятно, что это часто "в прыжке" (в наиболее эффективном кейсе), т.е. измеряется например, производительность в новых модных FP4, которые ранее почти не использовались, но тем не менее измеряется часто опенсорсный DeepSeek, т.е. вполне реальная сложная модель.

* Bottleneck смещается с арифметики на data movement. Забавно, что я про это писал еще в далеком 2019 на Хабре, но с тех пор из арифметики удалось выжать еще очень много! Соответственно вангуется, наконец, переход от compute-centric к memory-centric и data-centric архитектурам. Ибо иначе "стена".

В этом плане вполне может наступить время стартапов типа SambaNova и SEMRON. Суммарно AI-чип-стартапы привлекли $7.6 млрд венчурного капитала в мире за 2024–2025 г. Это ОЧЕНЬ много. Для них сейчас годы золотого дождя после десятилетий засухи, когда получить деньги на чип было нереально.

* Параллельно идет AI-driven автоматизация проектирования чипов (епархия Synopsys и Agentrys.ai), которая существенно ускоряет процесс создания новых эффективных чипов.

Учитывая, конкуренцию NVIDIA, Google (с TPU), AMD, (Intel, который может купит SambaNova) и китайских производителей (которых на семинаре и в статье нет от слова совсем), прямо скажем есть кому позаботиться о том, чтобы стоимость вычислений очень ощутимо падала.

Мы живем в удивительнейшее время! 😁

Больше материалов на тему:
#speed_of_progress@vgcourse

Stay tuned! 😁

@vgcourse