Вдогонку про Stargate

Вижу, что некоторые коллеги по цеху пишут о том, что подобные огромные инфраструктурные проекты демократизируют ИИ и делают его доступнее, намекая на эффект масштаба: больше вычислительных мощностей = лучше удовлетворяется спрос = выше конкуренция = начнется ценовая война = ИИ будет дешеветь.

Зная чуть больше изнутри рынка, сообщаю: ИИ будет "дешеветь" совсем не потому, что где-то стало больше чипов (это может удешевить ИИ на проценты, но не на порядки). А в первую очередь за счёт математики, на уровне софта.

Есть такие штуки как "компиляторы". Простыми словами, это набор технологий, которые делает LLM эффективнее в разы, иногда в десятки раз. Не столько на уровне hardware-вычислений, а, условно, более правильно и продуктивно направляя эти вычисления программно. И такие компиляторы могут быть разработаны на разных этапах работы ИИ-модели. На первом этапе он ускоряет её (например, Claude) в 5 раз. На другом — ещё в 10. И вот у нас одна и та же модель производит вычисления уже до 50 раз быстрее и эффективнее на том же самом железе.

Именно математика и software-технологии приближают нас к real-time AI, когда фото, видео, целые VR-миры генерируются на ходу, без задержек, а не подобные Stargate вычислительные центры.

Если говорить про hardware, новые типы железа (NPU заменят GPU) тоже будут влиять. Но основная революция и тут будет в другой плоскости — в edge computing, т.е. в концепции, когда вычисления выполняются как можно ближе к пользователю. Nvidia уже представила домашний "комп для ИИ", чтобы мы могли запускать большие LLM прямо у себя на рабочем месте, не завися от инета, доступности облачных сервисов и т.п.

Я бы расценивал новость про Stargate именно как отличный рыночный сигнал к тому, что денег будет заливаться в ИИ ещё много, и все из этого вытекающие. Но не как что-то, что само по себе сделает прорыв и демократизирует ИИ.

@ProstoVenture #мнение