Безумно быстрое масштабирование ИИ рано или поздно столкнется с ограничениями.

Никто пока не знает, какими именно, но природа экспоненциального роста и весь наш опыт говорят, что постоянно будут возникать "бутылочные горлышки", замедляющие прогресс.

Например, Альтман и Цукерберг уже вовсю обсуждают гигаватные ядерные реакторы. Что все упирается в энергию и время на строительство. Инфраструктура Amazon, Google, Meta и Microsoft жрет 22 гигаватта электроэнергии. А S&P говорит что в ближайшие несколько лет обьем вырастет ещё в полтора раза. Это оч много, как несколько крупных городов.

Вот вам маленький кусочек интервью, где Марк рассуждает, что бабки не проблема - не хватает энергии, чтобы кормить датацентры: https://www.youtube.com/watch?v=Pa4-ZEnWWDE

Сатья Наделла рассказывал, что им приходится решать забавные проблемы - электрическая сеть внутри одного штата не вывозит поддерживать датацентр с 100к видеокарт. Поэтому их приходится размещать в разных штатах. А это усложняет тренировку из-за задержек в синхронизации. Модели уже настолько большие, что их сложно запихнуть в один датацентр не только из-за объема вычислений но и из-за расхода энергии.

Пока масштабирование работает, модели будут становиться еще больше. А чем больше модель и чем больше у тебя юзеров, тем кратно дороже поддерживать ее работу в продакшене. Короче, ограничения лезут буквально отовсюду.

#ai