Почему генерация аутпута от ИИ ближе к электричеству, чем к традиционному софту

Наткнулся на мысль, которая засела в голове. OpenAI все сравнивают с SaaS-компаниями типа Salesforce: подписка, регулярная выручка, метрики. Но у SaaS есть свойство, которого у OpenAI нет: написал код один раз, дальше обслуживание каждого нового клиента почти ничего не стоит по сравнению с его привлечением. Отсюда большая маржа на долгосроке.

У OpenAI каждый ваш запрос это не просто обращение к серверу (это и в SaaS есть). Это тяжёлые вычисления на дорогих GPU, которые в этот момент жрут электричество. Разница в стоимости обработки одного запроса колоссальная. Чем больше пользуетесь, тем больше платит провайдер. Не фиксированная подписка, а счётчик, который крутится с каждым запросом. Как за электричество.

Чем больше думаю, тем больше нравится это сравнение.

В 1900 году финансисты говорили, что расходы на строительство электросетей «звучат как астрономическая математика». Сейчас про ИИ говорят то же самое. Серверы ставят ближе к пользователям, потому что инференс чувствителен к задержкам, точно как электростанции строили ближе к фабрикам. Цены за три года упали примерно в 1000 раз, провайдеры конкурируют ценой. Идет гонка к дну, как на энергорынке.

Тут ещё работает парадокс Джевонса. В XIX веке паровые двигатели становились эффективнее, но угля Британия потребляла всё больше. Дешевле, значит больше применений, значит больше потребление. С ИИ то же: рассуждающие модели стали умнее, но генерируют тысячи токенов перед ответом. Цена за токен падает, а общий счёт растёт.

И тут я понял, что это продолжение того, о чём я писал в посте про SaaSpocalypse выше. Там аргумент был: обёртки вокруг LLM обречены, потому что модели их догоняют. Но аналогия с электричеством идёт дальше. Дело не только в том, что новая модель убьёт твою обёртку. Дело в том, что весь слой инференса превращается в «ток из розетки». И тогда сам по себе он ничего не стоит. Ценность сдвигается не от обёртки к модели, а от всего вычислительного слоя к тому, что сверху: данные, интеграции, понимание контекста.

Дорогое то, что подключаете к розетке, а не сама розетка.

ЛигалТек101