все эти лимиты на модельки, все эти урезания определенных моделек и их даунгрейд - все это происходит не просто так, братишка. У абсолютно всего этого есть ОДНА главная проблема
и это не "наплыв юзеров", это не "слишком много запросов", это даже не "мы не справляемся с нагрузкой!!!"
все намного проще - это GPU
ну точнее compute, если прям совсем быть правильным. GPU, дата-центры, электричество, охлаждение, сеть и все вот эти штучки
GPU? А че с ними не так???
а дело вот в чем. Каждую компанию можно мысленно разделить на три категории:
1. Ресерч
2. Продукт
3. Клиенты (обычные юзеры и enterprise-клиенты)
так вот теперь самая основная проблемка
ресерч - это отдел, который разрабатывает новую модельку, обучает ее и в целом требует на себя много ресурсов
продукт - это какой-нибудь сайт chatgpt, claude, API, агенты и так далее
клиенты - это обычные юзеры и enterprise-клиенты, которые ждут стабильности
понимаете, к чему все идет?
ресерчу нужны мощности, причем лютые. Но если на них переложить всю мощность, то тогда продукты могут падать и быть проблемы с их стабильностью. Тогда клиенты могут начать массово отменять подписки
и вот из-за этого у AI-компаний начинаются проблемки
куда отдать GPU?
на обучение новой модельки?
на API?
на enterprise-клиентов?
на обычных подписчиков, которые платят $20-200 и просто хотят быть счастливыми?
ИМЕННО поэтому и появляются всякие "урезания лимитов", "лимит на модель" и тому подобное
ИМЕННО поэтому у claude были проблемы с лимитами и тп, потому что им банально не хватало доступного compute под тот спрос, который на них навалился
а что получаем в сухом остатке?
сейчас модель - это половина продукта. Вторая половина - это способность дать миллионам людей доступ к этой модели без очереди, без деградации и без постоянных лимитов
поэтому SpaceX сейчас и лезет в эту тему так агрессивно
они уже дали Anthropic доступ к Colossus 1 - это дата-центр на 220k+ NVIDIA GPU и 300+ MW мощности. Ну и еще они купили Cursor, а это ОГО как!!
то есть у Маска есть xAI, у него есть огромные дата-центры, он еще и начинает продавать compute другим AI-компаниям + он купил Cursor
получается, что мы вполне можем увидеть очень мощную модельку от него в ближайшее время. В общем, все очень интересно...