По сообщениям, OpenAI нашла новые оптимизации инференса, которые снизили стоимость запуска моделей больше чем в два раза.

По данным The Information, инженеры в этом месяце рассказывали коллегам, что эти техники в какой-то момент позволили обслуживать ChatGPT для посетителей без бесплатных или платных аккаунтов всего на нескольких сотнях GPU Nvidia.

Точный метод пока не раскрыт. Это может быть квантизация, KV caching, batching, маршрутизация простых запросов на более дешёвые модели или комбинация всех этих подходов.

OpenAI закончила Q1 с gross margin 39% и хочет выйти на 52% к концу года. Более дешёвый инференс даёт компании пространство: улучшать маржу, поднимать лимиты ChatGPT или снижать ценовое давление API для разработчиков.

Moat OpenAI всё сильнее смещается в сторону инференса и преимущества по стоимости, особенно на фоне Anthropic.

https://www.theinformation.com/newsletters/ai-agenda/openai-discovers-new-way-cut-inference-costs-half

@ai_machinelearning_big_data