Andrew Ng про цену LLM инференса

За последний год цена на лучшую модель OpenAI уменьшилась на 79%.

Почему?

💸 Конкурирующие LLM инференс провайдеры (anyscale, together, etc) вкладывают кучу денег в оптимизацию инференса опенсорсных моделей. Ведь дорогущее предобучение сделает какая нибудь Meta =) Поэтому и OpenAI приходится снижать цену

🚀 Успехи стартапов типа Groq позволяют делать безопасный прогноз на ещё более значительное снижение в будущем. Ну и гиганты типа nvidia/amd не сидят без дела

🧠 Появление более умной модели ганартирует появление более эффективной (через дистилляцию). А модель поменьше инферить ещё дешевле

Отсюда логичный совет: фокусироваться на построении полезных продуктов, а не на оптимизации LLM костов.

Если, например, пайплайн с агентом сейчас экономически невыгоден, скорее всего это изменится в будущем

Твит Эндрю

@building_singularity