Интересный отчет про юнит экономику LLM API:
1) Маржинальность OpenAI упала с 75% до 55% - спасибо конкуренции и open source-у
2) Мы (разработчики) не повысили свои обьемы потребления настолько, чтобы перекрыть снижение цен, поэтому общая выручка API бизнес падает —> в районе $500M
3) Часть экономии достигнута более эффективной работой с памятью - те самые software optimizations, о которых говорили мы на 2й встрече по GenAI
4) Авторы отчета видят 2 сценария:
- OpenAI придется еще дропнуть цены из за конкуренции
- Появится новый класс моделей (glt4, claude opus 3.5), за который можно будет чарджить больше.

По мне так эти оба сценария состоятся до конца года. Так что разрабатываем свои продукты, углубляем проникновение в бизнес и интеграции, и пожинаем плоды падающих затрат на api, улучшающегося качества, и, пока на нашей поляне недостаточно конкурентов, повышенной маржинальности!