Пока все ноукодеры обсуждают апдейты от Bubble, вкину новость от OpenAI. Они выкатили оч полезное изменение в API: prompt caching
Почитать подробнее можно здесь: https://openai.com/index/api-prompt-caching
В двух словах: если вы используете один и тот же промпт в разных API запросах, то OpenAI будет самостоятельно использовать его кэшированную версию, которая в 2 раза дешевле, чем обычная версия. И если я правильно понял, то в беседе между пользователем и AI агентом по полной стоимости будут чарджиться только новые сообщения, а история сообщений будет оцениваться в 2 раза дешевле.
Чуть позже, возможно, поделюсь цифрами как изменилась стоимость запросов. Но в любом случае круто, что ничего менять не нужно, а цена будет меньше😀
Post #420
1.3K