Больше попаданий в кэш означает меньшую стоимость и более низкую задержку при выполнении API-запросов.
Иногда системные инструкции требуется обновлять по ходу диалога или сессии. Но изменение системного промпта верхнего уровня инвалидирует кэш промпта для всего последующего контекста.
С Opus 4.8 можно передать сообщение с ролью
system прямо в середине диалога. Claude будет воспринимать его как авторитетную системную инструкцию, действующую с этого момента и до конца текущей беседы.В сочетании с автоматическим кэшированием это позволяет гарантировать, что такие обновления будут добавлены в кэш промпта.
Подробнее можно почитать в документации по автоматическому кэшированию, а здесь — документация по обновлению системного промпта прямо во время диалога 🎉