У классического RAG есть слабое место: почти каждый запрос снова идёт в vector DB, даже если данные статичны и не менялись месяцами.
Отсюда три проблемы:
— лишние обращения к базе
— выше задержка
— выше стоимость
🔜 Что предлагает CAG: статичный контекст не вытаскивается заново каждый раз, а заранее держится в KV cache модели. То есть модель как бы «помнит» важную базу знаний внутри уже подготовленного контекста.
Как это обычно делят:
— Static data → кэшируем
политики, документация, справочники, то, что редко меняется
— Dynamic data → достаём через retrieval
свежие документы, обновления, живые данные
🐸 Библиотека ИИ для айтишников
#neuro_dive