#полезное
😬 Каждый повторный вызов LLM — это просто сжигание денег

Обычный кэш тут не поможет, если только промпт не совпадает дословно.

Redis 8 меняет правила игры с семантическим кэшированием, которое понимает смысл, а не только ключ.

LangCache + Vector Sets + Redis Flex = быстрее, дешевле, умнее

Полный разбор:
https://newsletter.systemdesignclassroom.com/p/every-repeated-llm-call-is-money-on-fire

👉Новости 👉База вопросов