Пятничное чтиво

🖖В майскую пятницу поговорим о языковых моделях. В подборке Джим Аллен Уоллес из Redis дает рекомендации по использованию ИИ-инструментов, а также практики по ускорению и оптимизации работы.

⏺ Когда использовать ИИ-агентов?
В статье автор разбирает, как устроен рабочий цикл ИИ и в каких случаях стоит опираться на шаблоны (workflows), а где модели следует работать автономно. От этого выбора напрямую зависят надежность, стоимость, задержки и то, как часто вам придется разбираться с ночными инцидентами.

На примере кейсов чаще всего работает гибрид, баланс детерминированности с гибкостью. Примеры и практики здесь.

⏺ Что скрывается за P99 latency: разбор 1% худших запросов
Показатели среднего времени ответа в норме, а пользователи все равно жалуются на задержки. Для тех, кто работает с LLM системами, пайплайнами RAG или ИИ-агентами, P99 latency – ключевой показатель эффективности. Автор объясняет, откуда берутся редкие, но особенно неприятные «хвостовые» задержки, как их измерить и улучшить. Все подробности – тут.

⏺ Подводные камни токенизации в LLM
Уоллес описывает, как устроена токенизация, и почему она так важна для ИИ-разработки. В статье по шагам разбирается, как текст превращается в токены и почему длина запроса влияет на нагрузку и цену. Внутри указаны практические способы сократить расход токенов: от более точной настройки промптов до семантического кэширования. Читаем здесь.

Желаем приятного чтения и хороших выходных!

#девопс #llm #redis #пятничное_чтиво