Последнее время работаю с api claude и в поисках как сделать это затратное дело менее затратным нашли такую тему как "Пакетная обработка"
Message Batches API — это асинхронная обработка запросов пакетами. Вместо того чтобы слать запросы по одному и ждать ответа на каждый, вы формируете пакет из сотен или тысяч запросов и отправляете разом. Claude обрабатывает их в фоне — а вы получаете скидку 50% от стандартной цены на весь объём (и input, и output).
Как это работает:
➡️ Собираете список запросов, у каждого — свой custom_id
➡️ Отправляете пакет одним вызовом API
➡️ Опрашиваете статус или просто ждёте — большинство пакетов готовы меньше чем за час
➡️ Забираете результаты в формате .jsonl
Ключевые цифры:
➡️До 100 000 запросов или 256 МБ на пакет
➡️Результаты доступны 29 дней
➡️Максимум ожидания — 24 часа (после этого запрос считается expired и не тарифицируется)
➡️Работают все активные модели, включая Opus, Sonnet и Haiku
➡️Поддерживаются vision, tool use, system prompts, мультитерн-диалоги — всё то же самое, что и в обычном Messages API
Бонус: кэширование подсказок можно комбинировать с батчами — скидки складываются, а при хорошем повторном использовании контекста экономия получается ещё заметнее.🐸
Для чего использовать:
— массовая модерация контента
— генерация описаний товаров, резюме статей
— прогон больших eval-датасетов
— аналитика и извлечение данных из больших массивов текста
Если задача не требует ответа здесь и сейчас — Batches API закрывает её за половину цены. Для стартапов и продакшн-пайплайнов с большим трафиком это реально ощутимая экономия.
🪐 Ссылка на документацию: platform.claude.com/docs/ru/build-with-claude/batch-processing