Инструмент недели. OpenTelemetry и Langfuse для мультиагентных систем

Мультиагентка - это параллельные ветки, сложные наследованная задач, дорогие тулколлы и длинные диалоги, бессонные ночи, сонные дни, дедлайны, базы данных и невыразимая необходимость облегчить себе жизнь. И тут на помощь приходят инструменты недели! OpenTelemetry даёт сквозные распределённые трейсы, Langfuse - доменную оптику LLM (промпты, токены, стоимость, оценки). Вместе это превращает рой в наблюдаемый, управляемый и улучшаемый.

Зачем это всё?
🥇Трассировка графа, а не линейки. OTel склеивает весь DAG в один трейс, где сразу видны «узкие места», циклы и боль.
🥈Смысл LLM-вызовов. Langfuse показывает промпты/ответы, токены, стоимость, оценки, версии.
🥉Контроль бюджета и качества. A/B, эвалы, маршрутизация по моделям, быстрый откат.

Как это выглядит (См. картинки)
👌 Трейсы (OTel) mission.A vs mission.B — видно, что Audit стал короче, параллельные ветки Tool и Scout не блокируют критический путь.
👌 Generations (Langfuse) для каждого LLM-шага — input/output, usage (токены), «стоимость», метаданные агента/версии.

Как повторить за 10 минут
1. Отправляй OTLP на https://cloud.langfuse.com/api/public/otel (Basic Auth: public:secret).
2. Оборачивай шаги агентов в start_span(...).
3. Каждый LLM-вызов логируй как generation в Langfuse (input/output + usage).
4. Сравни mission.A (до) и mission.B (после) - сразу видно, где выиграли в p95 и бюджет.

Прикреплённые скрины:
🖼Traces & Costs - обзор по трекам и расходам (отчёт Langfuse).
🖼Trace latency percentiles - p50/p90/p95 по трейсам и ключевым спанам.
🖼A/B таблица - сводка по агентам (ср. латентность, токены, стоимость) до/после.
🖼Цены на модели в настройках Langfuse). По умолчанию $$$ могут быть нулями, если не настроены модели. Нужно один раз занести цены и токенайзер.


TL;DR
Мультиагентные системы живут в графах, а не в линейных цепочках. OTel склеивает граф в единый трейс, Langfuse добавляет смысл (промпты, токены, стоимость, оценки). С этим дуэтом ты:
😏 быстрее находишь «узкие места» и циклы,
😏 держишь бюджет под контролем,
😏 системно улучшаешь качество через эвалы и сравнение версий.