Неожиданно полезный сценарий для Claude Code — дебаг сложных LLM-пайплайнов

Один промпт дебажить легко
Два подряд — еще терпимо
А вот пайплайн с классификатором, ветками выполнения, несколькими LLM и tools — уже боль

Проблему понять еще можно, а вот локализовать конкретное место в промпте или коде, которое ее вызвало, уже тяжело

Тут хорошо зашел Claude Code. Я просто даю ему ссылку на trace в Langfuse, и он разбирает выполнение. Причем читает не только сам trace и промпты, но и код вокруг

На моем стеке (LangGraph + Langfuse + промпты в коде) это сработало отлично. За 5–10 таких разборов во время разработки стало заметно меньше хрупких мест в пайплайне. Очень помогает то, что Claude видит не только trace, но и код, который задает поведение

Например, был такой кейс: агент очень слабо понимал выбор пользователя
Агент: “вот вам 5 вариантов”
Пользователь: “хочу 4–5”
Агент: “выберите вариант”

Claude раскопал, что проблема была не в этом шаге, а раньше — в промпте планера. Поправил его, и это действительно сняло проблему

По тому же принципу сделал разбор логов из Sentry. Там тоже работает, но пока пользовался меньше

Самое приятное — это оказалось очень легко собрать: просто попросил Claude Code сделать для этого скил

В общем, для дебага таких пайплайнов — очень рабочая штука