Урок 5. LangSmith: трассировка, отладка и тестирование приложений на базе LLM
Время отдохнуть от кода и улучшить то, что у нас уже есть. Для этого используем инструмент визуальной отладки, который также покажет нам что происходило на каждом этапе нашего приложения – LangSmith
Что конкретно сделаем:
– подключаем LangSmith к нашему RAG
– смотрим каждый этап цепочки: retriever → контекст → prompt → LLM → output
– видим tokens / latency / ошибки
– собираем online evaluator (LLM-as-a-judge): ChatGPT сам оценивает качество ответа
– делаем Playground и сравниваем 2 промпта (мини A/B)
Кейс тот же: Antarctic Wallet – оплата USDT по QR-коду в магазинах и сервисах.
Стараюсь сделать так, чтобы всё было максимально применимо к реальности – для базы знаний / саппорта / FAQ
🎞 Видео
📖 Методичка в Notion
👩💻 Код с урока
❤️ Оплатить USDT по QR-коду
В следующем уроке – LangSmith (визуальный дебаг) + подготовка к AI агенту
SemolinaCode | Chat | YouTube