Новость N2.

#langchain #langsmith #news

Компания Langchain выпустила LangSmith - платформу для отладки, тестирования и мониторинга LLM-приложений в промышленных инсталляциях

Этот шаг стал быстрым ответом на основные жалобы разработчиков, в том числе:
* Понимание того, что именно представляет собой финальный запрос на вызов LLM (после всего форматирования шаблона запроса этот финальный запрос может быть длинным и запутанным)
* Понимание того, что именно возвращается из вызова LLM на каждом шаге (до пост-обработки или какого-либо преобразования)
* Понимание точной последовательности обращений к LLM (или другим ресурсам), а также того, как они связаны между собой
* Отслеживание использования токенов
* Управление затратами
* Отслеживание (и отладка) задержек
* Отсутствие хорошего набора данных для оценки приложения
* Отсутствие хороших метрик для оценки приложения
* Понимание того, как пользователи взаимодействуют с продуктом.

Подробнее можно прочитать здесь: https://blog.langchain.dev/announcing-langsmith/