Оценка и тестирование LLM и MCP локально с помощью Docker и Promptfoo

В статье рассказывается, как использовать открытые инструменты Promptfoo и Docker для локального запуска, сравнения и оценки моделей ИИ и MCP-серверов. Это помогает быстро тестировать и анализировать качество без необходимости облачных сервисов. Новые возможности тестирования AI-агентов с Docker и Promptfoo
Docker Model Runner и MCP Toolkit позволяют запускать и проверять AI-модели напрямую, включая защиту и безопасность через AI-редтим-атаки. Подробности доступны в репозитории docker-model-runner-and-mcp-with-promptfoo.

Подробности: https://www.docker.com/blog/evaluate-models-and-mcp-with-promptfoo-docker/

#en

@devo_pes | Другие наши каналы