Сегодня хочу поговорить про тестирование технологии, которая активно применяется в ИИ агентах, а именно MCP-сервере.

Как убедиться, что он работает правильно?

Тестировать MCP сервер нужно по уровням, потому что каждый уровень отвечает за свой слой.

Уровень 1 - MCP Inspector. Это как Postman, только специально для MCP. Запускаете одной командой, открывается веб-интерфейс, и вы сразу видите список всех инструментов, можете вызвать любой вручную и посмотреть сырой JSON. Никакого агента не нужно, просто проверяем что сервер живой и отвечает.

Уровень 2 - curl или Postman. Если сервер работает по HTTP, то это обычный POST-запрос. Тестируется как любой REST API, пробуя передавать разные аргументы в JSON.

Уровень 3 - юнит-тесты. Сам протокол тестировать не нужно, он стандартный. Тестируем бизнес-логику каждого инструмента в изоляции, с замоканным API.

Уровень 4 - интеграция с реальным агентом. Тут уже даем задачу на естественном языке ИИ агенту, куда интегрирован MCP и проверяем следующее, правильно ли инструмент вызван, верные ли аргументы переданы, правильный ли ответ получен.

Именно такая послойная проверка дает уверенность, что MCP сервер готов к работе.


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)