Итак пару недель я уже ковыряюсь с проектами по автоматизации тестирования с целью получить наиболее эффективное ИИ решение для автоматизации тестов и вот что из этого пока вышло:

1. На первом месте пока Claude code с системой skills + mcp chromium от playwright. Очень удобно с точки зрения работы. Каждый созданный skill отвечает за какую то часть процесса автоматизации тестирования и с учетом хорошей интеграции Claude code с MCP playwright, тест пишется на ходу в открытом браузере, где Claude задает автоматом правильные вопросы
2. На втором openClaw/nanoClaw с аналогичной конструкцией, работающий прям на сервере с самом проекте автотестов, в целом как я уже писал ранее это хороший улучшенный вариант того же Claude Code, но который более самостоятельный в принятии решения. Все бы хорошо, но есть пару минусов которые я все же выявил. Первое - это токены, он их есть очень много и платить надо прилично за его работу (если использовать подписку Claude Code то либо быстро упирается в лимиты либо еще можно словить бан от Anthropic). Второе - долгая настройка, то есть нужно потратить время и деньги обучить его работе с проектом,но опять же без оптимизации работы с токенами это может вылиться в копеечку.
3. Собственный самописный ИИ агента для генерации тестов. Я попробовал это сделать, написать своего агента, который анализирует структуру проекта, определяет правила написания автотестов и может подключаться к любой модели, включая локальные, но пока не добился такого же качества как от делает Claude code из коробки. Возможно все таки модель играет роль, так я запускаю его на Gemini 2.5 Pro. В общем пока неудовлетворительно, но я работаю над этим.

В общем пока Claude code выигрывает в гонке интеллектов для помощи тестировщику, еще планирую потестить Claude code на сложном C# проекте автоматизации тестирования, если все будет ок, то запишу видео по настройке скиллов для создания своего ИИ агента.


Полезная информация:
Курс по evaluation AI |
Мой фреймворк для оценки AI |
С чего начать изучение AI | Инструменты для оценки AI |
Инструменты для оценки AI (ч.2)