Как правильно использовать нейросети в тестировании?

В коммьюнити постоянно разгоняют тему "нас/вас всех заменят, и ничего не поделаешь". С этим я не согласен (о чем неоднократно уже писал тут, в этом канале), но это не значит, что не нужно учиться с ними работать. Кажется, что большинство тестировщиков до сих пор не понимает, как нормально встроить их в работу, чтобы они выдавали качественный результат.

Ещё буквально год-два назад для решения этой проблемы нужно было учиться промпт-инжинирингу (умению формулировать запросы), чтобы получать хорошие ответы от нейронки.

Теперь передовые модели (от Claude, Gemini, ChatGPT и ряда китайских опенсорсов) достаточно умные, чтобы понимать любую херню и выдавать нормальный результат, но без доступа к инструментам нейронки будут работать только с тем, что мы в них напрямую загрузили (а обычно этого недостаточно)

Здесь нам на помощь приходят MCP'шки — это что-то вроде мини-приложений, с помощью которых нейросеть подключается ко всем рабочим инструментам — таск-трекерам, браузерам, базам данных и репозиториям.

Условно, задачу по написанию автотеста с нейросетью, но без MCP можно решить так:
1) Скопировать тест-кейс из тест-менеджмент системы
2) Самостоятельно найти все локаторы через Devtools и четко поделить их по страницам
3) Залезть в документацию, вытащить всю релевантную информацию
4) Передать всю эту информацию нейросети
5) После написания кода скопировать его, запустить, посмотреть есть ли баги и все ли работает
6) Просить нейросеть внести правки, четко говоря, где возникают проблемы
7) Когда код написан, запушить его в репозиторий
8) Написать комментарий в задачу в таск-трекере, проставить статусы и т.д.

Очень много ручной работы! Но если на проект подключить нейросеть и дать ей все инструменты, работа может выглядеть так:
1) Написать нейросети "автоматизируй тест-кейс 1234"
2) Через несколько минут получить готовый результат

Нейросеть сама:
- Подключится к тест-менеджмент системе
- Изучит нужную документацию
- Откроет сайт, запустит Devtools и найдет локаторы
- Напишет тест
- Запустит и протестирует его работоспособность
- Запушит в репозиторий
- Внесет необходимую информацию в таск-трекер и закроет задачу

На своей учебной платформе я использую нейросети похоже:
- Передаю id задачи
- Она получает всю информацию, задает мне доп. вопросы (если нужно) и приступает к работе
- После завершения задачи отчитывается в трекере, и, если нужно — пишет письмо автору задачи

Починка багов и исправление опечаток/ошибок в материалах для меня теперь вообще не проблема.

На практике, конечно, все эти инструкции и процессы придется регулярно дописывать и докручивать, да и от проверки результата нас никто не освобождал, но заниматься этим кратно интереснее, чем рутинными задачами вроде "двигать задачи в бэклоге", "писать одни и те же строчки в тест-кейсах" и "искать локаторы на сайте". И вот ты уже трансформируешься из скучного ручного тестировщика в оркестратора систем — настоящего инженера по тестированию.

Это я к тому, что на днях нашёл отличную статью по MCP для тестировщика — в ней рассказывается, какие MCP для всего этого могут пригодиться, и показывается, как это использовать.

P.S. если мне еще кто-нибудь расскажет "а у меня ваши chatgpt/claude не работают, чо ты мне про это затираешь", я забаню 😡. Если проблема решается тремя буквами — это не проблема.