🙃 Почему вы не довольны AI в тестировании? Возможно, вы делаете одну из этих 6 ошибок.

Источник

Я сам проходил через них все, внедряя AI-решения в тестировании - от первых экспериментов до пилотов в продакшене.

И часто вижу, как мои команды ловят те же ошибки.

Давайте по порядку

1. Неструктурированные промпты
- Когда AI не понимает, чего от него хотят - не потому что он тупой, а потому что промпт расплывчатый.
- Нет чётких шагов, нет сценария, нет указания формата ответа.
- На выходе: вода, пространные рассуждения, «ни рыба ни мясо».

2. Нет примеров
- Вы просите: "Сделай как надо", но не показываете, что такое "надо".
- Few-shot prompting (несколько примеров input → output) помогает AI лучше уловить формат и суть.
- Без них он будет гадать.

3. Пустая база знаний
- AI не экстрасенс, он работает с тем, что знает.
- Пара примеров - не база. Если вы не загрузили контекст, он будет лепить дубликаты или уходить в сторону.
- Нужна или ручная работа по сбору контекста, или интеграции с системами, или нормальный RAG.

4. Один промпт = много задач
- Типичная ошибка: в одном промпте попросить и ревью требований, и чеклист, и генерацию тестов.
- В итоге всё получается плохо.
- Один промпт - одна задача.
- Разбейте процесс и получите нормальный результат на каждом шаге.

5. Хотите всё и сразу
- "Сгенерируй 50 тест-кейсов на эту фичу".
- А потом удивляетесь, что они поверхностные и однообразные.
- AI ≠ волшебная палочка. Большие задачи - только итеративно. Один промпт - один кейс.
Да, дольше. Зато качественно. Даже для 50 шагов в тест-кейсе

6. Вы не используете AI, чтобы писать промпты
- Это иронично, но факт: промпты, написанные вручную, часто хуже.
- Я давно уже не пишу промпты сам.
- Я описываю, что хочу получить, даю примеры, и прошу AI сам составить промпт.
- Потом валидирую - и в бой.

🎯 Хотите качественный результат - относитесь к промптингу как к инженерной задаче.
И не забудьте: промпт - это тоже часть системы. Его можно (и нужно) тестировать.