🙃 Почему вы не довольны AI в тестировании? Возможно, вы делаете одну из этих 6 ошибок.Я сам проходил через них все, внедряя AI-решения в тестировании - от первых экспериментов до пилотов в продакшене.
И часто вижу, как мои команды ловят те же ошибки.
Давайте по порядку1. Неструктурированные промпты- Когда AI не понимает, чего от него хотят - не потому что он тупой, а потому что промпт расплывчатый.
- Нет чётких шагов, нет сценария, нет указания формата ответа.
- На выходе: вода, пространные рассуждения, «ни рыба ни мясо».
2. Нет примеров- Вы просите: "Сделай как надо", но не показываете, что такое "надо".
- Few-shot prompting (несколько примеров input → output) помогает AI лучше уловить формат и суть.
- Без них он будет гадать.
3. Пустая база знаний- AI не экстрасенс, он работает с тем, что знает.
- Пара примеров - не база. Если вы не загрузили контекст, он будет лепить дубликаты или уходить в сторону.
- Нужна или ручная работа по сбору контекста, или интеграции с системами, или нормальный RAG.
4. Один промпт = много задач- Типичная ошибка: в одном промпте попросить и ревью требований, и чеклист, и генерацию тестов.
- В итоге всё получается плохо.
- Один промпт - одна задача.
- Разбейте процесс и получите нормальный результат на каждом шаге.
5. Хотите всё и сразу- "Сгенерируй 50 тест-кейсов на эту фичу".
- А потом удивляетесь, что они поверхностные и однообразные.
- AI ≠ волшебная палочка. Большие задачи - только итеративно. Один промпт - один кейс.
Да, дольше. Зато качественно. Даже для 50 шагов в тест-кейсе
6. Вы не используете AI, чтобы писать промпты- Это иронично, но факт: промпты, написанные вручную, часто хуже.
- Я давно уже не пишу промпты сам.
- Я описываю, что хочу получить, даю примеры, и прошу AI сам составить промпт.
- Потом валидирую - и в бой.
🎯 Хотите качественный результат - относитесь к промптингу как к инженерной задаче.
И не забудьте: промпт - это тоже часть системы. Его можно (и нужно) тестировать.
Источник#qa #testing
Подпишись👉
@testlab_qa 
