Самый недооценённый AI-навык сегодня — верификация

В разработке и тестировании AI — это не senior-инженер.

Скорее очень быстрый junior: полезный, часто неожиданно сильный, но его работу нельзя отправлять в production или использовать для критичных решений без проверки.

Базовый чек-лист для верификации AI-результата:

1️⃣ Сверьте результат с исходными требованиями

Проверьте:
— входные данные
— ожидаемый результат
— ограничения
— граничные случаи
— нефункциональные требования

Результат действительно решает задачу или просто звучит убедительно?

2️⃣ Используйте дополнительный контроль

Генерация и проверка должны быть двумя разными этапами.

Не стоит позволять одной и той же модели быть одновременно автором и ревьюером. Лучше подключить другую модель или человека, который попробует найти ошибки и оспорить результат.

Примерно так же, как мы не рассчитываем, что разработчик полностью и объективно протестирует собственный код.

3️⃣ Проверяйте больше чем на одном примере

Никогда не доверяйте одному успешному сценарию.

Используйте классические техники тест-дизайна и не забывайте про:

— типичные сценарии
— негативные проверки
— случайные входные данные
— неожиданные действия пользователя

Относитесь к AI как к сильному и очень быстрому junior-инженеру в команде.