Еще один случай с участием #ии

Мы сегодня обнаружили тест, который проходил успешно, но не проверял то, что указано в заголовке. Посмотрели историю VCS. Оказалось, изменения сделал ИИ, а разработчики не заметили их на код ревью из-за большого размера PR.

Код на скриншоте должен проверять, что после применения фильтра в списке остаются записи, которые соответствуют его условиям. После обновления ui-kit изменилась структура вёрстки и перестал работать контрол выбора условий фильтра. Фильтрация в тесте перестала срабатывать и в списке начали отображаться все имеющиеся элементы. Тест стал падать.

ИИ увидел, что тест падает и, вместо того, чтобы починить причину, исправил условие проверки.

Мы использовали обычный процесс разработки и появилась ошибка, о которой мы не узнали. Мы, конечно, добавим в системный промпт ограничение для обработки подобных ситуаций и с помощью ИИ поищем другие тесты с некорректными проверками. Но, технически, могут возникнуть и другие ситуации, в другом контексте, в которых ИИ затупит и в проекте появятся скрытые ошибки. Это немного напрягает, пока не решили, что с этим делать.