🥳 С Днем тестировщика! Похоже, ваша работа все еще нужна, причем даже агентам.

9 сентября 1947 года инженеры Harvard Mark II нашли причину сбоя: моль застряла между контактами реле. Насекомое вклеили в журнал с подписью «первый реальный случай обнаружения бага». Спустя 79 лет баги стали менее буквальными, только вот искать их проще не стало.

Дэн Луу решил проверить, помогает ли AI-агенту простая команда использовать «правильную» технику тестирования.

Задача была реализовать Zstd на Rust. Codex на GPT-5.6 Sol запускали с medium и xhigh. Базовый промпт сравнили с 25 вариантами инструкций: TDD, фаззинг, property-based testing, mutation testing, Lean 4, TLA+, SMT-солверы, просьба «не делай ошибок» и четыре готовых скилла. На каждое условие и каждый уровень пришлось по 80 прогонов, результат проверяли скрытыми тестами.

И ни одной волшебной инструкции не нашлось. Вариант вообще без дополнительных указаний оказался выше среднего. TDD выступил хуже среднего, хотя агенты писали примерно вдвое больше тестов. Hegel Skill увеличил стоимость запуска на 26% при medium и на 41% при xhigh, только вот корректность тестов не выросла.

Самое интересное начинается при разборе самих прогонов. Агенты довольно хорошо замечали места, где может скрываться сложный баг. Но дальше почему-то проверяли совсем не то: выбирали простые свойства, генерировали малоценные случайные входы, писали тесты, которые подтверждали уже ошибочное поведение.

Ценность человека-тестировщика как раз в том, что он способен понять, где система может сломаться и каким тестом эту гипотезу проверять.

Луу пишет, что у него лучше работает подход, где человек сначала задает разумную структуру тестирования, а потом отправляет агента дополнять ее и возвращает с конкретными замечаниями.

🎉В общем, с праздником тех, кто по-прежнему умеет задавать самый неприятный для разработки вопрос: «А что будет, если?..»

🪲Чтобы попробовать, что из себя представляют задачи тестировщика у нас есть бесплатный курс Введение в тестирование

🪲 Начать вход в профессию можно с курса Инженер ручного тестирования  

Прокачать свои знания дальше — с курсами для опытных: 

🪲 Автоматизатор тестирования на Python

🪲 Автоматизатор тестирования на JavaScript

🪲 Автоматизатор тестирования на Java

🪲 Тестирование веб-приложений на Playwright

🪲 Автоматизация тестирования на Go

Telegram | YouTube | AI Клуб