В одном из тредов под постами обсуждали репортеры и и решил написать, чем, на мой взгляд, Allure TestOps лучше или хуже простого html-репортера.

Начнем с того, чем TestOps лучше

1. Историчность

В TestOps все репорты, которые вы сгенерируете, будут храниться в течение того времени, которое вы настроите. Это позволит легко смотреть и исследовать причины падений: падал ли уже тест с такой же ошибкой, когда это было и т.д.

2. Аналитика

Вытекает из первого пункта. На основе исторических данных вы можете строить аналитику в TestOps: среднее время прохождения всех тестов, время прохождения каждого теста, success rate тестов и т.д.

3. Генерация тест-кейсов

Разметив автотесты, можно получить живую документацию, которая будет из них генерироваться.

4. Группировка тестов по причинам падения

При просмотре упавшего теста Аллюр сразу показывает другие тесты, которые упали по той же причине. Не нужно просматривать каждый тест отдельно.

5. Интеграция с таск трекерами

Мы интеграцией с трекерами не пользуемся, потому что у нас Kaiten. Ждем, когда сделают интеграцию с ним. Но могу предположить что еще проще становится работа с требованиями, AC и тест-кейсами.

Недостатки Allure

1. Плохая аналитика

Очень скудные возможности инструмента для аналитики и непрозрачные настройки. Мы, например, только в поддержке узнали, что дашборд success rate строится за последние две недели. Об этом нигде не написано или мы не нашли. Мы будем по api загружать всю информацию в свою БД и сами анализировать

2. C# не любимый ребенок

Много багов и недоделок в опенсорсном проекте с C#, по сравнению с той же Java. Нарпимер, нет плагина для Rider. Нельзя использовать аннотацию Allure Steps в OneTimeSetUp-е. Приходится доделывать самим и пушить разработчиков.

Если пользовались и html-репортерами и Allure TestOps накидывайте еще преимуществ и недостатков