Как находить нестабильные тесты с помощью merge queue и main

Если merge queue гарантирует, что каждый коммит в main прошёл тесты, любой последующий сбой полного прогона на main можно считать нестабильным тестом. Поэтому не отключайте такой прогон после слияния изменений.

Собирайте свежие падения на main в один доступный список. Он покажет, какие сбои повторяются чаще, и поможет увидеть связь между ними. Начинайте исправление с причин, которые ломают больше всего прогонов.

Причиной бывает ошибка в допущениях о порядке выполнения или сбой инфраструктуры: например, не скачался релиз с GitHub либо Windows не удалила каталог. В заметке Catch Flakes On Main автор объясняет, почему этот процесс отделяет нестабильность от настоящих регрессий.