🪄Проблеми автоматизації: чарівність та швидкість автотестів

#testing #automation

Дуже часто експерти у доповідях "рекламують" автоматизацію тестування, як таку собі велику кнопку, яку можна натиснути й вона магічним чином швидко продукує тестові результати.

Уявімо на секунду, що така кнопка існує. Девелопер закінчив написання коду, створив PR - тести автоматично запустилися на CI сервері, й БУМ - ви отримали результати!

🔮Більшість автоматизованих тестів створюють не для того, щоб тестувати. Їх створюють для швидкої ідентифікації змін (change detection). Робота розробників якраз і полягає в тому, щоб ці зміни створювати. То ж по хорошому, якщо тест на змінену фічу впав - то це саме те, задля чого він був створений (бо тепер є зміни в системі чи бізнес сценарії).

🎱Команди, що використовують автоматизацію тестування знають, що як тільки отримуєш результат - їх треба дослідити. Бо серед тестів можуть бути підступні false negatives (баги нема, а тест впав) та false positives (бага є, а тест - зелений). Після дослідження треба описати кроки для відтворення проблеми та обговорити чи потрібно взагалі робити фікс.
Далі - наступає очікування, поки розробник пофіксить проблему. Наступний крок - перезапускаємо тести на новому білді та сподіваємось, що цього разу вони будуть зеленими.

💫 Який із цього можна зробити висновок? Автоматизація тестування ніколи не є "безкоштовною" та "не працює миттєво". Деякі автори книжок навіть стверджують, що автоматизація тестування, в середньому, може прискорити процеси тестування менше ніж на 50%.

То ж не треба вважати автотести "срібною кулею". Навіть з AI! А якщо саме ви це знаєте - допоможіть це зрозуміти вашим менеджерам. 😎