Серпень. Довіра

Привіт, колеги! Працюю третій тиждень на новому місці.

Період досить відповідальний для мене, бо я на позиції Head of QA / Automation QA Lead для 16 QA.
Треба зрозуміти процеси. Познайомитися з командою.
Сфера LegalTech - платформа для юридичних команд.
Тому багато нового і відповідального🩷

Із тем, які хотіла підсвітити і просто про що зараз у голові, - це довіра до автотестів.

✔️Як бути впевненим, що автотест всередині робить те, що ми думаємо він робить?
✔️Робити зрозумілі кроки і репорти - це все?
✔️Як саме бути глибоко впевненим у тому, що відбувається всередині коду?

Особливо зараз, коли ми всі користуємося AI💸💸

✔️Як «пощупати» цю гарантію, що автотест робить те, що я від нього очікую?
✔️Що він там всередині робить?
✔️Кожен раз дебажити код?

Колись давно на попередніх моїх роботах ця біль виросла настільки, що, щоб автотест вважався ок, ми робили сесії між manual і automation тімою, де запускали тести зі сліпами.
Стопали. Ламали одночасно щось у базі. Рефрешили кеш. Відпускали сліп тесту і дивилися, що асершен зловив проблему і побачив саме те, що ми зламали😵‍💫

А ламали ми зі збоченнями.
Сильно і по-різному.

Це сильно дало довіру до автотестів, але з’їло багато нашого ресурсу й енергії. І породило багато розчарування і конфліктів між manual та automation.

Тому моя особиста думка, що це не ок.

Тест має мати зрозумілі логи, де чітко видно, що він робить покроково. Сенс кроків відповідає тайтлу тесту.

Це все.

Якщо накладати на автотест багато страхів - то це лише уповільнює і гасить автоматизацію.

Цікаво почути ваші думки🫶🙏

Як ви будуєте довіру до автотестів і саме глибинне розуміння, що тест перевіряє сама те, що ми очікуємо він перевіряє? Що він нічого НЕ ламає і НЕ робить всередині дивних речей?