QA NEWS

⚡️⚡️⚡️Появился полноценный официальный 26-минутный геймплей GTA VI

Распространите

🤖 AI: КАЗУС НЕДЕЛИ

🟢 Все тесты зелёные. Потому что AI аккуратно протестировал баг

Пожалуй, одна из самых жизненных AI-историй недели.

AI получил задачу протестировать поведение.

Он её добросовестно выполнил.

Аккуратно прошёл по шагам.

Увидел стабильный результат.

Сформировал вывод.

И сообщил, что всё хорошо.

Только была одна маленькая деталь:

он протестировал баг.

То есть не нашёл отклонение от нормы, а принял ошибочное поведение за саму норму.

И вот здесь очень хорошо видно главное ограничение подобной автоматизации.

AI отлично умеет проверять то, что видит.

Но если у него нет жёсткого oracle, нет чёткой модели expected result и нет понимания границ допустимого поведения, он может очень уверенно подтвердить совершенно неправильный результат.

QA-мысль:

автоматизация без качественного oracle остаётся автоматизацией неопределённости.

А AI при этом ещё и умеет делать это очень убедительно.

🏆 БАГ НЕДЕЛИ

🚂 РЖД работает. Браузер считает иначе

Это очень хороший баг недели именно потому, что он выглядит до боли знакомо.

Сервис может быть жив.

Бэкенд может отвечать.

Процесс может существовать.

А пользователь открывает всё это через браузер — и оказывается, что у браузера на происходящее своя точка зрения.

И вот здесь становится видно, как много всего стоит между «система работает» и «пользователь действительно может ей воспользоваться».

Потому что посредников слишком много:

— кэш;
— cookies;
— session storage;
— фронтенд-состояние;
— JS-логика;
— несовместимость;
— частично сломанный UI;
— неправильная интерпретация ответа.

Такие истории особенно полезны, потому что они ломают очень опасную иллюзию:

если сервис жив — значит всё нормально.

Нет.

Нормально — это когда пользовательский сценарий работает в реальном клиенте.

QA-мысль:

иногда баг живёт не в системе, а в разнице между тем, что система делает, и тем, что браузер решил показать пользователю.

📶 17 августа мобильный интернет снова превратился в отдельный test environment

Для мобильного QA это вообще отдельный вид реализма.

Сеть вроде бы есть.

Иконка есть.

Сигнал есть.

А приложение уже живёт в совершенно другой вселенной.

Где-то грузится не всё.

Где-то часть запросов отваливается.

Где-то UI продолжает делать вид, что всё под контролем.

Где-то сессия существует ровно до следующего действия пользователя.

И вот здесь становится особенно заметно, насколько плохой моделью реальности является тестирование в идеальном офисном Wi‑Fi.

Потому что настоящее окружение — это:

— частичная доступность;
— нестабильный канал;
— плавающие таймауты;
— выборочная недоступность ресурсов;
— странные ретраи;
— полуживое соединение.

QA-мысль:

если приложение тестировалось только в хорошей сети, оно, скорее всего, тестировалось не в том мире, где им реально пользуются.

🐛 БАГИ И ИНЦИДЕНТЫ

📦 СДЭК решил улучшить инфраструктуру. Пользователи немного отдохнули от инфраструктуры

Это очень узнаваемый жанр инцидента.

Внутри компании всё звучит прилично:

обновление,
оптимизация,
переезд,
улучшение инфраструктуры.

Снаружи пользователь видит куда более короткую версию:

не работает.

И вот в этом как раз вся прелесть инфраструктурных изменений.

Они часто воспринимаются как что-то «ниже продукта».

Но для пользователя никакой разницы нет.

Если после улучшений он не может открыть страницу, оформить доставку или получить доступ к нужному сценарию — это уже продуктовая проблема.

QA-мысль здесь неприятная, но полезная:

изменения в инфраструктуре тоже требуют такого же серьёзного отношения к smoke, rollback, зависимостям и проверке blast radius, как и обычный релиз.

Потому что «мы просто улучшали среду» очень часто переводится в пользовательский язык как:

«сервис временно решил не помогать».

🔄 Postman + Newman + Python + Jenkins: регресс как мониторинг, а не просто прогон коллекции

Очень здравый взгляд на API-регресс.

Пока он воспринимается как «запустить коллекцию перед релизом», это просто набор проверок.

Но как только та же связка начинает крутиться регулярно, с логикой, с обработкой результатов, с Jenkins и повторяемым наблюдением — регресс превращается уже в нечто большее.

В мониторинг.

И это сильно меняет роль тестирования.

Потому что тесты начинают не только отвечать на вопрос:

«сломали ли мы что-то перед выкладкой?»

Но и на другой, не менее полезный:

«что начало выглядеть подозрительно уже сейчас?»

То есть регресс становится ранним индикатором:

— деградации;
— плавающих сценариев;
— нестабильных интеграций;
— ухудшения поведения системы без явного инцидента.

QA-мысль:

как только регресс работает как мониторинг, тестирование перестаёт быть только этапом релиза и становится частью эксплуатации.

📱 Ozon Банк придумал, как XCTest всё-таки добраться внутрь WKWebView

WKWebView на iOS — это старая добрая боль мобильного QA.

Снаружи приложение тестируется нормально.

А всё, что происходит внутри web-контейнера, быстро превращается в территорию:

«ну это сложно»,
«ну это не наблюдается»,
«ну это потом».

И вот поэтому такие инженерные находки особенно интересны.

Не в духе «не получается — не тестируем», а в духе:

«ограничение есть, но мы всё равно ищем способ сделать этот кусок продукта наблюдаемым».

Для QA это ценно сразу по нескольким причинам.

Во-первых, потому что речь идёт не просто про автотесты, а про тестируемость системы.

Во-вторых, потому что это хороший пример зрелого подхода:

если участок продукта непрозрачен для проверки, проблема не всегда только в инструменте.

Иногда продукту самому нужна доработка, чтобы его можно было нормально тестировать.

QA-мысль:

тестопригодность — это не приятный бонус.

Это часть архитектуры.

📰 QA / TESTING

🤖 ИИ написал вам 50 тест-кейсов. Покрытие выросло. Качество — не обязательно

AI всё активнее влезает в тест-дизайн.

Он быстро пишет тест-кейсы, чек-листы, матрицы покрытия и вообще создаёт ощущение, что работа пошла в два раза быстрее.

На бумаге всё красиво:

— сценариев стало больше;
— документы выглядят аккуратно;
— подготовка занимает не часы, а минуты.

Но здесь есть классический нюанс.

Количество тест-кейсов и качество тестирования — это не одно и то же.

AI очень хорошо масштабирует объём.

Но не всегда так же хорошо понимает:

— где негативные сценарии;
— где реальная бизнес-ценность;
— где границы системы;
— где кейсы повторяют друг друга;
— где сценарий выглядит логично только текстом, но не имеет смысла в продукте.

В результате coverage как будто бы растёт.

А шанс поймать действительно важный дефект — не обязательно.

QA-мысль:

AI полезен как ускоритель.

Но если полностью отдать ему тест-дизайн, очень легко получить красивую иллюзию системности вместо настоящего покрытия.

🇷🇺 QA WEEKLY — НОВОСТИ В РФ

На этой неделе выпуск получился очень показательный.

С одной стороны — AI, который уже пишет тест-кейсы, помогает с тестовыми данными и вообще активно лезет в повседневную работу QA.

С другой — старая добрая реальность: мобильный интернет живёт своей жизнью, инфраструктура иногда «улучшается» так, что пользователи это чувствуют сразу, а браузер может внезапно решить, что сервис работает не совсем так, как хотелось бы.

В общем, неделя снова напомнила простую вещь:

качество продукта заканчивается далеко не на уровне кода.

Поехали 🚀

Накидал вот такую пирамидку, если есть знающие люди, готов подискутировать)

ИИ впервые уволил человека

В Сан-Франциско провели эксперимент: ИИ-ассистенту Claude от Anthropic доверили управление розничным магазином.

В какой-то момент Claude обнаружил, что один из сотрудников опоздал на 17 из 23 смен, и решил его уволить. Причём терпел работника так долго не из-за доброты — подвела ограниченная память ИИ.

💸 С бизнесом у Claude, правда, получилось хуже, чем с HR: за пять месяцев баланс магазина сократился со $100 тыс. до $61 тыс.

Похоже, до полной автоматизации менеджмента ещё есть пара багов.