ProQuality Community

​​#softwareTesting #ai

Анализ инцидентов с продакшена — это процесс изучения сбоев, ошибок или непредвиденных событий, возникших в производственной среде (на продакшене), с целью их устранения, понимания причин возникновения и предотвращения повторения в будущем.

В статье автор расскажет о том, как команда Polymatica интегрировала анализ инцидентов с продакшена в цикл тестирования: от локализации дефекта и создания кейса в TMS до верификации перед регрессом и анализа «старых» кейсов, а также поделится преимуществами подхода и планами по улучшению (теги, метрики, автоматизация логов и AI).

Анализ инцидентов с продакшена: как мы интегрировали этот процесс в тестирование

​​#automationTesting

Автоматизация тестирования — это один из ключевых инструментов для улучшения качества продукта. Она не только упрощает рутинные процессы и экономит время, но и позволяет проверять приложение на десятках и сотнях устройств за считанные минуты.

В статье автор расскажет о переходе от ручного тестирования Android-приложений к автоматизированному: как написать Compose UI-тест, вручную запустить его на устройстве мобильной фермы Selectel, а затем автоматизировать подключение к устройствам через API и встроить запуск тестов в CI/CD.

От ручного тестирования к автоматизированному: пишем compose UI-тест под Android

#ProQuality_case

🚀 ИИ пишет код быстрее, но кто за это расплачивается? Спойлер: QA-инженеры

Всем привет! 👋 Вышел свежий отчет от DeviQA: «State of AI-Generated Code 2026: The QA and Testing Gap». В его основе — опрос более 300 QA-инженеров, SDET и тест-лидов. Исследование дает отрезвляющий взгляд на «реальный» рост продуктивности разработки с помощью ИИ, посмотрев на это не глазами программистов, а с нашей стороны — со стороны QA.

Вот главные цифры из отчета:
🤖 65% QA-инженеров работают в командах, где разработчики активно используют ИИ для написания кода.
📈 58% отмечают, что их рабочая нагрузка на тестирование возросла. При этом штат QA для компенсации никто не расширяет.
🐛 52% сообщают об увеличении количества багов после внедрения ИИ-тулзов (и только 2% видят их уменьшение).
📉 0 из 300 опрошенных тестировщиков поставили высший балл доверия коду, сгенерированному ИИ.

Интересный инсайт о «реальной продуктивности»: 💡
Отчет подчеркивает скрытую цену ИИ-генерации. Иллюзия скорости разработки разбивается об «узкое горлышко» проверок. Время на ревью пулл-реквестов (PR), написанных с помощью ИИ, выросло на 91%, и такие PR простаивают в ожидании проверки в 4.6 раза дольше. В итоге весь сэкономленный разработчиками ресурс просто перетекает вниз по конвейеру — в долгий код-ревью и масштабное регрессионное тестирование.

Какие баги ИИ генерирует чаще всего?
1️⃣ Логические ошибки (58%)
2️⃣ Необработанные корнер-кейсы и граничные условия (52%)
3️⃣ Дублирование кода (42%)
4️⃣ Несоответствие изначальным требованиям (42%)

🔗 State of AI-Generated Code 2026: The QA and Testing Gap
💬 А как обстоят дела на ваших проектах? Ощутили ли вы на себе последствия того, что разработчики стали использовать Copilot/ChatGPT? Стало ли больше «глупых» багов в логике, или наоборот — код стал чище? Делитесь болью (или радостью)! 👇

​​#proQuality_books #automationTesting
 
📖 Design Patterns: Elements of Reusable Object-Oriented Software (1994)
Авторы: Erich Gamma, Richard Helm, Ralph Johnson, John Vlissides
Количество страниц: 416
Язык издания: Английский
 
Фундаментальный каталог из 23 проверенных шаблонов проектирования для объектно-ориентированного ПО. Авторы систематизируют решения типичных архитектурных задач, помогая создавать гибкие и легко расширяемые приложения.
 
Плюсы:
➕ Глубокое понимание принципов ООП и мышления на уровне архитектора.
➕ Каждый паттерн разобран с точки зрения применимости, последствий и компромиссов.
➕ Стандартизированный словарь для обсуждения архитектурных решений в команде.
➕ Концепции актуальны спустя десятилетия в самых разных языках программирования.
 
Минусы:
➖ Сложна для новичков — требует хорошей предварительной подготовки.
➖ Примеры на устаревших языках и громоздкие диаграммы затрудняют восприятие.
➖ Предметные примеры в начале глав иногда заслоняют суть паттерна.
 
Для кого книга:
✔️ Для опытных разработчиков и тимлидов, выходящих на уровень системных архитекторов.
✔️ Для инженеров, стремящихся писать более гибкий и поддерживаемый код.
 
Об авторах:
Erich Gamma, Richard Helm, Ralph Johnson и John Vlissides — известны в сообществе как «Банда четырёх» (Gang of Four), ведущие эксперты в области ООП, внёсшие огромный вклад в развитие современной разработки ПО.

#ProQuality_news

🚀 Spec-Driven Development (SDD): Возвращение к Waterfall или будущее тестирования в эпоху ИИ?

Всем привет! 👋 Сегодня обсудим горячий тренд, который может полностью перевернуть привычный нам STLC (Software Testing Life Cycle). В инженерном сообществе всё активнее обсуждают подход Spec-Driven Development (SDD) как ответ на засилье нейросетей.

На Medium недавно вышли две отличные статьи, которые заставляют задуматься о том, как изменится роль QA. Вот их главные мысли:

1️⃣ Хватит писать промпты, начните писать спецификации
В первой статье автор жестко критикует подход «vibe-coding» — когда инженеры хаотично закидывают ИИ промптами в надежде получить рабочие автотесты или код. Он утверждает, что SDD должен стать новым ядром тестирования.
Вместо Code-First подхода мы переходим к Spec-Anchored архитектуре:
🔹 Спецификации становятся исполняемыми (Executable Specifications).
🔹 На основе строгих спецификаций ИИ сам генерирует и код, и тесты.
🔹 Появляется автономное «самоисцеление» тестов (Autonomous Test Healing). Если продукт меняется, тесты чинятся сами, потому что они привязаны к спецификации, а не к хрупким локаторам в коде.

2️⃣ Новый Waterfall?
Автор второй статьи задается логичным вопросом: если мы снова пишем подробные требования до написания кода, не возвращаемся ли мы в эпоху неповоротливого Waterfall?
Его ответ — нет. Это скорее «Новый Agile-манифест для ИИ-агентов». Разница в том, что цикл итераций сохраняется, но человек теперь итерирует спецификации, а не код. Вы вносите правки в требования, а ИИ-агенты мгновенно переписывают реализацию.

🔥 Что это значит для QA?
Наш фокус смещается. Написание сложного кода для фреймворков постепенно берет на себя ИИ. Новой суперсилой тестировщика становится умение формулировать однозначные, логически безупречные и проверяемые спецификации, которые не допустят галлюцинаций у ИИ-агентов.

🔗 Stop Prompting and Start Specifying: SDD as the New Core of the STLC
🔗 Spec-Driven Development: The New Waterfall
💬 Готовы ли вы отложить IDE, перестать писать код руками и стать «инженерами спецификаций»? Или текущие ИИ-инструменты пока слишком глупы, чтобы доверить им весь STLC на основе одной лишь документации? Ждем ваших мыслей в комментариях! 👇

#softwareTesting

Проблемы с тестированием часто начинаются ещё до того, как тестировщик получает задачу. Неполные требования, неявные допущения и размытые критерии приёмки быстро превращаются в вопросы, переделки и дефекты.

В статье автор разберёт 5 типичных ошибок при работе с требованиями и покажет, как мышление тестировщика помогает находить их ещё на этапе анализа. Отдельное внимание уделит раннему статическому тестированию, техникам тест-дизайна и проверке критериев приёмки на практическом примере.

5 ошибок аналитика, из-за которых требования не выдерживают тестирования

#automationTesting #ai

100 упавших автотестов совсем не обязательно означают 100 разных проблем. Но если отправлять каждый результат в нейросеть независимо, легко получить именно 100 отдельных объяснений и оставить инженеру ручную работу по их разбору.

В материале автор на практическом примере покажет, зачем группировать падения до AI-анализа, как с этой задачей справляются современные RCA-подходы и чем здесь могут помочь возможности Allure Report. Полезный взгляд на AI в тестировании не со стороны промптов и моделей, а со стороны инфраструктуры и подготовки данных.

Группировка ошибок и анализ причин падений (RCA) с помощью ИИ

#ProQuality_interview

🤖 Ищете способы прокачать навыки работы с ИИ в тестировании? Делимся с вами двумя отличными подборками!

Обе полны полезных инструментов, бесплатных курсов, статей в блогах и других ресурсов, которые помогут вам оставаться в тренде. Забирайте в сохранёнки:

1️⃣ Awesome AI Testing (GitHub)
Глобальный курируемый репозиторий, в котором собраны самые актуальные ИИ-инструменты, фреймворки и платформы для QA.
🔹 Что внутри?
🔹 Генерация тестов и Test Data: инструменты от EvoMaster до Qodo и CodiumAI.
🔹 Self-healing: библиотеки для «самоисцеляющихся» тестов, которые автоматически чинят сломанные локаторы (Healenium, CodeceptJS).
🔹 Тестирование через MCP (Model Context Protocol): решения вроде Playwright MCP и Chrome DevTools MCP, позволяющие ИИ-агентам напрямую управлять браузером.
🔹 Оценка ИИ (LLM-as-Judge): фреймворки для тестирования самих нейросетей, проверки галлюцинаций и безопасности.
👉 Все тулзы удобно промаркированы: легко отличить Open Source от платных коммерческих продуктов.

🔗 Ссылка на репозиторий awesome-ai-testing

2️⃣ AI Learning Plan for Testers
Пошаговый и практичный план обучения. Отличная точка входа для тех, кто хочет структурировать свои знания.
🔹 Что внутри?
🔹 Бесплатные курсы: расставлены в правильном порядке — от базового курса «Gen AI for Testers» до погружения в ИИ-агенты и автоматизацию.
🔹 Полезные сообщества: где искать единомышленников (например, AI Chapter от Ministry of Testing).
🔹 Навыки для агентов (Agent Skills): готовые наборы инструкций (например, Caveman или Ponytail), которые учат правильно ставить задачи ИИ, чтобы он не писал лишний код.
🔹 Чит-листы (Cheat Sheets): огромная база шаблонов по промпт-инжинирингу и фреймворкам выбора LLM.

🔗 AI Learning Plan for Testers

💬 А как вы развиваетесь в AI? Используете нейросети (Copilot, Claude, ChatGPT) в своих ежедневных QA-задачах? Какие курсы или инструменты можете посоветовать коллегам? Делитесь находками в комментариях! 👇

​​#proQuality_books #ai

📖 AI Prompt Engineering & AI Agents Bible (12 Books in 1) (2026)
Автор: Tomasz Dylik
Количество страниц: 333
Язык издания: Английский

Руководство из 12 частей для перехода от базового промтинга к построению AI-агентов и автоматизации без кода. Охватывает 7 областей промтинга (текст, визуал, аудио, видео, RAG, монетизация) и работу с Custom GPTs, n8n и Make.com.

Плюсы:
➕ Доступное изложение без избыточной технической сложности — подходит для новичков и не-программистов.
➕ Практические фреймворки CROFTC и A-CROFTC для создания точных структурированных запросов.
➕ Бонусный стек: сотни готовых промптов, шаблоны воркфлоу для n8n и чек-листы для внедрения.
➕ Фокус на реальной бизнес-ценности и практической окупаемости (ROI).

Минусы:
➖ Объём материала требует времени на последовательное освоение — не для беглого чтения.
➖ Глубина проработки отдельных тем ограничена форматом «12 в 1».

Для кого книга:
✔️ Для новичков и IT специалистов, осваивающих генеративный ИИ и промтинг.
✔️ Для предпринимателей и операционных специалистов, автоматизирующих бизнес-процессы.
✔️ Для маркетологов и преподавателей, ускоряющих рутинные задачи с помощью AI-агентов.

Об авторе:
Tomasz Dylik — эксперт по генеративному ИИ, специализирующийся на создании AI-агентов и автоматизации рабочих процессов без кода.

#ProQuality_news

🤖 Тестирование в мире ИИ-агентов: почему наши привычные подходы больше не работают?

Всем привет! 👋 ИИ-агенты обесценили процесс написания автотестов: теперь сгенерировать сотню UI-сценариев за ночь ничего не стоит. Но когда создание тестов становится таким дешевым, главной проблемой становится доверие к ним.

В статье автор разбирает, почему практики, работавшие с 2012 по 2020 год, сейчас становятся опасными. Вот три главных инсайта:

1️⃣ Классический Code Coverage мертв
В эпоху ИИ метрики покрытия кода становятся мишенью для закона Гудхарта («когда мера становится целью, она перестает быть хорошей мерой»). Если замерять только пройденные строки кода, агент сгенерирует длинные тесты, которые кликают по всему приложению, но ничего не проверяют (слабые ассерты). Чтобы сделать дашборд зеленым, ИИ пойдет по пути наименьшего сопротивления: ослабит селекторы, увеличит таймауты или просто будет бесконечно перезапускать flaky-тесты (retry laundering).
✅ Выход: измерять прогресс в количестве автоматизированных критериев приемки (acceptance criteria), а не в пройденных строках.

2️⃣ Агенты «видят» только то, что говорит ваш DOM
Копировать логи упавшего теста в ChatGPT, чтобы получить фикс — это прошлый век (модели будут галлюцинировать). Современные инструменты вроде Playwright MCP дают агентам доступ к «живой» странице через дерево доступности (Accessibility Tree). Поэтому если ваши селекторы завязаны на CSS-классы или testid, агент их не поймет.
✅ Выход: селекторы должны опираться на семантику (роли и ARIA-лейблы). ARIA-размеченный интерфейс — залог того, что ИИ сможет сам прочитать страницу и «исцелить» тест.

3️⃣ Спецификации (BDD) — это новый контракт человека и ИИ
Если агент пишет и чинит код, что остается QA? Ответ — намерение (intent). Исполняемые спецификации (Gherkin/BDD), написанные понятным бизнесу языком, становятся идеальным интерфейсом общения с ИИ. Вы описываете ЧТО нужно проверить (Given/When/Then), а агент сам решает КАК.
✅ Выход: ревьюить нужно именно ассерты и спецификации на человеческом языке, потому что код скоро будут читать только другие агенты.

🔗 Testing in an Agentic World
💬 Как вам идея, что BDD (от которого многие так старательно уходили) снова становится суперактуальным, но теперь ради того, чтобы ставить задачи ИИ? Сталкивались ли вы уже с тем, что нейросети пишут красивые, но абсолютно бесполезные автотесты? Делитесь опытом в комментариях! 👇

Автотест упал на шаге "принять звонок" 🤣

​​#softwareTesting

«Нам нужно сделать регрессионное, функциональное и интеграционное тестирование» — а ты автоматизатор и уже задумываешься о том, что попал куда‑то не туда. Или же ты новичок, решивший пойти в тестировщики, смотришь вакансии и видишь, что этих видов тестирования чуть ли не сотня. Как же понять, что от тебя требуют и куда идти?

В статье автор расскажет о видах тестирования и их классификации по категориям: кто выполняет тесты (ручное и автоматизированное), что именно тестируется и какие характеристики проверяются.

Виды тестирования и с чем их есть

​​#proQuality_events #proQuality_Conference2026

🤖 День 5 — Testing AI Systems & Closing

Финальный день ProQuality Conference ’26 — о том, как тестировать AI-продукты и поддерживать их качество по мере изменения моделей и данных.

Расписание на сегодня:

🧪 11:00 — Oleksiy Slavutskyy & Anton Yehorov
Regression Testing for AI Solutions: A Data Drift-Aware Evaluation Approach

Модели меняются. Данные сдвигаются. Качество может постепенно снижаться.

На сессии разберём практический подход к регрессионному тестированию AI-решений: как выявлять data drift, оценивать изменения моделей и формировать критерии, которые помогают поддерживать AI-системы точными и готовыми к production.

💡 12:00 — Daniil Pavlov & Daria Cherepanova
Beyond Traditional QA: Testing AI-based Apps with Prompt Engineering

Как тестировать AI-приложения, когда обычного подхода к тест-кейсам уже недостаточно?

На примере двух production-проектов — приложения для анализа страховых документов и AI agent builder для клиницистов — разберём тестирование промптов, сравнение результатов с Golden Truth dataset и использование meta-prompting.

А ещё покажем, как сократить создание тестовых данных с нескольких дней примерно до часа.

📋 В конце сессии — чек-лист для вашего первого AI-проекта.

🎬 13:00 — Закрытие конференции

📆 Сегодня, онлайн
🕐 Время в программе — UTC+3

👉 Присоединяйтесь к ProQuality Conference ’26

Не пропустите финальный день конференции!

​​#automationTesting

Когда пишешь код, который пойдет в продакшн, нужно быть уверенным, что он будет вести себя так, как задумано. Один из основных способов добиться этого — модульные тесты: небольшие автоматизированные проверки, подтверждающие, что определенные части кода работают правильно.

В новой статье автор расскажет о том, что покрытие тестами (statement, branch, path coverage) может вводить в заблуждение: даже 100% покрытие операторов не гарантирует качественной проверки логики, и даст практические рекомендации, как прагматично использовать эту метрику, не полагаясь на произвольные пороги.

Покрытие тестами и о чем оно может рассказать

​​#proQuality_events #proQuality_Conference2026

🔎 День 4 — Rethinking How We Find Bugs

Сегодня поговорим о двух привычных подходах в тестировании:

▪️ достаточно ли структурированных тест-кейсов, чтобы находить действительно важные баги?
▪️ можно ли эффективно поддерживать большие automation suites по мере их роста?

Расписание на сегодня:

🧭 11:00 — Dzmitry Tarasenka & Vladyslav Babenko
Start Exploring Your App Today

Сотни документированных и хорошо поддерживаемых тест-кейсов — но важные баги всё равно находили способ остаться незамеченными.

Вместо того чтобы следовать готовым сценариям, команда решила использовать AI как со-исследователь и дать ему возможность исследовать приложение.

На сессии разберём, что изменилось, когда тестирование вышло за рамки заранее написанных инструкций.

🤖 12:00 — Rysard Poplavskij
Scaling E2E Test Automation with AI: How CodeMie and Claude Accelerate Test Development, Maintenance, and Analysis

Сложные зависимости между доменами, большие BDD-сюиты и растущие затраты на поддержку — знакомая ситуация для enterprise automation.

Поговорим о том, как CodeMie и Claude интегрировали в WebdriverIO-фреймворк, чтобы масштабировать создание сценариев, анализ дефектов и подготовку отчётности.

📆 Сегодня, онлайн
🕐 Время в программе — UTC+3

👉 Присоединяйтесь к ProQuality Conference ’26

Не пропустите четвёртый день конференции!

#ProQuality_interview

Всем привет! С вами снова рубрика Scenario-based вопрос на собеседовании ✨

❓Вопрос: Вам необходимо автоматизировать тесты для часто меняющегося пользовательского интерфейса. Какова ваша стратегия?

🚦Пример ответа:

В сценариях, где пользовательский интерфейс часто меняется, автоматизация представляет собой сложную задачу. Однако мы можем добиться автоматизации, если сосредоточимся на следующих критериях:

✔️Старайтесь использовать стабильные локаторы (ID > XPath), которые не будут легко меняться.

✔️Реализуйте модель объектной страницы или шаблон воспроизведения экрана.

✔️Приоритизируйте автоматизацию на уровне API, чтобы минимизировать прямое влияние изменений пользовательского интерфейса.

✔️Поддерживайте абстракцию для локаторов пользовательского интерфейса.

✔️Избегайте автоматизации изменчивых областей пользовательского интерфейса; вместо этого тестируйте эти области вручную.

​​#proQuality_events #proQuality_Conference2026

🤖 День 3 — AI Agents in Production

Сегодня поговорим о том, что происходит после запуска AI-агента в production — и как AI может помочь сделать мобильное тестирование проще.

Расписание на сегодня:

🛡 11:00 — Maryna Didkovska
Your AI Agent Is in Production. Is That Good News?

Кто-то говорит вашему ИИ-ассистенту игнорировать его инструкции. И он это делает. В этом докладе будут разобраны реальные схемы эксплуатации ИИ с использованием OWASP AI Testing Guide, а режимы отказов названы достаточно чётко, чтобы вы узнали их в собственном продукте. Потому что вопрос «что произойдёт, если кто-то попытается этим манипулировать?» — уже часть вашей работы.

🛠 12:00 — Oleksandr Halichenko
AI Agents Meet Appium

ИИ генерирует тест-кейсы за секунды — но общая скорость поставки не всегда растёт так же быстро. В этой сессии будет разобрано, где появляются скрытые затраты: накладные расходы на валидацию, доработка промптов, выявление галлюцинаций и бремя управления. ИИ не устраняет усилия по тестированию. Он их перераспределяет.

🎬 В программе также live demo.

📆 Сегодня, онлайн
🕐 Время в программе — UTC+3

👉 Присоединяйтесь к ProQuality Conference ’26

Не пропустите третий день конференции!

​​#proQuality_books #softwareTesting

📖 A Practical Guide to Usability Testing (2025)
Авторы: Joseph S. Dumas, Janice C. Redish
Количество страниц: 404
Язык издания: Английский

Подробное руководство по юзабилити-тестированию: от определения юзабилити и планирования тестов до анализа данных и улучшения продуктов. Охватывает широкий спектр форматов — от быстрых исследований до полномасштабных лабораторных тестов.

Плюсы:
➕ Золотой стандарт жанра: логично выстроенный материал с опорой на огромный опыт авторов.
➕ Готовые чек-листы, формы и схемы для построения собственной лаборатории.
➕ Рассматрены разные форматы исследований: от быстрых и недорогих до полноценных тестов в лаборатории.
➕ Полезные советы по оценке сторонних тестовых площадок.

Минусы:
➖ Нет явного упоминания тестирования веб-приложений и guerilla testing.
➖ Требует последовательного чтения — главы не предназначены для выборочного изучения.

Для кого книга:
✔️ Для специалистов по юзабилити и UX-исследователей любого уровня.
✔️ Для разработчиков и дизайнеров, стремящихся создавать более удобные продукты.
✔️ Для всех, кто хочет выстроить эффективный процесс оценки пользовательского интерфейса.

Об авторах:
Joseph S. Dumas и Janice C. Redish — признанные эксперты в области юзабилити. Бэкграунд в лингвистике и психологии делает их подход максимально ориентированным на пользователя.