Test Engineering Notes

Ministry of Testing - англомовні івенти на всі смаки

#testing #ai

Всім привіт. Хочу розповісти про безплатні івенти від Ministry of Testing в яких ви можете прийняти участь.

This Week in Quality. Щотижневий дзвінок, де можна послухати про тестування, задати питання та отримати відповіді. Розмови англійською, то ж можна додатково прокачати свої навички. Найближчий - вже цієї пʼятниці, о 15.00 за Київським часом.
(Час від часу я доєднуюся сюди в якості спів-ведучого 😆)

AI Chapter. Для тих, хто цікавиться штучним інтелектом в тестуванні - є окремий чаптер. Тут можна слухати доповіді чи майстер класи. Або ж просто спілкуватись з однодумцями в чаті. Наступна доповідь - "The Rise of Agentic Testing" - вже 22 жовтня.

Крім AI, є ще багато інших чаптерів - як по темам, так по локаціям. Можна завжди знайти щось для себе. А на вкладці Events можна подивитись наступні зустрічі чи доповіді.

Скіл, щоб прибрати зайве

#ai

Цікавий скіл, щоб не продиратись через купу згенерованого тексту.

Скілл - i-have-adhd.

Що таке агент?

#ai

Зрозумій, на небесах в тестуванні тільки й говорять, що про море агентів. Які вони нескінченно прекрасні. Про захід ІТ, який вони бачили

З книги "Artificial Intelligence: A Modern Approach":

Агент — це все, що можна розглядати як таке, що сприймає своє середовище за допомогою датчиків і діє на це середовище за допомогою виконавчих механізмів.

де:
• Навколишнє середовище. Світ, з яким взаємодіє агент.
• Датчики. Компоненти, що використовуються для спостереження за середовищем.
• Виконавчі механізми. Інструменти, для взаємодії з середовищем.
• Програма агента. «Мозок» або правила, які агент використовує, щоб вирішити, як перейти від спостережень до дій.

На практиці, "мозок" агента - це LLM, що виконує обчислення (reasoning). Він планує дії, взаємодіє зі світом через інструменти (tools) та зберігає результати в памʼять.

Остання, але найголовніша частина середовища, це - користувач, який робить запити до агента та отримує результат. Користувач може бути як людиною чи іншим агентом.

Navigating the AI Shift

#testing@testengineering #ai@testengineering

Трохи старе, але не менш актуальне. Jeff Nyman говорить, що знання ШІ це мета-навичка. Бо ШІ додається до багатьох технологій так, чи інакше.

Jeff вважає, що онтогенез, онтологія та апістемологія будуть змінювати тестування. WAT?

• Епістемологія: Нам треба буде не тільки перевірити, що система працює. Але й знати як зрозуміли, що вона працює, які є докази.

• Онтологія: Нам треба буде тестувати як ШІ створює внутрішні моделі реальності та чи залишаються ці моделі коректними з плином часу. Тобто розуміти фреймоврк, за яким ШІ приймає рішення.

• Онтогенез (як система розвивається із часом): Це важливо, бо в ШІ немає точки, коли ми задеплоїли і система не змінюється в продакшені. Зміни виникають постійно, з кожною новою порцією даних. Для цього автор пропонує ще більше використовувати "контрфактне" тестування (просто більше задавати питань в стилі "Що Якщо?").

Ще в 2024 році, автор говорить про те, що тестування буде крос-дисциплінарною активністю. Бо системи стають складнішими. ШІ - складний. То ж знання будуть розподіленими - жодна людина не буде повністю "знати" всю систему. Але разом, люди зможуть оцінювати систему.

Хто хоче більше, можна почитати першоджерело за посиланням.

Сувора QA Конференція - AI в тестуванні

Вже наступного тижня пройде найцікавіша онлайн-конференція про тестування. Та ще й про стильну модну тему "ШІ в тестуванні"

Конференція триватиме аж цілий тиждень, із доповідями вранці та ввечері.
Буде купа класних спікерів, нетворкінг, воркшопи.

Я там буду, то ж і вас також чекаю. Побачимось!

👨‍💻Can This Vibe Coder Beat a Senior Developer?

#ai

Сьогодні пʼятниця, то ж пропоную щось подивитись щось легке.

Наприклад, змагання між вайб кодером, джуніором та сіньйор розробником.

• Хто зробить кращий MVP?
• У кого швидше закінчаться токени?
• Чий продукт ШІ-суддя оцінить вище?

Та найголовніше: які висновки ми можемо з цього всього зробити? 😀

🚤 Для справжніх капітанів ШІ

#ai

Як тільки ми звикли до того, щоб писати промти, крафтити скіли та будувати системи в стилі "один оркестратор - багато агентів", зʼявилось щось нове 🤯

Ні, це не Claude Opus 5.5.
Ні, це навіть не ChatGPT Sol та Luna

Це ... оркестратор ... що оркеструє ваші оркестратори. (Оце ідея на мільйон!)
WAT? Що це? Це - Captain Code.

Але ... нащо?
• Ця штука автоматично форвардить на ту модель, яка краще підходить під конкретну задачу.
• Якщо десь вичерпався контекст, вона бережливо перенесе все що необхідно - у нову модель та продовжить роботу.
• Підтримує всі модні моделі та інструменти (Все що забажаєте, за ваші гроші звичайно).
• Туди навіть можна додати модний Jev для блискавичних рішень.

А ще - все це безкоштовно.
Код ось тут

Я подібних штук не використовував, але впевнений, що ідея зовсім не нова. Плюс збереження контексту також вже ... було.
Хтось щось схоже робив. Як думаєте?

📹 Testing AI: Beyond Test Cases

#testing #ai

James Bach викатив відео про його думки й підходи до тестування систем з ШІ.

❓Про що там?

• Тест-кейси з одним інпутом та одним очікуваним результатом не працюють для ШІ.

• Треба генерувати багато варіантів (модифікацій) та перевіряти, що параметри системи зберігаються.

• Концентруватись треба не на точкових проблемах, а не паттернах. Приклад: одна цятка на рослині не означає хворобу, а ось багато - свідчать про системну проблему.

• Bach навайбкодив декілька інструментів - генератор варіацій вхідних значень, аналізатор схожості тесту, пошуковик суперечностей у відповідях

• Основна думка - інструменти та скрипти повинні допомагати шукати проблеми у великих обсягах даних, а не замінювати мислення.

😏 І що з того?

ШІ додає складності в тестування. Але й разом із тим, ШІ допомагає швидше кодити інструменти (навіть без глибокого знання програмування).

Головне запитання - шо шукати та як? А вже потім вмикати агенти на повну потужність.

Certified Tester – Testing with Generative AI (CT-GenAI)

#testing #ai

Прочитав я тут Syllabus сертифікації з Generative AI.

Короткий вердикт:
• Багато тексту, формалізовано
• 0 діаграм та пояснень. Тільки текст, тільки хардкор
• Частина термінів та тексту потребує базових знань в технологіях. Але після foundation я думаю, що такі знання мають бути.
• Поверхневе інтро в світ ШІ
• Є деяка корисна термінологія
• Треба практично пробувати (є рекомендовані завдання)
• Не треба очікувати, що тут будуть "чарівні таблетки" для співбесід.

Найголовніше - є ідеї та приклади де та як застосовувати ШІ в тестуванні.
Але за вас то ніхто не зробить)

🦄 Вже завтра у Certified Unicorns пройде Hot ISTQB Conference

Чому варто послухати?

1️⃣ Юнікорни чесно говорять як про переваги, так і про підводні камені сертифікацій. А спікери з 10+ роками досвіду їм в цьому допоможуть.

2️⃣ Нудних доповідей не буде. Тільки вільний формат та "просмажка".

3️⃣ Теми будуть різні - модний GenAI, відносно новий Test Automation (та інші).

Особисто я планую бути і вам раджу 🤓

📆 Коли: 19 вересня
🎥 Де: онлайн
💸 Вартість: безкоштовно після реєстрації

🔗Детальна програма і реєстрація за посиланням

А ваш ISTQB certification roadmap на 2026 рік все ще актуальний?

Привіт!

Цього року в ISTQB відбулося одразу кілька цікавих змін: з’явилася нова сертифікація ISTQB Certified Tester Quality in DevOps (CT-QDO), а Agile Tester отримав абсолютно нову версію — тепер це Advanced Level Agile Tester (CTAL-AT) v2.0. Разом з цим виникає багато запитань.

Розібратись з питанням можна на безкоштовному вебінарі - "Перезавантаження ISTQB 2026: DevOps, Agile Tester v2.0 та що змінилося у вашому шляху сертифікації"

😱Хто буде? Kateryna Abzyatova та Ramella Basenko

🎯 Плюшки: Традиційно будуть 🎁 подарунки для учасників та анонси наступних стартів курсів сertifiQAte.

📅 Коли: сьогодні, 17 вересня о 19.00

👉 Посилання на вебінар будуть в Telegram-каналі сertifiQAte - https://t.me/certifiQAte.

P.S. Приєднуйтесь до каналу заздалегідь, щоб не загубити посилання на трансляцію.

Test Mu Conference - 2026

#ai@testengineering

Якщо у вас дуже багато вільного часу та є нестримне бажання подивитись щось на тему тестування з ШІ або ж тестування самого ШІ - маю плейліст з конференції Test Mu. Майже 90 доповідей, воркшопів, панельних дискусій.

📚 Сертифікації по Claude від Anthropic - що, де та навіщо?

#ai #claude

Нещодавно я отримав два сертифікати: Claude Developer та Claude Architect.

В цьому пості я розповім про сертифікацію, як підготуватись, як здати та чи взагалі то потрібно.

✍️ Про рівні та формат

Всього є три направлення сертифікації: Associate, Developer, Architect. Тільки на Architect є два рівні - Foundations та Professional.

Формат екзамену зазвичай це 60 (або 53) тестових запитань на 120 хвилин. Прохідний бал 720 із 1000. Вартість екзамену $125 (для Associate - $99, для Architect Professional - $175).

Важливо памʼятати, що будь-який сертифікат треба здавати кожен рік - бо він втрачає валідність. З тим темпом, як зараз розвивається ШІ це - логічний крок.

Екзамени можна здавати онлайн, через платформу Pearson.

😀 Рівень Associate

Сюди входить сертифікат Claude Certified Associate - Foundations. Це - базова сертифікація для консультантів та продавців. Для підготовки надаються 8 курсів на різні теми: Claude платформа, промптінг та оцінка результатів, конфігурація та менеджмент знань, ризики.

🤓Рівень Developer

Сюди входить сертифікат Claude Certified Developer - Foundations. Рекомендований сертифікат для більшості інженерів.

Як готуватись:
- пройти рекомендовані 5 курсів з Anthropic Partner Academy. Вони в текстовому форматі + перевірка знань у вигляді завдань та тестів. Доволі актуальна інформація, але не очікуйте прям аж занадто великої глибини.
- пройти також інші курси по Claude, такі як "Building with Claude API" та "Claude Code in Action".
- закинути нотатки з курсів в NotebookLM та проходити quiz / flashcards звідти
- Потренуватись на мок екзамені - Udemy

😎 Рівень Architect

Сюди входить сертифікат Claude Certified Architect - Foundations та Claude Certified Architect - Professional.

Як готуватись:
- пройти рекомендовані курси. Більшість з курсів - безкоштовні, зі списку, що я вже наводив. Нові курси - це по роботі Claude з Amazon / Google Cloud. Але вони багато пересікаються з "Building with Claude API"
- почитати матеріали в текстовому форматі або ж подивитись на Youtube
- закинути нотатки з курсів в NotebookLM та проходити quiz / flashcards звідти
• потренуватись на мок екзамені - Udemy та безкоштовно

Чи треба здавати?

Кожен вирішує для себе сам. Але на поточному ринку праці, такі сертифікати допоможуть отримати запрошення на роботу та підтвердити, що ви маєте знання. Так, ці екзамени не гарантують навичок та глибини. Але без них, можливо, й на співбесіду не попадеш в деякі компанії. C'est la vie!

Навіть підготовка до екзамену дає хороший набір знань. А якщо ви кожного дня пишете скіли, агентів та MCP - то більшість потрібних знань ви вже маєте. Треба тільки додати специфіку Claude та йти на екзамен.

❗️Важливо: сертифікат можна здати тільки, якщо ваша компанія - партнер Anthropic. Індивідуальних сертифікацій наразі немає.

FMEA for Test Automation Building Risk Management into Your Automation Stack

#automation@testengineering

Колись в каналі я розповідав про FMEA - підхід до аналізу ризиків. А в цій статті автор застосовує цей підхід до своїх автотестів.

Загальний флоу такий:

1. Identify failure mode
2. Score Severity, Occurrence, and Detection
3. Calculate RPN
4. Prioritize
5. Mitigate
6. Rescore

Що саме цікаве, що автор також інтегрує такий аналіз в CICD.

Як ідея - цікаво. А ось чи практично це - велике питання.

Тестування - це не тільки e2e рівень

#testing

І навіть не рівень юніт тестів вашого застосунку. На цьому тестування не закінчується!

Сучасні складні системи з оцими усіма штучними інтелектами будуються на не менш складних компонентах. Ці компоненти, можливо, не треба тестувати окремо - бо їх вже відтестували. Але їх тестували люди, а люди можуть помилятись.

Зрозуміло, що кожен із компонентів вглиб сіньйор знати не зможе. Але треба мати уявлення про них, про їх можливий вплив на результат, на безпеку, на перфоманс.

📚Ваш путівник по курсам Claude (2026 edition)

#ai #claude

Ви захотіли вивчити щось про ШІ. Можливо Вам більше подобається Claude, ніж ChatGPT. Або це вимога на роботі.
Я рекомендую подивитись офіційні курси від Anthropic. Вони безкоштовні. Їх навіть можна додати собі в Linkedin.

Anthropic зараз має 22 безкоштовних курси по Claude. Курсів багато, але які проходити? Які можна пропустити? Я пройшов більшість з них, то ж таки маю шо сказати.

🤯 Що по курсам?

• Claude 101 - непоганий оглядовий курс, щоб зрозуміти що може Claude. Трохи про проєкти, скіли, різні види Claude.

• Claude Code 101 - технічно орієнтований курс, що дає базу основих термінів: agentic loop, контекст, CLAUDE.md, сабагенти, MCP, хуки

• Claude Platform 101 - додає інформації про скіли та тули, thinking режим, менеджмент контексту та побудову власного агенту

• Introduction to Claude Cowork - як користуватись Claude Cowork з різними конекторами та плагінами. Тільки якщо плануєте ним користуватись

• Claude Code in Action - більше конкретні приклади, режими роботи, імплементація хуків

• AI Fluency - Framework and Foundations - ментальна модель по роботі з ШІ від Anthropic. Проходити за бажанням або для сертифікації

• Building with Claude API - мабуть найбільш цінний курс по роботі з Claude через APIшку. Курс обʼємний, але вартує часу. Читає класний Stephen Grider.

• Introduction to Model Context Protocol - проходити тільки якщо ви не проходили попередній (бо більша частина, то копіпаста з минулого)

• Model Context Protocol - Advanced Topics - трохи глибше занурення в MCP (різні види транспорту, логи)

• Claude with Amazon Bedrock - пару слайдів по інтеграції Claude з AWS. Далі - калька з Building with Claude API. Є цікаве про RAG

• Claude on Google Cloud - пару слайдів по інтеграції Claude з GCP. Далі - калька з Building with Claude API. Є цікаве про routing workflows

• Introduction to agent skills - дуже базова інфа про агенти. Можна пройти або запитати одразу в Claude

• Introduction to subagents - дуже базова інфа про сабагенти. Можна пройти або запитати одразу в Claude

Інші AI Fluency курси - можна пропустити, якщо ви не студент, викладач чи ще хтось конкретний.

⚡️P.S. Про сертифікати від Anthropic розповім в окремому пості.

P. P. S. Усіх з Днем Тестувальника!

🛠 Фундаментальні знання важливіші ніж будь-коли

#engineering #ai

Сьогодні коротке, але дуже корисне відео про сучасну розробку з ШІ від Matt Pocock. Основні ідеї нижче.

🧪 Розробка та ШІ

В ідеальному світі, ми пишемо специфікацію, а потім імплементуємо її в коді. Вуаля, всі задоволені!

В реальності ми пишемо спеку, ШІ генерує код, потім ШІ генерує гірший код, ще гірший код, а далі - повне сміття.

Головна причина цього - складність. Але що таке складність?

Складність — це все, що пов'язано зі структурою системи, що ускладнює її розуміння та модифікацію.

Багато хто говорить, що генерація коду стала дешевою. Так, але ... Поганий код - ще більш дорожчий, ніж будь-коли!

ШІ гарно працює з грамотно проектованим кодом. Щоб грамотно проектувати код, треба знання. То ж фундаментальні знання програмування стають ще важливішими.

🤯 Проблеми кодингу з ШІ

1. ШІ не робить те, що я хочу. Але й люди часто не знають чого хочуть! Починайте з дизайну в Plan Mode. А ще краще, зі скіла "/grill-me"

2. ШІ генерує забагато тексту. Фільтрувати сміття допоможе спільна доменна мова. Щоб знайти її в коді, юзайте скіл /ubiquitous-language

3. ШІ пише код, який не працює. Фікс - обкладіться тестами на багатьох рівнях.

4. ШІ робить забагато всього одразу. Рухайтесь маленькими кроками. Пишіть по TDD (скіл `/tdd`)

5. Тестувати ШІ-код складно. Проектуйте простіші інтерфейси та ховайте складність всередині модулів.

6. ШІ не розуміє мій код. Спробуйте зробити "глибокі" модулі з /improve-codebase-architecture скілом

7. У мене "пухне мозок від кількості ШІ коду". Працюйте над дизайном інтерфейсів, делегуйте імплементацію агентам.

Скіли від Matt Pocock шукати тут.

Як MIT рекомендує користуватись ШІ в навчанні

#education #ai

В серпні 2026 року, викладачі з MIT опублікували звіт про поточне та майбутнє використання ШІ в навчанні.
Мені було цікаво почитати цей документ, бо питання навчання з ШІ - один з моїх інтересів.

ШІ в MIT

Автори розповідають, що ШІ так чи інакше вже глибоко інтегрується в процес навчання.

Але що цікаво, думки як студентів та і викладачів щодо ШІ-інструментів - дуже різні. Є ентузіасти, а є скептики (Як завжди буває).

Загалом, у звіті згадують такі проблеми ШІ в навчанні
- ШІ впливає на фундаментальні принципи навчання
- студенти стали більш ізольованими та менше спілкуються та взаємодіють
- соціальний контракт між викладачами та студентами теж розмивається
- викладачам важче оцінювати роботи студентів

Що ж рекомендується робити?

Викладачам треба пояснювати що таке "процес навчання" (продуктивне подолання проблем) та продукт навчання. Продукт (результат) навчання це той самий персональний ріст, набуття інтелектуальної зрілості, розвиток уяви, проникливості та кращих суджень з предмету.

Доречі саме судження є одним з критичних елементів в роботі зараз. Бо коли ШІ швидко продукує результат, тільки людина з навичками та досвідом буде мати судження щодо результату.

Треба використовувати ШІ для зміни (модифікації) навчання, а не тільки для автоматизації.

Коли студент дізнається правильну відповідь у чат бота, це не тільки створює ілюзію навчання, а ще й провокує таку штуку, як "когнітивна капітуляція" - коли студенти біжать запитувати відповідь у ШІ за перших натяків на труднощі.

Якщо сприймати навчання лишень як передачу контенту від вчителя до слухача, то ... ШІ це може робити доволі непогано.

Автори наголошують, що навчання - це ще й набуття неявних знань, звичок, звʼязків які впливають на судження, подолання труднощів. В кейсі MIT вони наголошують саме на формуванні інтелектуальної спільноти.

MIT також рекомендує користуватись ШІ для модифікації цілей та змісту навчальних програм. Але найголовніше - визначити зі студентами правила користування ШІ як для них, так і для викладачів.

Один з найефективніших способів навчання - через проєкти. З ШІ такі проєкти можуть бути більш амбіційними.

Також треба буде переглянути підходи до оцінювання робіт. Інструменти для виявлення плагіату чи ШІ тільки спровокують появи більш крутих інструментів, які маскують ШІ текст.

> Працівники, які досягнуть успіху в еру штучного інтелекту, — це ті, «хто може творчо продумати способи, за допомогою яких штучний інтелект може створювати цінність, швидко втілювати ідеї в життя та хто готовий переглянути свою інтуїцію шляхом експериментів та перевірки. У цьому середовищі процвітають як майстри, так і виконавці». (c) Rafella Sadun, економіст з Гарварду

Як реально опанувати навичку з ШІ

#ai

Коротке пояснення від мене про те, як опанувати навичку коли ШІ все робить за тебе.

Повний стрім про ШІ на каналі Паші Семпая - ось тут.

"Простий" крок щоб покращити тестування

#testing

В традиційних організаціях, кожна команда зазвичай несе відповідальність за свій окремий компонент, АПІшку чи сервіс.

User Service пишуть тести для себе, кожен з сервісів, що викликають user service - для себе.

В Google запропонували розширити цей підхід. Вони спонукають інженерів писати тести також в репозиторіях сервісів, від яких вони залежні. Так розробник Billing Service крім своїх тестів, додає ще й tricky кейси на стороні User Service. Бо саме він знає, що йому потрібно.

Трохи нагадує контрактні тести, але більш масштабна задумка.

Такий простий крок, покращує покриття більше, ніж просто заміри процентів.

P.S. З ШІ вже не вийде сказати, що "нема часу" або "це складно".