📹 Testing AI: Beyond Test Cases

#testing #ai

James Bach викатив відео про його думки й підходи до тестування систем з ШІ.

❓Про що там?

• Тест-кейси з одним інпутом та одним очікуваним результатом не працюють для ШІ.

• Треба генерувати багато варіантів (модифікацій) та перевіряти, що параметри системи зберігаються.

• Концентруватись треба не на точкових проблемах, а не паттернах. Приклад: одна цятка на рослині не означає хворобу, а ось багато - свідчать про системну проблему.

• Bach навайбкодив декілька інструментів - генератор варіацій вхідних значень, аналізатор схожості тесту, пошуковик суперечностей у відповідях

• Основна думка - інструменти та скрипти повинні допомагати шукати проблеми у великих обсягах даних, а не замінювати мислення.

😏 І що з того?

ШІ додає складності в тестування. Але й разом із тим, ШІ допомагає швидше кодити інструменти (навіть без глибокого знання програмування).

Головне запитання - шо шукати та як? А вже потім вмикати агенти на повну потужність.