Сповідь тестувальника

Привіт, мій щоденнику...

Я користуюсь ChatGPT щодня, але ось що бачу.
Попри всю потужність моделей та їх постійне вдосконалення, я не бачу, щоб чинні версії моделей були метою компаній, що їх розробляють. Нестабільна робота, нагромадження версій, дивні заяви, що суперечать одні одній. Низька вартість, доступність безплатних версій. Колосальні інвестиції та гігантські видатки за відсутності прибутковості.

Я бачу, що головною метою є якась інша модель, можливо мова про сильний штучний інтелект (AGI), а те, що ми бачимо зараз — етап для збору даних для його навчання.

Збір даних є головною метою зараз, а конкретні моделі — його побічним ефектом, хоча й таким, що вражає, потужним та потенційно корисним.

Це нічого не змінює в тому, чим є актуальні версії мовних моделей. Однак я, як тестувальник, нутром чую, що вони насправді роблять зараз.

Чи значить це, що я перестану користуватися ChatGPT? Ні. Водночас чим далі, тим більше розумію, що точно не хотів би стати його заручником, тому паралельно з дослідженням його найкращого використання, посилюю тренування й власного мозку.

Думаю, що це буде найбільшим викликом. Не здатність оперувати мовними моделями, що далі буде тільки полегшуватися. Але спроможність зберегти власні інтелектуальні здібності.

Привіт, мій щоденнику....

Найбільшим викликом для мене в освіті є дуже популярна думка студентів про те, що знання існують автономно, незалежно одні від одних, такі студенти хочуть одразу кінцевих знань, без «зайвого».

Однак, якщо спробувати пояснити, скажімо, множення без складання, то виявиться, що це дуже непроста задача. Але і це можна обійти. Наприклад, дати одразу таблицю множення, яку треба просто завчити без всякого розуміння, як вона працює.

Це моє особисте пекло, коли студент хоче завчити таблицю множення і не бачить сенсу розуміти, що таке складання і чим є множення по суті.

Далі він буде завчати степені, або просто рахувати на калькуляторі, бо розуміння буде йому недоступне, адже множення він завчав, а не навчався.

І так далі й далі, одне (не)знання тягне за собою інше (не)знання.

Цікаво (і сумно), що спосіб завчання є лише ілюзією знань, але я бачу, наскільки потужною та поширеною є віра у те, що знання є виключно завчанням, а навчання — це злий умисел тих, хто створює теорію, яка ніде не використовується і пишеться просто так, без користі, для зберігання у бібліотеках, якими ніхто не користується (що є хибною думкою).

Шлях до справжніх знань не такий вже і складний, якщо він правильно побудований (складання > множення > степені), він дозволяє «розганятися», навчаючися, і зрештою, вчитися дуже швидко, використовуючи одні знання, як базу для інших.

В роботі цей принцип працює так само гарно, як і у навчанні. Тестуємо, досліджуючи — нарощуємо знання навколо базових та збагачуємо специфічними. Зводимо великий, але узгоджений між своїми компонентами, будинок знань.

Однак, мені здається, що цей підхід скоро стане VIP-підходом для «обраних», попри його очевидну перевагу. Що ж, це наш вибір. Точно можна сказати, що саме такі «обрані» матимуть перевагу у майбутньому і забезпечать для себе це майбутнє. А можливо, і тим, хто обере інших шлях.

Привіт, мій щоденнику...

Мені знається, що ШІ — це новий айфон. Має багато різних функціональностей, але більшість користується через статус.

Привіт, мій щоденнику...

По всьому світу ChatGPT дає збій, я підтверджую це: ще з вчорашнього вечора і до зараз робота нестабільна, висне, видає помилки тощо.

Цікаво, що роблять люди, які стверджують, що мати власну експертизу тепер не треба, бо Жепете легко зробить все за вас. Як вони працюють зараз? Що кажуть тим, хто очікує від них результатів? Як почуваються?

Це не зловтішні думки про людей, це рефлексія на тему "ШІ нас замінить" та "Треба вчити ШІ, а не професію". Це коли більшість користується безплатним (без будь-якого пріоритету у доступі) онлайн (залежним від мережі, серверів тощо) сервісом, правильно?

ChatGPT, принаймні актуальні його версії, це не така технологія, як ПК, який працюватиме у вас вдома, дай йому лише електрику. Навіть без інтернету працюватиме. Безплатний Жепете й близько в цьому сенсі це схожий на ПК, щоб казати про нього, як про технологію, яка повноцінно стала частиною життя людей.

Привіт, мій щоденнику...

Чим далі я заглиблююся у роботу з ChatGPT, тим більше розумію, що майбутнє за людиною.

Так, дуже багато людей будуть активно користуватися різними ШІ-інструментами, однак, якщо баланс власної експертизи та контенту від мовної моделі буде сильно перекошеним у бік ШІ, то точно не можна буде казати про виконання такими людьми серйозної роботи.

Експертиза людини стане лише важливішою.

Ось така візія:
- використання ШІ у різних формах буде зростати
- експертиза людей буде знижуватися
- як результат (простий ринковий принцип) — робота, яку здебільшого робить ШІ за мінімальної участі людини буде оплачуватися менше і менше
- робота, де використовується людська експертиза — оцінюватися все вище

ШІ будуть використовувати +/- всі, на візію вище це не впливає.

Ми можемо допускати баги у соцмережі, особливо, якщо вона монополіст.
Ми не можемо допускати баги у критичних галузях.

Не критичних галузей багато, але критичних більше, ніж можна подумати, просто тому, що про них не так багато кричать у ЗМІ й тому, що розповіді про них є специфічними та не простими для масового споживання.

Людство, як вид, що будує цивілізацію, далі буде мати дефіцит кваліфікованих людей, які ядром своєї роботи матимуть власний інтелект (а не те що ми зараз не зовсім коректно називаємо «штучним інтелектом»).

Фахівці з ШІ зможуть робити більше роботи.

Не-фахівці з ШІ будуть менше вчитися, сподіваючися на ШІ. А коли на ринку «промпт інженерів» буде яблуку нема де впасти, то виявиться, що час було згаяно, ШІ вже і без особливих навичок непогано відповідає всім, і за це ніхто не буде платити, бо ШІ-компанії зацікавлені у максимальній доступності своїх інструментів саме для масового користувача.

Треба зараз вкладатися у власну освіту та ставати висококваліфікованим експертом, бо ШІ вас не врятує, максимум — перетворить на клавіатуру, з якої людина пише свої запити. Те, що така клавіатура буде видавати за власну роботу, фахівець з ШІ автоматизує.

ШІ — це пастка для тих, хто не хотів вчитися до того, а зараз наче отримав підтвердження, що й справді можна не вчитися. Ні, це фатальна помилка.

Привіт, мій щоденнику...

За останній час декілька разів писав допис, а коли майже дописав, то зникало бажання публікувати. Наче думка цікава, а сказав — і вона або втратила об'єм, або навпаки, стала занадто складною.

Ось і їх і не писав.
А цей ось написав.

Привіт, мій щоденнику...

Як людину, що займається дослідженням та якістю програмних продуктів, мене дещо лякає безапеляційне посилання на ШІ-моделі, як джерела беззаперечного авторитету.

Типу, що треба використовувати ШІ...тому, що це ШІ. Багато новачків вірять, що достатньо завантажити в ЧатЖПТ юзер сторі і отримаєш ідеальні тест кейси, які не потребують ніякої перевірки. Ну то, бо нащо нам такий ШІ, який треба ще перевіряти? Вся магія зникає.

А вся магія яка раз у тому, що це дуже привабливо — віддати 100% певної роботи ШІ.

В цілому бажання є зрозумілим. Але як фахівці з перевірки та якості можуть гарантувати якість власної ж роботи? Апелюючи до мовної моделі? А навіщо такий фахівець, якщо всі його дії — це завантажити юзер сторі в чат та попросити створити тест кейси для покриття цих вимог?

При цьому мовні моделі це справді дуже потужні інструменти й справді можуть стати гарним помічником. Але це не магія, недостатньо сказати «Вінгардіум Левіосса», щоб предмет злетів у повітря. У всесвіті Гарі Поттера це гарно показано — молодим чарівникам недостатньо просто сказати закляття, у них спочатку не вдається. В цьому сенсі навіть магія потребує певного навчання, кваліфікації та роботи.

Це просто божевілля — зводити ШІ на п'єдестал, лише тому, що це ШІ. Особливо, якщо це роблять ті, хто має називатися інженерами. Це що, віра в науковому світі? Однак, вірити в ньому просто протипоказано, адже це суперечить принципу науки (і інженерії).

Втім, я не схильний до фаталізму в стилі «Все пропало!». Маємо набити гулі та експериментально, на результатах, зробити висновки. ШІ буде сильно змінюватися, і прості запити до мовних моделей стануть «попсою». Але такий собі «кіборг», де людина та ШІ сильно взаємодіють та кидають у спільний казан кожен власну експертизу — оце воно, це вже реалістичний сценарій.

Привіт, мій щоденнику...

Так думка. Якщо стає важко просто пояснити, як саме ти використовуєш умовний ChatGPT, бо досягаєш результату через набагато більше всього, ніж можна вкласти в один (нехай й складний та великий) промпт, то ти використовуєш ChatGPT правильно.

Привіт, мій щоденнику...

Що треба? Що хочеш? Що вважаєш цінним?

Ці питання завжди існують в айті. Хочеш бути мануальним тестувальником, а для грошей треба бути автоматизатором? Вважаєш цінним працювати в соціяльній сфері, але там не платять гроші, і ти не готовий жертвувати своїм часом заради "гарної справи"?

Круто, коли все збігається, і «треба», і «хочу» і «цінно», але майже завжди це недосяжно.

Моя спроба грати на цьому полі — освіта. Поки це про «хочу» та «цінне», бо «треба» робити класичну школу (для грошей), а я поки не готовий.

Чергова спроба тут, це нова освітня одиниця, яка не традиційно про тестування, але про програмування та веб. Нехай хтось дивується, що тестувальник робить курс з програмування для тестувальників же. Я ж певен, що це новий шлях, на який варто пристати всім.

Це мої «цінно» та «хочу».

Привіт, мій щоденнику...

Я помилково думав, що сучасні тренди в IT швидше доходять й до українського IT, але здається, це не так.

Звісно, я нікого не засуджую та не показую пальчиком "ай-ай-ай", не для цього було опитування.

Але ось факт.

У числі тих, хто не відповів "так" є і автоматизатори і розробники включно з рівнем синйор,

Мабуть, багато хто просто робить свою роботу. Однак, я очікував десь 50/50, переоцінив.

Привіт, мій щоденнику...

Тестуємо ChatGPT? Історія з двома твістами.

Побачив в лінкдині допис про те, що ChatGPT може гарно проаналізувати тебе. Що ж, запит типу «Схарактеризуй мене» від мсйо Жепет'є завжди дуже позитивний. Хіба це не підозріло? Та ні, ми це вже проходили із гороскопами, астрологією та компліментами — ми просто хочемо чути гарне про себе.

Далі один з коментаторів пише, мовляв, треба правильно питати та показує, що якщо просити про критику, то відповідь Жепет'є буде абсолютно іншою. Тут ти й неуважний, і нарцис, і впертий і поверхневий і взагалі дуже схожий на кусок лайна.

Це перший твіст.

Я слово у слово ввів промпт на критичну оцінку до Жепет'є та отримав свою порцію шоколадного морозива. Тільки ось о-1 зробили це у лаконічні 5 рядків, за об'ємом у 4 рази менше 4-о.

Далі я спитався про джерело для аналізу та його механізм.

І тут другий твіст.

Каже, взяв поширені тенденційні вади людини. Каже, ти ж питав про критику, тому я намагався максимально точно відповісти.... базуючись на загальних знаннях про узагальнену особистість.

Зараз маю бігти, але в голові вже сидить третій твіст для цієї історії.

Привіт, мій щоденнику...

Я подумав, а що якщо Vibe Coding всерйоз використовуватиметься на комерційних проєктах? Чи виникне Vibe Testing, що діятиме за тими ж самими принципами?

Привіт, мій щоденнику...

Цікаво, як часто у інженерів виникають особисті вподобання щодо мови програмування? З естетичного боку.

Експериментуючи з різними тех.стеками помічаю за собою такі симпатії.

Якщо одним словом спробувати описати, то наприклад:

React (JS) = цікаво
але
Python = приємно

На даному етапі мені важко сказати, що отримую якесь естетичне задоволення від JS коду, тоді як від Python таке задоволення присутнє.

Не хочу багато копати в причини, але точно певна простота та "чистота" Python відіграє свою роль. Банально візуально подобається більше.

Певен, що серед розробників також є ті, кому приємно використовувати snake case, а не camel case і навпаки.

Питання функціональності тут лежить окремо. Писати можна будь-якою мовою, якщо треба. І не кожна людина має естетичні вподобання. Але я певен, що не без цього.

Таке цікаве спостереження. При інших рівних умовах зараз я б обрав Python, тому що від нього просто більше кайфу.

Привіт, мій щоденнику...

Я розумію, що буду записувати сюди різні речі, ймовірно, несистемні, ймовірно, просто шматки думок, що виникають та сверблять у мене в голові, але для того ти мені й потрібен, щоденнику.

Раптом помічу якусь думку, інсайт під час роботи, то я одразу до тебе, карбувати символи, слова та речення.

Ти виник, щоденнику, бо так часто я хотів просто десь залишити міркування, які просилися бути залишеними. То ж, на тому й вирішимо.

Дякую, що вислухав.

Channel photo updated

Channel created