Привіт, мій щоденнику...

Розробник з 10-тирічним стажем Марек Фекса написав у лінкдин цікавий допис. Він жаліється, що раптово з'ясував, що автотести, згенеровані мовною моделлю, були увесь час зеленими, навіть коли він видалив код, який вони тестували. Це відбулося тому, що насправді мовна модель «хотіла зробити тести, якими людина задоволена», тому створила фіктивну реалізацію, створивши конфігурацію тестів, які завжди показують passed.

І я абсолютно не буду тут сварити мовну модель, бо це мовна модель, не фреймворк для автотестів чи щось інше спеціалізоване. Про це я часто й кажу, що до справжнього інструмента мовна модель не дотягує через своє надто широке призначення (або кажучи точно, через свою "природу" намагатися передбачати текст в контексті).

Я зверну увагу саме на людину. Людина не перевірила автотести одразу, вона довірилися мовній моделі. І цей випадок яскраво підкреслює мої побоювання через масове використання мовних моделей в айті. Люди не хочуть перевіряти за моделлю, вони хочуть, щоб ті робили за них 100% їх роботи. Не 50, не 80, а 100 чи навіть 120% (додаючи те, де людина взагалі не має компетенції).

Якби всі використовували мовні моделі як помічників та перевіряли б те, що потім видають за власну роботу, я б не писав так багато застережливих дописів. Але така природа людини. Так, публічно я часто бачу коментарі, що «це лише помічник» та що «треба перевіряти», але людина слабка, і воліє не працювати зовсім. Тому маємо такі історії.

Якщо ви користуєтеся мовними моделями для генерації артефактів своєї роботи та обґрунтовано відповідаєте за них, бо точно знаєте, чим вони є та як працюють, то питань немає. Це буде крутий симбіоз «ШІ» та людини. Я обома руками «за». Але, камон, ми ж знаємо себе і знаємо, чому такий гайп навколо «ШІ».

Що цікаво, то спостерігаю й зворотну картину. Висококласні фахівці (зазвичай це вище рівня синйор) як раз і вказують на це слабке місце, вже ціла низка статей є про те, що на певному (складному) етапі роботи перевірка результатів моделі часто виявляється довшою за самостійне написання коду. Втім, ці голоси не чутно у масовому вжитку, вони залишаються всередині спеціалізованих спільнот, які не дуже пишуть дописи в популярних соцмережах.