Привіт, мій щоденнику...

Не так давно писав про покращення ChatGPT у роботі зі зображеннями, коли він навчився перемальовувати частинами, залишаючи інші місця повністю незмінними. Це впливало й на швидкість. Такі зміни робилися у кілька секунд.

Скільки минуло часу, 2-3 тижні?

Ось останній апдейт.
Все повернулося назад. Виправити одну літеру тягне за собою помилки в інших. Навіть коли зміна потрібна лише в одній літері, навіть якщо прямо це вказувати — змінюються форми та деталі тих частин, яких зміни не торкаються.

Все той самий пакет Plus. Та сама модель. І ось ще "вчора" я думав, що навчився малювати так, як мені треба, а сьогодні все це перестало працювати.

І я маю що сказати на аргумент "Це ти не вмієш, це ти не знаєш". Гаразд, а яким був сигнал, що зміни відбулися? Новий реліз? Ні. Як це відстежувати? І де шукати інформацію про подібні зміни?

Ніде, бо таких джерел немає. Ми лише здогадуємося про ймовірності. Ще раз. Здогадуємося. Ймовірності.

В цьому одна з базових проблем мовних моделей: їх роботу неможливо осягнути, при чому проблема не вирішиться навіть якщо заглиблюватися в тонкощі про токени, температуру, структуровані запити та промпт інжиніринг.

Кожен, хто регулярно користується ChatGPT розуміє, про що йдеться. Він просто інколи змінюється. Коли це станеться, що тому причиною та як довго буде тривати нова поведінка — завжди невідомо.

І ось ця невизначеність робить його дуже поганим робочим інструментом для тестувальника.

Однак, він все ще корисний. Але мені здається, кожен буде знаходити щось дуже своє у тому, яку користь даватиме мовна модель. І я скажу вам — ця різноманітність, вона через те, що мізки у всіх різні, і що саме у симбіозі мозок+LLM можуть бути цікаві результати.

Головна теза: в жодному разі не довіряти чатботу!

Якщо вам вдасться знайти до нього підхід крізь призму отакої недовіри. то саме тут і лежить користь у його використанні.