Привіт, мій щоденнику...

Нещодавно десь писав про те, що вбудований Gemini у пошук Google виглядає доволі корисною функціональністю. А тому я не можу не зафіксувати й мінусів.

О, ви скажете — так собі диво, адже недоліки є всюди, тільки забажай та знайдеш. І я погоджуся. Тому акцент ставлю не на факті наявності недоліків, а на їх природі та наслідках.

На зображенні мій пошуковий запит і те, що я отримав у відповідь. Робимо висновки:
- чатбот «прикручений» не інтегровано, він користується дампом даних, які завжди десь у минулому.
Це не таємниця, просто запитайте у свого чатбота, чи користується він таким дампом та за яку він дату.

- навіть якщо контекст дуже поширений, а інформація вже загальновідома, чатбот не застрахований від помилок.Але у нашому випадку причиною є попередній пункт.

- більшість користувачів сприймають вбудований чатбот як пошук, але він нічого не шукає, як це робить Google, це гарно видно на скриншоті. Але Google чи OpenAI не поспішають з правильним позиціюванням, часто замовчуючи механізми роботи.

Головне та неприємне для мене — ми не можемо бути впевнені навіть у простих речах, коли йдеться про генеративні мовні моделі. Якщо ж ви скажете, що треба перевіряти відповідь, то я відповім: і навіщо тоді людям користуватися цим? Тобто, якщо я маю перевірити відповідь про 4 сезон серіалу, то нащо мені взагалі дивитися на відповідь Gemini?

Отже ми не можемо перевіряти 100% відповідей чатботів, бо це зробить їх використання у багатьох випадках непотрібним.

П.С. Бонусом розкажу ще одну історію. Коли Gemini сказав мені: «У моделі А гучність більша за модель Б» і далі в цьому ж тексті зробив висновок, що «У моделі Б гучність більша за модель А». Йшлося також про дуже поширену в інтернеті інформацію, віком декілька років. Але щось пішло не так.

Ще раз: мова не про помилки, як такі. Йдеться про помилки в елементарних речах! Тепер уявіть, як це може впливати на комплексні теми та вужчу специфіку.