Привіт, мій щоденнику...

Контекст. контекст... ми так багато знаємо про контекст... у контексті роботи з мовними моделями а також і так мало! Ось свіжий приклад, який потрібно екстраполювати на інші сценарії роботи з LLM.

Роблю простий запит у гуглі:
- Confluence analog

Що може бути простіше, що може бути не так з контекстом цього елементарного запитання?

Вбудована модель починає мені казати про аналоги, а також доволі багато розповідати про аналоги саме для російського ринку.

Випереджаючи можливі запитання. Не маю російської мови ніде на ПК. Вона повністю вимкнена і у налаштуваннях хрому та пошуку гугл. Запити російською не робляться. Цей запит був англійською.

Отже, я питаю — чому ти мені кажеш про російський ринок? І модель каже, що подібні запити(!) частіше зустрічаються саме у контексті російського ринку, бо у них там проблеми з конфлюєнсом. Отже, модель зважила ймовірності та вирішила, що саме ця інформації мені потрібна.

Звісно, ми можемо думати про те, як уникнути подібного, міркуючи про цей випадок. Але подумайте про інше. Не про цей випадок. А про те, що ви НЕ ЗНАЄТЕ, що може вплинути на контекст вашого наступного запиту. Думати ретроспективно легко, але хто з нас міг очікувати подібної відповіді? Хіба що хтось в курсі того, що в росії популярні такі запити. А також, що їх так багато, що для моделі це стає важливим контекстом. А ще, що попри всі налаштування, модель вирішить сказати про це користувачеві на запит англійською.

Ось ще одне питання контексту, про яке модель не сказала, але я думаю, що воно існує. Не думаю, що якби запит був з якоїсь Великої Британії, то модель також говорила б про російський ринок. Я думаю, що модель знає про те, що українці часто гуглять російською та споживають контент з росії. А отже, вона буде змішувати наши контексти.

Але знову ж, подумайте, якою має бути ваша обізнаність та кваліфікація, щоб передбачити цю поведінку моделі?

Диявол в деталях. Мовні моделі дуже чутливі до них. Це дозволяє їм видавати унікальні та корисні результати. А також й ті, що лише виглядають такими. І коли ми починаємо використовувати їх в роботі, то це стає критично. LLM потребує суворої упряжі, максимально визначених вами обмежень. Це ніколи не дасть вам гарантію, але зменшить ймовірність хибних результатів.