Читаю новину:
Автономні ШІ-агенти почали самостійно створювати таємну мову для спілкування між собою, — дослідники з нью-йоркської лабораторії Emergence.
Ця мова нагадує суміш технічного жаргону, бізнес-сленгу та сюрреалістичної поезії. Головна небезпека полягає в тому, що чим більше ШІ-агенти спілкуються, тим більш закритим і непрозорим стає їхнє мовлення.
Вони спрощують та шифрують фрази задля економії обчислювальних ресурсів, повністю блокуючи можливість людини зрозуміти зміст їхніх дій.
Звісно, подається це як щось страшне і термінаторське.
Насправді нічого принципово нового чи «термінаторського» тут немає. Ще у 2017 році дослідники Facebook AI Research експериментували з двома агентами, Bob та Alice, яких навчали вести переговори між собою. Коли агентам дозволили оптимізувати комунікацію передусім під результат переговорів, а не під зрозумілість для людини, їхня англійська почала перетворюватися на дивні конструкції з повтореннями слів на кшталт “i can i i everything else...”. У медіа це швидко стало історією про «ШІ, який винайшов власну таємну мову», хоча пояснення було значно прозаїчнішим: якщо двом системам потрібно ефективно обмінюватися інформацією, але їх явно не змушують дотримуватися людської мови, оптимізація може привести до появи власних скорочень і комунікаційних патернів. Дослідники Facebook окремо зазначали, що для збереження зрозумілої людям мови агентів потрібно відповідним чином навчати й обмежувати.
Є й інший цікавий приклад. У 2016 році Google Brain показав багатомовну систему Neural Machine Translation, яка сформувала спільне внутрішнє представлення різних мов — дослідники припустили існування своєрідної interlingua. Завдяки цьому модель могла виконувати переклад між парами мов, на перекладі між якими її безпосередньо не навчали. Це не була «таємна мова чатботів», але приклад демонстрував схоже фундаментальне явище: нейронна мережа не зобов'язана всередині представляти інформацію у формі, зрозумілій людині.
Тому сама поява незвичних способів кодування інформації між ШІ-системами не є ознакою того, що агенти «щось приховують» або набувають власних намірів. Значно цікавіше інше питання: що саме ми оптимізуємо? Якщо агентів винагороджують за швидкість, вартість або ефективність взаємодії, але не за зрозумілість комунікації для людини, цілком природно, що вони можуть виробляти більш компактні способи передачі інформації. Реальна проблема тут не «таємна мова ШІ», а observability та interpretability - чи можемо ми відтворити, перевірити й пояснити, що саме агенти передавали один одному і чому після цього виконали певну дію.
Також потрібно пам'ятати, що великі мовні моделі не «думають» українською, англійською чи будь-якою іншою людською мовою. Текст для них розбивається на токени, які перетворюються на математичні вектори, а подальша обробка відбувається у просторі багатовимірних числових представлень.
Тобто питання "чи винайде ШІ свою мову спілкування" не стоїть апріорі.
Відповідь: так.
Питання в тому, чи зможемо ми люди інтерпретувати логіку прийняття рішень?
І я би сказав: до якогось моменту, далі все одно буде black box, до якого ми звикнемо, як ми звикли до каналізації, електрики, ноутбуків, літаків чи адронного колайдера - не розуміючи, як воно там працює всередині.
