Завуць яго Дзмітрый Багданаў, ён з Гомеля і прыдумаў механізм “attention” альбо “увагі”. Вось ягоны артыкул, які працытаваны 27.000 разоў, вось ягонае інтэрв’ю.
Паспрабую проста патлумачыць, што канкрэтна ён прыдумаў. Пабудаваць нейронку, якая будзе генерыраваць тэкст, не складана: даем ёй уводныя даныя з N сімвалаў і просім прадказаць N+1 сімвал. Вось як выглядае тэкст, згенерыраваны такой нейронкай, навучанай на тэкстах Караткевіча:
"а майка цяліцыга не было можа таком да выкрывага да стаў на ног, сяброў у такой стале па думкі і далёкага на караской адразу пад яго да стаялола страшны адна з нашкат.”Нешта ёсць, але слабенька. Можна лепш – скарміць ёй больш тэкстаў, даўжэй яе трэніраваць – але інтуітыўна зразумела, што вучыцца прадказваць наступны сімвал – гэта занадта нізкі ўзровень абстракцыі і таму неэфектыўны.
Далей народ спрабаваў прадказваць цэлыя словы. Працавала лепш, але не ідэальна. Праблема тут у тым, што сэнс пэўнага слова можа залежыць не ад папярэдняга слова, а ад слова напачатку сказа ці ўвогуле ў іншым сказе. А вучацца яны ўсё роўна крок за крокам, слова за словам.
Дзмітрый прыдумаў, як гэта абыйсці і даць магчымасць нейронкам вывучваць складныя сэнсавыя залежнасць у тэкстах. Назваў ён гэта “механізмам увагі” - кажучы проста, гэта матэматычны апарат, які дазваляе нейронцы аналізаваць словы ў камбінацыі з іншымі словамі ў тэксце, групамі. Звяртаць увагу на кантэкст і ігнараваць тыя часткі тэксту, якія для кантэксту няважныя.
Уявіце пераклад сказу:
Ты мая рыбка, ты мая пцічка, раньшэ работала в школе цехничкайПры перакладзе слова “рыбка”, на слова “работала” такая нейронка зверне больш увагі, а слова “раньшэ” праігнаруе, бо слова “работала” дае дадатковы кантэкст - размова пра асобу жаночага роду.
Бонус такога падыходу яшчэ і ў тым, што нейронку не трэба вучыць крок за крокам, можна гэта рабіць у паралелі, што і дазволіла скарміць тэрабайты тэкстаў у GPT-3, пра які мы чуем з кожнага праса апошнія месяцы