Как работает GPT-3 — предшественница самой продвинутой языковой модели

14 марта состоялся релиз GPT-4 — самой продвинутой языковой модели на сегодняшний день. Если вы не успели разобраться с её предшественницей, GPT-3, предлагаем вспомнить нашу статью 2021 года. GPT-3 отлично справлялась написанием целых эссе на заданную тему, удачно отвечала на вопросы, а также писала стихи и программный код. «Системный Блокъ» рассказал, как она работает.

Кратко: о чем статья?

Для обучения GPT-3 применялись прорывные методы контекстного обучения: модель, ранее уже предобученная на огромном корпусе текстов, должна выполнить задачи, предсказав ответ по аналогии с предложенными примерами. Это не обучение модели с нуля, а дообучение, которое требует значительно меньше времени и ресурсов.

Во время контекстного обучения для решения каждой задачи GPT-3 применялось три вида настроек. Few-Shot learning — «обучение в несколько приемов», когда на вход предобученной модели подается описание задачи на естественном языке и несколько примеров ожидаемых результатов. Например, задание на перевод с англиского на французский может быть таким: «sea otter → loutre de mer» и «peppermint → menthe poivrée», а теперь переведи «plush giraffe». One-Shot learning — «однократное обучение», то же, что FS, но дается лишь один пример. И, наконец, Zero-Shot метод — «нулевое», лишь инструкция на естественном языке, никаких примеров.

Примененные методы обучения позволили добиться отличных результатов. GPT-3, например, значительно превосходит другие модели при переводе с французского, немецкого и румынского языков на английский. Отвечая на вопросы об устройстве мира с точки зрения физики, модель показала в среднем 81% точности понимания доказанных фактов о мире.

О преимуществах и недостатках обучения GPT-3, архитектуре строения модели и других результатах обучения узнаете из полного текста статьи.

Время чтения: 8 минут.