Как работают языковые модели

Что такое языковая модель? Что общего между клавиатурой вашего телефона и GPT? Почему языковые модели умеют не только моделировать язык? Можно ли предсказать точность модели до её обучения? Отвечаем на все эти вопросы в нашем материале.

Кратко: о чём статья?

Мы сталкиваемся с работой языковой модели каждый раз, когда вводим что-то с помощью клавиатуры смартфона — языковая модель предлагает следующее слово или, говоря научно, моделирует наш язык. Большие нейросети вроде GPT, умеющие поддерживать диалог, писать код и многое другое тоже предсказывают наиболее вероятное слово на основе предыдущих. Главное отличие — они делает это намного точнее. 

Учиться моделировать язык можно разными способами. Существует два принципиально разных подхода: каузальное моделирование (Causal Language Modeling) и моделирование путем восстановления исходного текста по его «искаженной» версии (Masked Language Modeling и UL2). В первом подходе текст моделируется последовательно, слово за словом. К таким моделям, например, относятся все модели семейства GPT, а также модель PaLM. Во втором подходе исходный текст модифицируется: например, часть слов заменяется на специальное слово «[MASK]», которое затем должна отгадать модель. К таким моделям относится BERT.

Качество языковой модели зависит от её размера, размера обучающей выборки и количества вычислительных ресурсов, доступных для её обучения. Про размер модели и обучающую выборку мы рассказывали в наших материалах про машинное и глубинное обучение. А узнать подробнее о том, как получить оптимальную языковую модель, с какими задачами она обычно справляется и почему именно языковые модели стали главными претендентами на роль сильного искусственного интеллекта можно из полного текста статьи.

Время чтения: 12 минут.