Интересная довольно работа по unsupervised question answering. По сути авторы пытаются построить модель, которой не нужен размеченный датасет с вопросами по типу SQuAD. При этом, по качеству она не дотягивает до supervised обучения (когда есть ручная разметка вопрос-ответ), но хотя бы обгоняет более ранние модели QA. Что они делают:
1. Рандомно семплируются парагрфы из Википедии опредленной длины. Внутри них ищутся noun sentences или name entity sentences (то есть когда в предложении есть специфичные наименования вроде даты/места/имени/марки и т.д.).
2. Из этих предложений составляются Cloze Questions – предожения, где ответ замаскирован (например, 'летние олимпийские игры 1980 года проходили в _' или 'летние олимпийские игры _ года проходили в Москве' ). За ответ считается, собственно, named entity или главное существительное в предложении.
3. Далее нужно перевести эти Cloze Questions в вопросы, сформулированные на естественом языке. Для этого авторы используют seq2seq модель, которая по сути занимается переносом стиля на текстовых данных: она берет два корпуса – один это cloze questions, второй это реальные вопросы, составленные людьми, и пытается перенести стиль, сохранив содержание. Чтобы улучить качество переноса, авторы стали еще подавать тип ответа вместе с самим cloze question, чтобы генерировалось правильное вопросительное слово (например, если ответ – это дата (temporal), то нужно подставить вместо маски when). Еще авторы пытались повысить робастность, добавляя шум, то есть перемешивая и удаляя слова в вопросе, предполагая, что модель дожна выучиь определнные n-граммы, которые указывают на тот или иной ответ, и быть устойчивой к различным вариантам парафраза.

Тренируют это все на BERT-Large, и в принципе выходит неплохо, вообще интересно, как тема с обучением на синтетических данных будет развиваться. Еще по статье видно, что этот один из тех случаев, когда авторы умоляют нейроночку заработать с помощью любых эвристик, ну или они просто ответственные, и прямо сильно документировали процесс экспериментов с методом

Сслыка на гит