🚀FLAN от Google AI: универсальные языковые модели с тонкой настройкой инструкций
Чтобы ML-модель могла генерировать осмысленный текст, она должна обладать большим объемом знаний о мире и способностью к абстрагированию. Хотя языковые модели, которые обучены этому, способны автоматически приобретать эти знания по мере их масштабирования, ML-модели их следует лучше раскрыть эти знания и применить их к конкретным реальным задачам.
Один из недавних популярных методов использования языковых моделей для решения задач называется подсказкой с нулевым выстрелом или подсказкой с несколькими выстрелами. Этот метод формулирует задачу на основе текста, который языковая модель могла видеть во время обучения, чтобы затем генерировать ответ, дополняя текст. Хотя этот метод имеет хорошую производительность для некоторых задач, он требует тщательного проектирования, чтобы задачи выглядели как данные, которые модель видела во время обучения. Этот подход хорошо работает с некоторыми задачами, но может быть не интуитивно понятным для практического взаимодействия с моделью. Например, создатели GPT-3 обнаружили, что такие методы подсказки не приводят к хорошей производительности в задачах вывода естественного языка (NLI).
Вместо этого FLAN настраивает модель на большом наборе разнообразных инструкций, которые используют простое и интуитивно понятное описание задачи, например, «Классифицируйте этот обзор фильма как положительный или отрицательный» или «Переведите это предложение на датский». Создание набора данных с инструкциями с нуля для точной настройки модели потребует значительных ресурсов. Поэтому можно использовать шаблоны для преобразования существующих наборов данных в учебный формат. Эксперименты исследователей Google AI показали успешность такого подхода, протестировав FLAN и GPT-3 на 25 задачах.
Примечательно, что в небольших масштабах метод FLAN фактически снижает производительность, и только в более крупных масштабах модель становится способной обобщать инструкции в обучающих данных до невидимых задач. Это связано с тем, что маленькие модели не имеют достаточного количества параметров для выполнения большого количества задач.
https://ai.googleblog.com/2021/10/introducing-flan-more-generalizable.html