🚀 Что такое Fine Tuning ? Какие шаги включает ? Что дает Fine Tuning ?

В отличие от feature extraction, суть дообучения (Fine Tuning) заключается в размораживании последних слоев нейронной сети (Neural Net) и их обучении. Таким образом, корректируются слои, которые имеют наиболее абстрактные представления. Производя дообучение только нескольких слоев, мы уменьшаем риск переобучения (overfitting). И самое главное, это позволяет сделать текущую модель ещё более подходящей к нашей задаче.

Если верхние слои следует дообучить, то полносвязные слои нужно заменить на свои и тоже обучить.

Fine-tuning экономит ресурсы и время. Чтобы качественно обучить нейросеть, всей структуре языка нужны огромные вычислительные мощности,а также корпус всех текстов, которые удастся собрать с Интернета.

Эта задача достаточно сложна, и обычному исследователю вряд ли удастся в одиночку создать целую языковую модель. Fine-tuning позволяет нам не изобретать велосипед, а разрабатывать что-то новое на основе уже полученных навыков.

Процедура Fine tuning состоит в следующем:

• Заморозить все слои предварительно обученной модели.
• Добавить свои слои к обученной модели.
• Обучить добавленные слои.
• Разморозить несколько верхних слоев.
• Обучить эти слои и добавленную часть вместе.

@machinelearning_interview