В данной работе изучаются общие принципы улучшения обучения языковых моделей (ЯМ), целью которых является сокращение необходимых шагов обучения для достижения высокой производительности.
В частности представлена теорию оптимального обучения ЛМ. Цель оптимизация обучение ЛМ путем максимизации коэффициента сжатия данных в представлении "
LM-training-as-lossless-compression". Авторы выводят теорему, названную законом обучения, которая раскрывает свойства динамики в процессе оптимального обучения.
Теорема подтверждается экспериментами на линейной классификации и реальной задаче моделирования языка.
Наконец, авторы эмпирически доказывают, что оптимальное обучение LM в основном связано с улучшением коэффициентов в законе масштабирования LM, что указывает на большие перспективы и значение для разработки практических методов ускорения обучения.
https://huggingface.co/papers/2402.17759
@bigdatai