Кстати мало кто упомянул про релиз от DeepSpeed, в котором они:
– подготовили скрипт для тренировки RLHF, в который надо просто передать модель с Huggingface
– подготовили API для питона, чтобы тренировку можно было кастомизировать
– смогли, как показывают в брошюре, сильно снизить время и косты обучения
– позволяют впихнуть OPT-13B на одну A100, например

Для оптимизации ввернули туда и Low Rank Adaption (LoRA), который сейчас используют кажется все для обучения LLaMA-моделей больших размеров

Чек ит аут короче, в датасетах для инстракшн тюнинга сейчас тоже дефицита нет
https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-chat