🖥 Branch-Train-MiX — метод создания MoE-моделей. В его основе обучение нескольких одинаковых LLM на разных датасетах и агрегация предсказаний каждой модели во время инференса. NLP-специалисты подробно разобрали этот метод.

🔗 Прочитать разбор метода можно здесь: *клик*

@machinelearning_interview