Не у одного меня бомбануло с этой особенности DBRX https://t.me/quant_prune_distill/227 и ребята подняли issue в репозитории модели.
Пользователи жалуются на отсутствие возможности конвертации в bnb формат и обучения LoRA поверх экспертов.
Потому один умелец приготовил модель, где эксперты используют
nn.Linear.[Конвертированная модель]