🔥 Apple только что выпустила LLM с открытым исходным кодом 7B, весами, обучающим кодом и набором данных! 👀

TL;DR:
🧠 Базовая модель 7B, обученная на 2,5 Т токенах в открытых наборах данных
✅ Данные в основном на английском языке и контекстное окно 2048
✅ Объединенные данные DCLM-BASELINE, StarCoder и ProofPile2
✅ MMLU 0.6372 > Mistral & < Llama3
✅ Открытая лицензия с лицензией Apple
✅ Соответствует моделям с закрытыми наборами данных, таким как Mistral
✅ Обучен с использованием Python и OpenLM framework
✅ Доступно на huggingface и в Transformers

▪Модель: https://huggingface.co/apple/DCLM-7B
▪Репозиторий: https://github.com/mlfoundations/dclm
▪Набор данных: https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0
▪Документация: https://arxiv.org/abs/2406.11794

@machinelearning_ru