✔️ Stanford и Google представили Marin — первую полностью открытую LLM, разработанную на JAX

Чем Marin выделяется среди других моделей:

— Открыто всё: не только веса, но и весь процесс обучения — код, датасеты, гиперпараметры, логи и эксперименты доступны на GitHub
— Обучение проходило на массиве из 12.7 триллионов токенов — модель обошла Llama 3.1 8B в 14 из 19 тестов
— Распространяется под лицензией Apache 2.0 — свободно используйте, модифицируйте и воспроизводите
— Используются Levanter + JAX, обеспечивающие bit‑точную воспроизводимость и масштабируемость на TPU/GPU

Проект задуман как открытая исследовательская лаборатория: каждый эксперимент фиксируется через pull request, логируется в Weights & Biases, обсуждается в issue и сохраняется в репозитории — даже неудачи документируются ради прозрачности.

Доступны две версии модели:

- Marin‑8B‑Base — мощная базовая модель, опережающая Llama 3.1 8B
- Marin‑8B‑Instruct — дообучена с помощью SFT, превосходит OLMo 2 и немного уступает Llama 3.1 Tulu

Это не просто открытый доступ к весам — новый научный стандарт в эпоху масштабных языковых моделей.

📌 JAX — научный фреймворк от Google для численных и ML-вычислений
📌 TPU — специализированные процессоры от Google для ускорения задач машинного обучения


➡️Github: https://github.com/stanford-crfm/marin

➡️Блог: https://developers.googleblog.com/en/stanfords-marin-foundation-model-first-fully-open-model-developed-using-jax/

➡️Гайд: https://docs.jax.dev/en/latest/quickstart.html

👉 @bigdata_1