Stability теперь релизят еще и языковые модели 👀

Почему это круто:
1️⃣ Сейчас выложены чекпоинты на 3B и 7B, обученные на 800B токенов. Но скоро обещают докинуть моделей, обученных на датсете размером 1.5T

Ранее создатели LLaMA сделали ставку на то, что большие языковые модели были сильно undertrained – их тренировали на недостаточно большом числе токенов. Поэтому какое-то время LLaMA-модели являлись самыми «натренированными» в этом отношении. LLaMA 7B училась на 1 триллионе токенов, а 65B и 33B модели – на 1.4 триллиона

Теперь Stability смогут составить им конкуренцию – их 7B модель будет учиться на датасете, который на 50% больше, чем у аналогичной LLaMA-модели

2️⃣ Во-вторых, Stability, в отличие от Meta, релизят по очень божеской лицензии Creative Commons. То есть модели можно использовать как угодно (земной им поклон)

3️⃣ Еще обещают натренировать и выпустить модели по 5 свежим и хайповым датасетам: Stanford's Alpaca, Nomic-AI's gpt4all, RyokoAI's ShareGPT52K datasets, Databricks labs' Dolly, and Anthropic's HH

репа: https://github.com/Stability-AI/StableLM
початиться с моделью 7B: https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat