😳Опубликован датасет для обучения усовершенствованной альтернативы LLaMa
Группа исследователей из различных организаций и университетов (Together, ontocord.ai, ds3lab.inf.ethz.ch, crfm.stanford.edu, hazyresearch.stanford.edu, mila.quebec) работает над созданием open-source альтернативы модели LLaMa и уже опубликовали датасет, релевантный использованному для создания последней. Несвободная, но хорошо сбалансированная LLaMa использовалась в качестве основы для таких проектов как Alpaca, Vicuna и Koala.
Сейчас в открытом доступе опубликован RedPajama – датасет текстов, содержащий более 1,2 трлн токенов. Следующим шагом,  по словам разработчиков, будет создание самой модели, что потребует серьёзных вычислительных мощностей.