LG выпустили в open source свою языковую модель с 7.8B параметрами. Чат версия доступна на hf. Учили сами “from scratch”, особое внимание уделили инициализации.
Показывают на своем стенде на ACL
https://arxiv.org/abs/2408.03541
Post #464
3.08K