BLOOM — autoregressive Large Language Model (LLM)

Не успели мы написать о том как GPT-3 умеет из коробки объяснять код, так вот ещё новость приехала. В открытый доступ выложена новая авторегрессионная мультиязыковая модель BLOOM, BigScience Language Open-science Open-access Multilingual.

https://huggingface.co/bigscience/bloom

И это действительно выглядит как тектонический сдвиг, потому как это первая открытая LLM (176 млрд. параметров) обученная в условиях полной прозрачности.

Что внутри:
- 46 естественных языков
- 13 языков программирования

Немного статистики:
> 900 исследователей
> 50 стран участниц
> 3 мес. обучения (Jean Zay Public Supercomputer)

Про датасет | про железо.

Контекст работы с кодом нам интересен особенно, конечно.

Говорят, что есть: Java, PHP, C, C++, Python, JavaScript, C#, Ruby, Lua, GO, TypeScript, Scala, Rust... perl'a нет ;)

Осталось только добраться и пощупать. Кто у нас тут недавно YaLM 100B поднимал?

PS. Обратим внимание, что модель лицензирована BigScience Responsible AI License v 1.0 (RAIL), которая носит разрешительный характер "при стремлении к ответственному использованию Модели". Вобщем, нужно ещё покурить подробности того, что авторы подразумевают под отвестственным использованием.