Те, кто интересуется современным NLP, уже наверняка знают про большую (до 175B параметров) языковую модель, которую показал Facebook Meta AI. Веса ее младших версий (до 30B) уже в паблике, а старшую обещают приоткрыть для ресерчеров.

Но не менее интересно подглядеть, как же делают такие штуки; читать не стерильный пост в блоге, а рутинные внутренние артефакты. И, оказывается, их тоже можно найти и убедиться, что в Meta AI ресерч инфраструктура в каких-то аспектах тоже оставляет желать лучшего, как и (почти) у всех.