Быстрая подборка NLP новостей

1. Недавно BigScience начал тренировку 176B мультиязычной модели. Код и модель будут публично доступны всем. Модель тренируется на 416 A100 80Gb GPU и тренировка займёт больше месяца. Вот тут можно увидеть tensorboard модели, а вот тут подробнее почитать про неё и посмотреть на код.
2. Аннотированный RETRO (просто статья с заметками) от labml.ai
3. Статья-рецепт о zero-shot адаптации моделей на родственные языки (например с немецкого на шведский немецкий). Очень важным трюком оказалось добавлять посимвольный шум во время тренировки.
4. Новый запуск MIT 6.S191 Intro to Deep Learning. Первые две лекции уже доступны на YouTube.
5. DeepMind Gopher зафайнюнили так, чтобы модель отвечала на вопросы цитируя источники. Подход очень похож на WebGPT, но в отличие от него Gopher напрямую напрявляет запрос пользователя в поисковик, а потом работает с сырыми текстами которые нашлись вместо того чтобы интерактивно пытаться найти ответ.