Post #253
920
Я тут недавно talkнул рассказ про предобученные языковые модели для русского языка. Получилось длинновато, но, кажется, содержательно. Приглашаю к просмотру: https://youtu.be/YHgOFKmx8qo
YouTube Давид Дале - Предобученные модели для русского языка Поговорим про особенности, ограничения и рецепты использования русского BERT. Обсудим опыт дистилляции BERT и сжатия fastText. Разберёмся, какая магия нужна, чтобы заставить GPT от Сбера генерировать нужный вам текст, и почему с T5 то же самое можно сделать…