💻 Модель для генерации субтитров в Яндекс Браузере:
как работает и что под капотом?
Начнём с новости: Яндекс Браузер теперь умеет создавать субтитры для любых русскоязычных видео в интернете, нейросеть встроена прямо в десктопный браузер. Фича не только поможет, когда нет наушников под рукой, но и откроет весь видеоконтент на русском языке для людей с нарушением слуха.
Разработчики для этого сократили потребление оперативной памяти в 5 раз, теперь эту нейросеть могут тянуть компьютеры с маленькой мощностью. На это понадобилось три волны оптимизации: например, на этапе декодирования было сохранено более 400 Мб, а 450 Мб памяти выиграли на уменьшении разных буферов и очистке памяти на заморозке префикса.
Архитектура состоит из двух очень разных частей: свёрточной и трансформерной. Причём трансформерная часть подверглась частичной квантизации, чтобы не затрагивать сложные слои, такие как softmax.
В итоге получилась модель, которая потребляет всего 150 Мб. Осталось нажать только одну кнопку, чтобы она сгенерировала субтитры. Планируют добавить в нейросеть больше языков и расширить её на другие устройства. Подробности про процесс команда рассказала
в статье на Хабре.