💻 Модель для генерации субтитров в Яндекс Браузере: как работает и что под капотом?

Начнём с новости: Яндекс Браузер теперь умеет создавать субтитры для любых русскоязычных видео в интернете, нейросеть встроена прямо в десктопный браузер. Фича не только поможет, когда нет наушников под рукой, но и откроет весь видеоконтент на русском языке для людей с нарушением слуха.

Разработчики для этого сократили потребление оперативной памяти в 5 раз, теперь эту нейросеть могут тянуть компьютеры с маленькой мощностью. На это понадобилось три волны оптимизации: например, на этапе декодирования было сохранено более 400 Мб, а 450 Мб памяти выиграли на уменьшении разных буферов и очистке памяти на заморозке префикса.

Архитектура состоит из двух очень разных частей: свёрточной и трансформерной. Причём трансформерная часть подверглась частичной квантизации, чтобы не затрагивать сложные слои, такие как softmax.

В итоге получилась модель, которая потребляет всего 150 Мб. Осталось нажать только одну кнопку, чтобы она сгенерировала субтитры. Планируют добавить в нейросеть больше языков и расширить её на другие устройства. Подробности про процесс команда рассказала в статье на Хабре.