Что такое LID? Рассказывают сотрудники лаборатории искусственного интеллекта компании «Криптонит»🤍#нейрословарь

Прежде чем передать аудиозапись в модель распознавания речи (Automatic Speech Recognition, ASR), её необходимо обработать в несколько этапов. Сначала модуль определения речи (Voice Activity Detection, VAD) выделяет фрагменты с речью, отсеивая паузы и шумы. Затем запускается модуль LID (Language Identification), работающий как классификатор.

❗️Задача LID — определить язык (иногда и конкретный диалект) и указать степень уверенности модели. Например: китайский язык (84%), мандаринский диалект (71%), гуаньхуа (68%).

Основой LID служит акустический энкодер, который преобразует аудиосигнал в последовательность векторов. Эти векторы описывают фонетические признаки (характерные слоги, частотное распределение звуков) и просодические характеристики (тон, темп, ритм), присущие конкретному языку.

Чтобы выявить статистические закономерности в звучании, аудиозапись разбивают на короткие временные кадры (фреймы) длительностью около 20–50 мс. Сначала нейросеть анализирует каждый фрейм по отдельности, а затем выполняет агрегацию полученных вероятностей на более длинном интервале (5–10 секунд), чтобы принять финальное решение.

➡️Существуют разные архитектуры LID⬅️

🟩TDNN — нейронная сеть с временной задержкой;
🟩CNN + LSTM/GRU — свёрточная сеть с рекуррентными слоями;
🟩Transformer — как в больших языковых моделях;
🟩Conformer — объединяет свёртки и механизм самовнимания;
🟩wav2vec, XLS-R, HuBERT и другие предварительно обученные речевые энкодеры.

В настоящее время набирают популярность гибридные (ASR+LID) модели. В них один общий энкодер используется для распознавания речи и определения языка, что экономит вычислительные ресурсы.

📌Современные LID-системы распознают более сотни языков и диалектов по коротким аудиофрагментам. При анализе длинных записей они также эффективно детектируют смену языка в процессе диалога.