Chaplin — утилита для визуального распознавания речи по губам (VSR), которая считывает движения ваших губ и мгновенно преобразует их в текст.
Ключевые особенности:
Мгновенное распознавание: Реагирует на движения губ в реальном времени.
Полная локальная работа: Все процессы выполняются на вашем устройстве, обеспечивая конфиденциальность данных.
Открытый исходный код: Доступен для сообщества разработчиков на GitHub.
Как это работает? Chaplin использует модель, обученную на наборе данных Lip Reading Sentences 3 (LRS3), что позволяет ему точно интерпретировать чтение по губам.
Установка:
$ git clone https://github.com/amanvirparhar/chaplin
$ cd chaplin
Далее качаем необходимые модели, ссылки на GitHub
Пример использования:
$ sudo uv run --with-requirements requirements.txt --python 3.12 main.py config_filename=./configs/LRS3_V_WER19.1.ini detector=mediapipe
⚙️ GitHub/Инструкция
Разъяснивший Python