Google запустил модель перевода американского жестового языка в текст (Sign to text)

И хочется рассказать не только про саму технологию, но и то, как её встроили в продукт: решение добавлено прямо в клавиатуру Android.

То есть пользователю не нужно идти в отдельное приложение, открывать специальный переводчик.
Он может использовать ЖЯ там, где обычно вводит текст:

🔵пишет сообщение другу
🔵задает вопрос Google
🔵общается с ИИ

Буквально везде, где есть поле для ввода текста 🚀

Т.е. доступность становится не отдельным сервисом, а частью базового пользовательского сценария. Кто-то выбирает клавиатуру на другом языке, кто-то набирает текст голосом, а глухие и слабослышащие теперь могут записывать видео на родном языке.

Модель отслеживает 130 точек (!) на лице, теле и руках и превращает видео в движущуюся карту координат. А еще модель специально учили распознавать жесты одной рукой — например, когда во второй руке телефон.

Специально приложила к посту не только официальный ролик Google, но и видео живого пользователя и таких примеров в запрещенных соцсетях уже сотни.

Теперь интересно будет наблюдать, куда они пойдут дальше и будут ли развивать обратное решение перевода текста в жесты, т.к. иначе полноценную коммуникацию представить сложно.

#бизнес_инклюзия #глухиеислабослышащие