ИИ научился читать по рукам

На конференции «Цифровые дни Иннополиса» инженер Сбера рассказал о разработке нейросети для перевода русского жестового языка в текст. Там же нам продемонстрировали бота в Телеграме, которому можно отправить кружок с жестовой речью, чтобы получить её расшифровку. Приложение с аналогичной функцией компания обещает выпустить до конца 2026 года.

Может показаться неожиданным, учитывая изобилие всевозможных переводчиков текста, аудио и видео, что такого продукта до сих пор не было. Но с жестовыми языками ситуация сильно сложнее. Во-первых, в мире их несколько сотен, причём у каждого своя грамматика. Во-вторых, смысл зависит от движений рук, мимики, положения тела и контекста. И если распознавать отдельные жесты ИИ умеет, то с переводом целых предложений проблемы возникают до сих пор. Чтобы их решить, Сберу пришлось собрать более 2 миллионов видеозаписей общей продолжительностью около 6 тысяч часов. Записывали их, по словам компании, носители языка из разных регионов России.

ИИ-переводчики жестовой речи постепенно, хотя и медленно, начинают добираться до пользователей. В августе Google представила модель SL2T, обученную на 100 тысячах часов записей жестовых языков. Пока она умеет переводить только американский жестовый язык в английский текст и при этом, по заявлению компании, встроена в клавиатуру Gboard на смартфонах Pixel 11. Сбер движется в том же направлении, но сосредоточился на русском языке и располагает значительно меньшим объёмом данных.