Полезное приложение виртуальной реальности.

Обучение языкам более эффективно при погружении в среду изучаемого языка, но не всегда есть возможность так погрузится - и тут выручает виртуальная реальность, благо VR шлема сейчас стоят плюс\минус 500 долларов, и Meta* очень сильно вложилась в их развитие и построение экосистемы.

С идей обучения языкам с погружением в среду, к нам в Umbrella IT пришла заказчица из Франции. Оказалось что у нас в том же городе во Франции где и она работает наш сотрудник который очень крут в мобильной разработке, можно лично встретится и обсудить проект (Думаю что случайности не случайны).

В итоге мы сделали приложение, в котором человек перемещается в страну, язык которой он учит, и в виртуальной реальности попадает в разные, житейские ситуации. Например он может зайти в уютное кафе в центре Нью Йорка, заказать стаканчик горячего капучино, и затем поболтать с бариста о жизни. После урока система анализирует его произношение, и подсказывает какие звуки он произносил не верно, и как они произносятся.

В проекте было много элементов требующих сильных инженерных решений это и VR, и кеширования (не у всех учеников хороший интернет), но самым интересным вызовом, была необходимость создать распознавание речи у людей которые неправильно произносят слова (в этом суть - они только учатся языку). Для этого пришлось соединять несколько AI-моделей и проводить процесс дообучения нейросетей, но итог превзошел наши ожидания. На скриншоте я показал как классно он подсвечивает какие конкретно звуки в словах неправильно произнес ученик.

Практический сразу после релиза Beyond Words VR включили в список ТОП-10 стартапов 2023 года по версии журнала Startups Magazine. Я надеюсь, что стартап сможет обучить как можно больше людей языкам.

Сайт проекта - https://www.beyond-words-vr.com/

*запрещенная в России организация