Полезное приложение виртуальной реальности. Обучение языкам более эффективно при погружении в среду изучаемого языка, но не всегда есть возможность так погрузится - и тут выручает виртуальная реальность, благо VR шлема сейчас стоят плюс\минус 500 долларов, и Meta* очень сильно вложилась в их развитие и построение экосистемы.
С идей обучения языкам с погружением в среду, к нам в Umbrella IT пришла заказчица из Франции. Оказалось что у нас в том же городе во Франции где и она работает наш сотрудник который очень крут в мобильной разработке, можно лично встретится и обсудить проект (Думаю что случайности не случайны).
В итоге мы сделали приложение, в котором человек перемещается в страну, язык которой он учит, и в виртуальной реальности попадает в разные, житейские ситуации. Например он может зайти в уютное кафе в центре Нью Йорка, заказать стаканчик горячего капучино, и затем поболтать с бариста о жизни. После урока система анализирует его произношение, и подсказывает какие звуки он произносил не верно, и как они произносятся.
В проекте было много элементов требующих сильных инженерных решений это и VR, и кеширования (не у всех учеников хороший интернет), но самым интересным вызовом, была необходимость создать распознавание речи у людей которые неправильно произносят слова (в этом суть - они только учатся языку). Для этого пришлось соединять несколько AI-моделей и проводить процесс дообучения нейросетей, но итог превзошел наши ожидания. На скриншоте я показал как классно он подсвечивает какие конкретно звуки в словах неправильно произнес ученик.
Практический сразу после релиза Beyond Words VR включили в список ТОП-10 стартапов 2023 года по версии журнала
Startups Magazine. Я надеюсь, что стартап сможет обучить как можно больше людей языкам.
Сайт проекта -
https://www.beyond-words-vr.com/*запрещенная в России организация
