🚀 Как эксперименты с LLM помогают создавать интерфейсы для незрячих пользователей

Меня зовут Михаил Пожидаев, я доцент теоретической информатики в Томском государственном университете. А ещё я уже 13 лет веду проект LUWRAIN — платформу для разработки невизуальных приложений. Проще говоря, это среда, которая позволяет обеспечить доступ к функциям программных компонентов с учётом особенности восприятия информации незрячими в комфортной для них форме.

История началась в 2002 году, когда я сам потерял зрение на первом курсе. Можно было поставить готовые программы экранного доступа, но, так как мне нравился Linux и его возможности, я решил сам написать свой код. Так появился LUWRAIN.

📌 Социальные IT-проекты — это про энтузиазм, а не про рынок

Незрячих пользователей в России, по разным оценкам, от 300 тысяч. Это очень небольшая аудитория, и у профессиональных разработчиков до неё зачастую просто не доходят руки. И получается замкнутый круг:

🔴 Формально пользователи есть, но их мало

🔴 Многие незрячие теряют веру в себя и интерес к сложным технологиям вроде Linux

🔴 В итоге спрос есть только на базовые функции доступности: подписи к картинкам, метки на сайтах и так далее

А LUWRAIN — это кросс-платформенная Java-разработка со сложной архитектурой и множеством внутренних инструментов. Для её развития нужны серьёзные компетенции.

📌 Мне стало интересно, можно ли хотя бы частично компенсировать дефицит живых рук за счёт LLM

Когда все заговорили про языковые модели, я решил попробовать LLM на платформе Yandex AI Studio. Цель была простая: посмотреть, может ли нейросеть помочь писать шаблонный код, которого в LUWRAIN много.

Я брал заготовки с типовыми классами и структурами, подставлял в промпт и просил: «Сгенерируй класс с такими-то полями».

📌 Вот выводы, которые я сделал:

🔴 Код получается не просто корректным, он написан в моём стиле, как будто накодил его я сам

🔴 Пока это эксперимент, а не продакшен, но направление кажется перспективным

Конечно, на практике хватает сложностей: где-то без ручной доработки не обойтись, где-то возникают вопросы качества и времени. Но я настроен оптимистично.

📌 У нас была идея сделать что-то вроде облачного компаньона для LUWRAIN

С его помощью можно было бы готовить учебные материалы, делать презентации, хранить книги. Но попытки завести его провалились, потому что мы упёрлись в проблемы с авторскими правами на книги.

Тогда я пошёл другим путём и сделал надстройку над TeX в Markdown. Получился инструмент, который:

🔴 Позволяет незрячему пользователю легко готовить научные работы

🔴 Конвертирует Markdown с формулами и ссылками в удобный TeX или HTML

🔴 Автоматически генерирует презентации через тот же Markdown + AI

📌 Что в итоге

Под капотом система уже работает стабильно. Технически всё написано в основном на Java. Веб-фреймворк — Apache Tomcat, брокер сообщений — Kafka, база данных — PostgreSQL, Redis для кеширования, шаблонизация интерфейса — Apache Velocity.

Планирую также подключить Yandex SpeechKit: хочу протестировать генерацию аудиоверсий материалов для пользователей с нарушениями зрения с сохранением в форматах DAISY и EPUB.

⏯ Если этот опыт вас зацепил и теперь вам хочется разобраться в деталях — читайте статью на Хабре. Там я делюсь архитектурными решениями и рассказываю, как именно устроено облако, какие инструменты Яндекса мы используем и как обновляется инфраструктура LUWRAIN.

Подписывайтесь:
💬 @Yandex4Developers