Канал Яндекса о технологиях и людях, которые их создают.
События: https://events.yandex.ru/
Каналы Яндекса по стекам разработки: https://t.me/addlist/Hrq31w2p1vUyOGZi
________________________________________________
Номер заявления в РКН: 4962241172
Post #1370
8.65K

🚀 Как эксперименты с LLM помогают создавать интерфейсы для незрячих пользователей
Меня зовут Михаил Пожидаев, я доцент теоретической информатики в Томском государственном университете. А ещё я уже 13 лет веду проект LUWRAIN — платформу для разработки невизуальных приложений. Проще говоря, это среда, которая позволяет обеспечить доступ к функциям программных компонентов с учётом особенности восприятия информации незрячими в комфортной для них форме.
История началась в 2002 году, когда я сам потерял зрение на первом курсе. Можно было поставить готовые программы экранного доступа, но, так как мне нравился Linux и его возможности, я решил сам написать свой код. Так появился LUWRAIN.
📌 Социальные IT-проекты — это про энтузиазм, а не про рынок
Незрячих пользователей в России, по разным оценкам, от 300 тысяч. Это очень небольшая аудитория, и у профессиональных разработчиков до неё зачастую просто не доходят руки. И получается замкнутый круг:
🔴 Формально пользователи есть, но их мало
🔴 Многие незрячие теряют веру в себя и интерес к сложным технологиям вроде Linux
🔴 В итоге спрос есть только на базовые функции доступности: подписи к картинкам, метки на сайтах и так далее
А LUWRAIN — это кросс-платформенная Java-разработка со сложной архитектурой и множеством внутренних инструментов. Для её развития нужны серьёзные компетенции.
📌 Мне стало интересно, можно ли хотя бы частично компенсировать дефицит живых рук за счёт LLM
Когда все заговорили про языковые модели, я решил попробовать LLM на платформе Yandex AI Studio. Цель была простая: посмотреть, может ли нейросеть помочь писать шаблонный код, которого в LUWRAIN много.
Я брал заготовки с типовыми классами и структурами, подставлял в промпт и просил: «Сгенерируй класс с такими-то полями».
📌 Вот выводы, которые я сделал:
🔴 Код получается не просто корректным, он написан в моём стиле, как будто накодил его я сам
🔴 Пока это эксперимент, а не продакшен, но направление кажется перспективным
Конечно, на практике хватает сложностей: где-то без ручной доработки не обойтись, где-то возникают вопросы качества и времени. Но я настроен оптимистично.
📌 У нас была идея сделать что-то вроде облачного компаньона для LUWRAIN
С его помощью можно было бы готовить учебные материалы, делать презентации, хранить книги. Но попытки завести его провалились, потому что мы упёрлись в проблемы с авторскими правами на книги.
Тогда я пошёл другим путём и сделал надстройку над TeX в Markdown. Получился инструмент, который:
🔴 Позволяет незрячему пользователю легко готовить научные работы
🔴 Конвертирует Markdown с формулами и ссылками в удобный TeX или HTML
🔴 Автоматически генерирует презентации через тот же Markdown + AI
📌 Что в итоге
Под капотом система уже работает стабильно. Технически всё написано в основном на Java. Веб-фреймворк — Apache Tomcat, брокер сообщений — Kafka, база данных — PostgreSQL, Redis для кеширования, шаблонизация интерфейса — Apache Velocity.
Планирую также подключить Yandex SpeechKit: хочу протестировать генерацию аудиоверсий материалов для пользователей с нарушениями зрения с сохранением в форматах DAISY и EPUB.
⏯ Если этот опыт вас зацепил и теперь вам хочется разобраться в деталях — читайте статью на Хабре. Там я делюсь архитектурными решениями и рассказываю, как именно устроено облако, какие инструменты Яндекса мы используем и как обновляется инфраструктура LUWRAIN.
Подписывайтесь:
💬 @Yandex4Developers
Меня зовут Михаил Пожидаев, я доцент теоретической информатики в Томском государственном университете. А ещё я уже 13 лет веду проект LUWRAIN — платформу для разработки невизуальных приложений. Проще говоря, это среда, которая позволяет обеспечить доступ к функциям программных компонентов с учётом особенности восприятия информации незрячими в комфортной для них форме.
История началась в 2002 году, когда я сам потерял зрение на первом курсе. Можно было поставить готовые программы экранного доступа, но, так как мне нравился Linux и его возможности, я решил сам написать свой код. Так появился LUWRAIN.
📌 Социальные IT-проекты — это про энтузиазм, а не про рынок
Незрячих пользователей в России, по разным оценкам, от 300 тысяч. Это очень небольшая аудитория, и у профессиональных разработчиков до неё зачастую просто не доходят руки. И получается замкнутый круг:
🔴 Формально пользователи есть, но их мало
🔴 Многие незрячие теряют веру в себя и интерес к сложным технологиям вроде Linux
🔴 В итоге спрос есть только на базовые функции доступности: подписи к картинкам, метки на сайтах и так далее
А LUWRAIN — это кросс-платформенная Java-разработка со сложной архитектурой и множеством внутренних инструментов. Для её развития нужны серьёзные компетенции.
📌 Мне стало интересно, можно ли хотя бы частично компенсировать дефицит живых рук за счёт LLM
Когда все заговорили про языковые модели, я решил попробовать LLM на платформе Yandex AI Studio. Цель была простая: посмотреть, может ли нейросеть помочь писать шаблонный код, которого в LUWRAIN много.
Я брал заготовки с типовыми классами и структурами, подставлял в промпт и просил: «Сгенерируй класс с такими-то полями».
📌 Вот выводы, которые я сделал:
🔴 Код получается не просто корректным, он написан в моём стиле, как будто накодил его я сам
🔴 Пока это эксперимент, а не продакшен, но направление кажется перспективным
Конечно, на практике хватает сложностей: где-то без ручной доработки не обойтись, где-то возникают вопросы качества и времени. Но я настроен оптимистично.
📌 У нас была идея сделать что-то вроде облачного компаньона для LUWRAIN
С его помощью можно было бы готовить учебные материалы, делать презентации, хранить книги. Но попытки завести его провалились, потому что мы упёрлись в проблемы с авторскими правами на книги.
Тогда я пошёл другим путём и сделал надстройку над TeX в Markdown. Получился инструмент, который:
🔴 Позволяет незрячему пользователю легко готовить научные работы
🔴 Конвертирует Markdown с формулами и ссылками в удобный TeX или HTML
🔴 Автоматически генерирует презентации через тот же Markdown + AI
📌 Что в итоге
Под капотом система уже работает стабильно. Технически всё написано в основном на Java. Веб-фреймворк — Apache Tomcat, брокер сообщений — Kafka, база данных — PostgreSQL, Redis для кеширования, шаблонизация интерфейса — Apache Velocity.
Планирую также подключить Yandex SpeechKit: хочу протестировать генерацию аудиоверсий материалов для пользователей с нарушениями зрения с сохранением в форматах DAISY и EPUB.
⏯ Если этот опыт вас зацепил и теперь вам хочется разобраться в деталях — читайте статью на Хабре. Там я делюсь архитектурными решениями и рассказываю, как именно устроено облако, какие инструменты Яндекса мы используем и как обновляется инфраструктура LUWRAIN.
Подписывайтесь:
💬 @Yandex4Developers
- 🔥 15
- ❤ 11
- 👍 2





















