Продолжаем рассказ о конференции в Самаре
Доклад Марии Голицыной был посвящен актуальной проблеме в области нейроинтерфейсов и машинного обучения, а именно распознаванию мелкой моторики на основе электромиографических и кинематических данных.
В качестве практического примера исследователи выбрали задачу классификации рукописного ввода десяти цифр от нуля до девяти. Основной фокус работы был направлен на создание компактной архитектуры под рабочим названием Домио, объем параметров которой составляет всего около шестидесяти тысяч. Такой малый размер принципиально важен, так как открывает перспективы для интеграции модели непосредственно на носимые устройства реального времени, включая системы бионического протезирования.
Эмпирическая база исследования была построена на сигналах с восьми каналов датчиков, закрепленных на предплечье и большом пальце испытуемых, а также на точных координатах касания поверхности бумаги.
В докладе были подробно разобраны методология разделения данных на отдельные трайлы, которые корректно ограничиваются моментом от первого касания до финального отрыва пера, что позволяет избежать искажения информации о написании сложных составных символов.
Мария открыто поделилась собственными методическими ошибками, подчеркивая важность правильной организации пайплайна данных как для внутрисессионного, так и для кросс-сессионного тестирования, где межиндивидуальная вариативность сигналов создает серьезные вызовы.
Архитектурное решение Домио строится на двух параллельных потоках обработки информации. Первый поток работает с сырыми временными сигналами, а второй задействует специальный обучаемый фильтр огибающей с настраиваемыми весами по частотам и каналам.
Для преодоления проблемы квадратичной вычислительной сложности трансформеров используется метод патчинга временной шкалы, а для сохранения порядка записи каналов применяется ротационное позиционное кодирование.
Особое внимание уделено подбору аугментаций: эмпирически было доказано, что такие методы, как шейф-дропаут, временная маскировка и гауссовский шум, значительно повышают устойчивость модели, тогда как слепая перестановка каналов без учета анатомического расположения датчиков на руке ведет к критическому падению точности.
В ходе сравнительного анализа автор протестировала современные универсальные фундаментальные модели общего назначения, однако результаты показали их неэффективность на задаче мелкой моторики.
Из-за мощного дата-дрифта и специфики биопотенциалов предобученные гиганты после тонкой настройки демонстрировали точность хуже классической логистической регрессии, тогда как специализированная разработка Домио достигла высоких показателей качества, особенно при пересчете точности на уровне целых трайлов, а не отдельных микроэпох.
Анализ индивидуальных особенностей шести участников эксперимента выявил интересную закономерность: простое увеличение объема данных за счет всех сессий не всегда гарантировал рост точности из-за сильной разницы в качестве сигналов у разных людей, однако минимальное дообучение в объеме хотя бы одного полного повторения всех цифр давало качественный скачок эффективности.
В финальной части выступления автор обобщила ключевые выводы о вреде преждевременного смешивания каналов на ранних слоях трансформеров и анонсировала запуск нового масштабного проекта по сбору качественного открытого датасета рукописных цифр и кириллицы для дальнейшего развития этой научной области.
https://youtu.be/G00LEz7GGrk?is=AsY5g5lkHW70PYbc#bcisamara
