Показываем новости по открытому коду ФКН ВШЭ.
Контакты: Михаил Гущин @mhushchyn
Post #127
696
glgenn
В репозитории опубликован код GLGENN — новой эквивариантной архитектуры нейросетей на основе геометрических алгебр. Модель сохраняет эквивариантность ко всем псевдоортогональным преобразованиям пространства, включая повороты и отражения, и при этом использует заметно меньше обучаемых параметров благодаря продуманному разделению и совместному использованию весов, согласованному со структурой геометрических алгебр. Ключевая идея — обобщённые группы Липшица и построение слоёв, которые действуют сразу на четыре фундаментальные подпространства алгебры, задаваемые инволюцией по разряду и ревёрсией. Это даёт лёгкую по параметрам реализацию без потери выразительности и автоматически гарантирует нужную эквивариантность. Предложены слои проекций, геометрического произведения и нормализации, а также слой конъюгаций с дискретными коэффициентами, что упрощает обучение и повышает устойчивость. В экспериментах на эталонных задачах архитектура либо превосходит, либо не уступает существующим эквивариантным моделям при существенно меньшем числе параметров. Показаны результаты на регрессии с симметрией O(5), оценке объёма выпуклой оболочки в пространствах O(5) и O(7), а также на задаче взаимодействия N-тел. По сравнению с CGENN достигается сопоставимое или лучшее качество, при этом число параметров и время обучения ниже; отмечена меньшая склонность к переобучению на малых выборках. Работа может быть полезна исследователям эквивариантных архитектур, специалистам по моделированию физических систем и робототехнике, а также командам, которым важны строгие симметрии при ограниченных данных и ресурсах.
статья | код
В репозитории опубликован код GLGENN — новой эквивариантной архитектуры нейросетей на основе геометрических алгебр. Модель сохраняет эквивариантность ко всем псевдоортогональным преобразованиям пространства, включая повороты и отражения, и при этом использует заметно меньше обучаемых параметров благодаря продуманному разделению и совместному использованию весов, согласованному со структурой геометрических алгебр. Ключевая идея — обобщённые группы Липшица и построение слоёв, которые действуют сразу на четыре фундаментальные подпространства алгебры, задаваемые инволюцией по разряду и ревёрсией. Это даёт лёгкую по параметрам реализацию без потери выразительности и автоматически гарантирует нужную эквивариантность. Предложены слои проекций, геометрического произведения и нормализации, а также слой конъюгаций с дискретными коэффициентами, что упрощает обучение и повышает устойчивость. В экспериментах на эталонных задачах архитектура либо превосходит, либо не уступает существующим эквивариантным моделям при существенно меньшем числе параметров. Показаны результаты на регрессии с симметрией O(5), оценке объёма выпуклой оболочки в пространствах O(5) и O(7), а также на задаче взаимодействия N-тел. По сравнению с CGENN достигается сопоставимое или лучшее качество, при этом число параметров и время обучения ниже; отмечена меньшая склонность к переобучению на малых выборках. Работа может быть полезна исследователям эквивариантных архитектур, специалистам по моделированию физических систем и робототехнике, а также командам, которым важны строгие симметрии при ограниченных данных и ресурсах.
статья | код
- 🔥 6
- ❤ 3
- 👍 1
