Claude 3.7? Open AI? Редкоземельный литий? А может быть лучше..117 страничный обзор на приложения нейро-пучков? 🟣

В работе Sheaf theory: from deep geometry to deep learning представлен обзор на пучки (sheaf), начиная с описания математического аппарата, заканчивая приложениями в логике, лингвистике, дизайну алгоритмов, и в анализе данных, особенно для проектирования нейронных сетей.

Topology-fan or ML-enjoyer?

Мета-задача работы: Сделать математический аппарат теории пучков понятным для заинтересованных, но искушенных CS/AI исследователей 🕸, при этом показать алгебраическим геометрам/топологам 🤓, что их конструкции практически применимы в сельском хозяйстве (stalks).

Что такое Пучки? В общем случае, это способ сопоставить геометрическому объекту G категорию V (конечных множеств, векторных пространств итд). На практике, это нужно для того, чтобы погрузить структуру G в более удобную среду, способную представлять и обрабатывать сигналы, используя всё "вычислительное богатство" категории V для описания G.

Утверждение: Пучки - способ алгебраизации геометрии.

Когда мы работаем с реальными данными, мы хотим найти наилучшую геометрическую структуру для их кодирования, чтобы запускать поверх этой структуры нейронки и извлекать эмбеддинги. Простые отношения кодируются графами, однако уже давно понятно, что для более сложных данных это слишком бедная структура, и нужно кодировать данные гиперграфами, клеточными, комбинаторными, симплициальными комплексами, итд. Этот нарратив лежит в основе Topological deep learning. Все перечисленные структуры эффективно кодируются наиболее общей - частично-упорядоченным множеством poset, далее просто S(G).

Абстрактное определение пучка D: Это функтор из категории S в целевую категорию V (для задач ML, векторных пространств). Для s_1 \in S, есть элемент D(s_1) \in V, называемый stalk (росток) и для s_1 < s_2 (где < отношение порядка) мы имеем отображения D(s_1) 📝 D(s_2), называемые restriction map. Для формальной корректности этого определения нужно выполнение еще некоторых условий, подробнее в работе.

Частный случай: для графа G: пучок D(G) определяется как: векторные пространства над вершинами V_n, ребрами V_e, а также линейные отображения из вершин в ребра, обозначим как F_v,e отображение из вершины v в ребро e. Операторы F образуют Лапласиан пучка L (обобщение классического лапласиана для графа).

Определим глобальное сечение: для вершин v и w на концах ребра e, выбираем такие состояния x_v, x_w \in D(G) , что F_ve = F_we (local state), делаем такой выбор состояний для всех вершин. Множество этих состояний T кодирует глобальное "равновесное" состояние системы (global).

Утверждение: Пучки реализуют концептуальный фрейморк и философию "local-to-global'. Локальный консенсус приводит к глобальному равновесию.

Этот взгляд используется как дизайн-паттерн некоторых классических алгоритмов, например в работе A sheaf-theoretic approach to pattern matching and related problems классический алгоритм Кнута–Морриса–Пратта для строк переговаривается через этот фреймворк и сводит к задаче сабграф-матчинга.

Процесс поиска состояния равновесия T очень важен для приложений. Частный случай его поиска это диффузия пучка - динамическая система, градиентный спуск по функции энергии Дирихле, которая измеряет на сколько далеко текущее состояние системы от состояния равновесия, а скорость сходимости диффузии пучка определяется спектром его Лапласиана. И в целом характеристики Лапласиана могут много говорить про свойства геометрической структуры S. Важно подчеркнуть, что нарратив про диффузию это только частный случай, как можно работать с пучками, реально же пучки это намного больше, чем просто история про графы.

Далее, мы обсудим приложения пучков.