Еще в июле я и Герман решили принять участие в ICML 2023 Topological Deep Learning Challenge -- соревновании на одной из самых крупных конференций по машинному обучению, суть которого заключалась в реализации топологических нейросетей.
Топологические нейросети -- это такое обобщение графовых нейросетей. Обычные графовые нейросети работают лучше в случаях, если домейн имеет графовую структуру, при этом топологические GNN работают лучше, когда домейн -- нечто более сложное, чем граф, когда структура данных обладает отношением высшего порядка. Ну например, это могут быть гиперграфы, симплициальные комплексы.
Как вообще работают графовые сети? Как-нибудь я напишу об этом пост, а пока расскажу вкратце. Графовые сети применяются в ситуации, когда данные представляют собой граф. Обычно в вершинах графа сосредоточена какая-то информация, которая описывает наши данные. Об этом можно думать как о векторных представлениях наших вершин, по аналогии с векторными представлениями слов. Графовые нейросети в процессе оптимизации постепенно изменяют эти представления на основе аггрегации представлений с соседних вершин.
Так вот, гиперграфовые нейросети работают точно также, только вместо графов данные представляют собой гиперграф. Вот и все, да-да, не удивляйтесь. Математика тут немного меняется, но в общем идея графовых сеток в данном случае просто переносится с графовой структуры на гиперграфовую.
В частности, на соревновании мы реализовывали две архитектуры гиперграфовых нейросетей: HyperGAT и HyperSage. В рамках соревнования предполагалось реализовать эти нейросети с использованием фреймворка TopoModelX, таким образом способствуя его развитию и популяризации. Ну, кажется, мы справились!
И вот спустя пару месяцев наконец вышел сhallenge white paper, где описано само соревнование и полученные результаты. В качестве авторов статьи засветились и мы с Германом (правда я почему-то подписан как Paul, хоть и просил назвать меня Pavel 😡). В общем, это было весело и познавательно! Я думаю, что без участия в соревновании, я бы не погрузился настолько хорошо в тему топологических сеток, так что это того стоило.
Post #57
766
