NeurIPS'22, часть 2

Вторая часть про NeurIPS – теперь чуть-чуть о науке.

Вообще, на такой большой конференции столько областей, что не выйдет даже мельком оценить, куда они развиваются. Я заметил несколько вещей:

1. Много интересных работ про self-supervised learning (SSL) – наверное, было больше десятка постеров про имплементацию для разных модальностей данных, и несколько – про теорию. Например, "Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods" подробно разбирает, как линеаризовать популярные лоссы для SSL и что из этого получается (спойлер: классические методы снижения размерности).

2. Сумасшедших результатов в анализе больших графов не было, а в графовых сетках для молекул разбираться у меня сил и времени нет. Из интересного, но не очень полезного "Exponentially Improving the Complexity of Simulating the Weisfeiler-Lehman Test with Graph Neural Networks" показывает, как сконструировать небольшие графовые сети, которые симулируют тест Вейсфейлера-Лемана. Это важно для теории экспрессивности графовых сетей, потому что предыдущие конструкции зависели от структуры графа.

3. Было несколько интересных статей по TCS. "Faster Linear Algebra for Distance Matrices" предлагает быстрые алгоритмы для матрично-векторных произведений матриц расстояний. "Approximate Euclidean lengths and distances beyond Johnson-Lindenstrauss" улучшает скорость оценки норм строк произвольной матрицы.