epsilon correct

Постерные сессии на нипсе немного гигантские – и это только один из двух залов. 📈

Фланировать, фоткая постеры для дорогих подпищеков, у меня занимало полтора часа – почти не оставалось времени на то, чтобы поговорить с авторами. Со многими и не получилось – около интересных постеров часто стояло по 20 человек. 👥👥👥

В таких условиях приходится придумывать, чем выделяться (ну не статьи интерсные писать, право же). Вроде, вчера получилось – явно многие люди в сообществе не в восторге от резкого поворота в сторону LLMок.

источник видео

Загрузил в комментарии к предыдущему посту интересные постеры с сегодняшней постер сессии нипса.

Для подпищеков выкладываю эксклюзивное 🎩 превью постера, который мы презентуем прямо сейчас (#825, если кто на нипсе) для статьи Graph Clustering with Graph Neural Networks.

Конференции – катастрофическое количество болтовни, так что слов на телеграм-канал почти не осталось. 🪦

Так что без лишних слов закину в комментарии постеры с первых трех сессий, которые мне приглянулись. Говорю сразу – LLM и RLя не будет. 🙅‍♂️

Вчера на Graph Learning Meets AI пришло 500+ человек! 👥👥👥

Для товарищей 🇷🇺 подписчиков не жалко выложить презентацию (в первом комментарии). Запись когда-нибудь появится на сайте нипса.

Прилетел на NeurIPS в Новый Орлеан. Все соседи смотрели что-то про LLMки, подозреваю, что не-учёных будет на конференции рекордное количество. 👥

У меня плотненькое 💪 расписание на неделю:
* Сегодня у нас expo talk "Graph learning meets artificial intelligence" в час дня.
* Во вторник демо около стойки гугла "Embedding Large Graphs" в 15.20.
* В среду Google Faculty Luncheon и Google party вечером. 😎
* В четверг на вечерней сессии мой постер к статье "Graph Clustering with Graph Neural Networks".
* В пятницу воркшоп New Frontiers in Graph Learning – у меня там ещё одна статейка, на архиве выйдет в понедельник.

P.S. Если кто-то хочет увидеться тут, пишите или ловите у постеров. 👋

Меж тем, гугл выпустил новый бренд шоколадок (техрепорт). 😛

Тем временем, я пытаюсь успеть доделать постеры к нипсу. Буду там развлекать людей почти каждый день, но интересные постеры и доклады буду стараться закидывать сюда по вечерам.

Сегодня у товарища Хинтона вышло интервью в New Yorker (доступно без пэйволла). В отличие от всякой технической журналистики (не будем показывать пальцем), интервью вышло литературным и человечно-добрым. ❤️

Я очень не люблю смотреть видео, а вот чтение – то, что надо. Раз уж рекламирую вам Нью-Йоркер, который я читаю почти каждый день, самое время рассказать про ещё пару классных сайтов с около-научным контентом.

1. Aeon (я читаю только раздел эссе) публикует эссе от около-академиков о философии, науке, истории и искусстве. Там можно узнать, почему английский язык такой странный или почему не стоит сравнивать мозг с компьютером. 🤓

EDIT: Подписчик добавил, что статью про компьютенционализм раскритиковал бы 🗡 любой уважающий себя нейроучёный. В целом, там действительно больше фриков, чем на кванте, но фрики в целом полезны обществу, да и учиться критиковать их полезно.

У Aeon’а есть отдельный сайт про психологию – Psyche с фокусом на психологию и этику. Например, там можно найти толковый гайд про то, как бороться с синдромом самозванца.

2. Quanta много пишет про передовые исследования в естественных науках и компуктер саенсе. Примеры статей:
🙌 "New Proof Shows That ‘Expander’ Graphs Synchronize"
😏 "Complexity Theory’s 50-Year Journey to the Limits of Knowledge"

Quanta поддерживается клёвыми Simons foundation – если не слышали, они поддерживают несколько исследовательских центров в США, создали Flatiron Institute в Нью-Йорке, и вообще максимально эффективно спонсируют науку.

Пока мудрые мысли меня не посещают, ловите немудрую. 🤤

Вернувшись из октябрьской Москвы обнаружил, что жить, когда на тебя светит солнце, намного легче и приятнее. Приятнее не из-за всяких там витаминов Д, а будто на базовом психическом уровне мы так и остались цветочками-пирожочками, тянущимся к солнцу.

Посмотрел на распределение солнечных часов в трёх городах, где я пожил достаточно долго – и точно, Нью-Йорк чуть ли не в три раза солнечнее зимой, чем Берлин. Москва зимой – это отдельный вид серых будней. Дубай не показываю, потому что там я на улицу днём почти не выходил. Всё-таки климат – не солнышком единым. 😎

Вот такой фактор выбора места дли жизни, который вам не покажут на numbeo. Интересно, есть настолько прямое влияние погоды на характер, или "Россия для грустных" – это совпадение? 🤔

Наткнулся на миленький гайд по преодолению тревожности в занятиях математикой. Несколько пунктов, которые мне показались интересными:

1. Люди не делятся на “математиков” и “не-математиков”. Ей можно заниматься или не заниматься.

2. В школе и университете мы привыкли заниматься математикой на скорость – решать тесты и задачи на время. В реальной жизни редко когда важна скорость решения задачи (если вы не в хеджфонде работаете, конечно 📈).

3. Мы часто думаем, что в математике, в отличие от гуманитарных наук, есть только два типа ответов: правильный и неправильные. На самом деле, прийти к правильному ответу можно множеством разных путей. 💡

Мне кажется, в России особенно токсичное отношение к “чистоте” математики. Как вы с этим справляетесь, дорогие читатели?

Открылысь заявки на Student Researchers, Ph.D. level в наш уютный Google Research. Student Researchers – стажировки для Ph.D. первых нескольких лет, которые хотят себя попробовать в индустриальной лабе. 🤓

Очень Важно™ подаваться на стажировки прям на самом открытии – так вы сильно увеличиваете шанс на попадание 📈. Дополнительно поможет подаваться во все интересующие страны, ну и озаботиться получением реферала, конечно же.

В этом году мне дали research intern – чуть более опытного Ph.D. ближе к выпуску. Как co-host я успел поработать с двумя студентами-исследователями, и разницы в программах для них особо не заметил.

Удачи с подачами! ❤️

Сделал ещё один стикерпак с известным в узких кругах инстаграм-котом Yohji Kattamoto. Вместо моды кот-Ёдзи деконструирует само бытие, и остаётся лишь только всратость.

На днях вышла интересная статья Vision Transformers Need Registers.

Vision Transformers (ViT) – одна из основных современных архитектур для больших vision-моделей. В отличие от счёрточных нейросетей, она отлично model-параллелится, так что получается эффективно тренировать большие модели, которые хорошо работают на практике. 🥁

Проблема в том, что на attention масках получаются какие-то непонятные артефакты (см. картинку) в виде пикселей с очень высокими коэффициентами. Авторы статьи решили почесать репу и разобраться, какую функцию они выполняют и как от них избавиться. 🧐

Оказалось, что трансформеры таким образом передают информацию между слоями, и можно это вылечить специальными токенами, которые не будут использоваться для финальной агрегации в эмбеддинг, но для них всё ещё будут учиться attention слои. Это помогло снизить проблему коммуникации и очистить чакры attention маски.

Мне кажется, хороший пример научного подхода ко всей этой нашей машинлёрнинговой алхимии – авторы нашли странный феномен в моделях, выяснили, как он работает, пофиксили, получили прирост на бенчмарках. 📈

На HackerNews завирусилось, что мы релизнули кусок библиотеки для анализа графов. Поскольку документации в релизе особо нет (🤦‍♂️), хочу быстренько рассказать, что там вообще сейчас есть и что будет.

Во-первых, этот кусок библиотеки – только для анализа графов, которые влезают в оперативную память. Не надо пугаться – с нужным сжатием в память влезают графы с парой миллиардов вершин – хватит, чтобы проанализировать фейсбук. 🤓

Во-вторых, основной кусок, который заопенсоршен – про кластеризацию. У нас довольно хорошо работает иерархическая кластеризация, есть статьи на ICML/NeurIPS [1, 2, 3]. Вот её и постарались опенсорсить в первую очередь – в sklearn дай боже получится кластеризовать датасет на 20к вершин (😮‍💨) а у нас получается миллиард. 📈

До конца года хочу выпустить наш код для in-memory эмбеддингов туда же. Будет быстро, обещаю. ✨

В твиттере Джона Грина проскочил интересный вопрос – похоже, люди сильно различаются по способностям визуализировать разные вещи. Многие люди могут спокойно представить себе “картинку” объекта со всеми его свойствами, тогда как у других получится только представить концепт этого объекта, без конкретных признаков. 🤤

Интересно, как это работает у дорогих подписчиков.

Получается, поеду на NeurIPS презентовать статью трёхлетней давности, на которой 100+ цитат. Ноука. 🥛

Случайно попался мне на глаза, пожалуй, лучший манул по JAX, который покрывает множество тем от базовых вещей до более продвинутых вроде multi-node multi-GPU обучения.


https://www.jan-ebert.com/blog/jax-intro.html

Сейчас понял, что объясняю эмбеддинги графов как word2vec на графах, а в 2023 никто уже и не знает, что такое word2vec. 😮‍💨