Я съездил на свою первую AI конференцию. Показывал нашу работу над визуальными имплантами на воркшопе AI for Neuro, общался с кучей людей, слушал доклады. Расскажу, как это было.
После года в Эльче (маленький город на юге Испании) Сингапур впечатляет. Всё сверкает, всё большое. Но за углом от небоскрёбов Hawker Center и Chinatown: грязно, шумно, вкусно. Еда отличная, погода с постоянными 30 градусами.
Конференция
Почти 5000 принятых статей. Огромные ангары с постерами, посмотреть всё нереально. Технические сессии и приглашённые лекции, честно говоря, не очень зашли. Что-то было слишком общим, а на технических сессиях многие спикеры просто читали с листочка. Намного полезнее подойти к постеру и поговорить с автором напрямую. Там и вопросы нормальные задать можно, и обсудить работу. Также неожиданно для себя встретил много ребят из России. Люди занимаются многими вещами: RL, пайплайны для агентов, NAS, предсказывают погоду и конечно generative AI.
Ещё интересная штука: разговорился с китайскими ребятами, которые делают motor decoding на обезьянах. Оказалось, только в Пекине сейчас 4 лаборатории, которые этим занимаются и конкурируют друг с другом. Так что BCI-статей из Китая в ближайшие годы будет сильно больше.
Воркшоп AI for Neuro
Главное событие для меня. Организовал Reza Abbasi-Asl с командой, и организовали отлично. Из спикеров больше всего зацепили Andreas Tolias (Stanford) и Martin Schrimpf (EPFL). Оба про одно: хватит играться с маленькими моделями, пора скейлить.
Запомнилась фраза Tolias:
"We don't have a choice. We should stop doing toy experiments. Train big models."
Он показал свою foundation model для зрительной коры, обученную на данных ~135 000 нейронов 14 мышей. При переносе на новое животное требует в 2-3 раза меньше данных, чем обучение с нуля. То есть можно реально ставить эксперименты in silico, а не каждый раз заново собирать данные. На канале Дарьи Клеевой есть подробный разбор.
Schrimpf показывал TopoLM, трансформер где у юнитов есть 2D позиция, как у нейронов в коре. При обучении модель сама организуется в кластеры, которые напоминают языковые зоны мозга. Мне это зашло, потому что идея простая: добавь spatial loss и получи brain-like организацию. У его лабы ещё вышла работа про scaling laws для brain-aligned vision моделей, по сути то же сообщение: масштаб работает.
Мой постер
Я показывал работу "Masked Autoencoders Learn Perception-Relevant Representations from Resting State Neural Data" на постерной сессии воркшопа. Если коротко: мы берём resting state данные (мозг просто "шумит", без стимуляции), делаем на них pretrain модели, и после этого она лучше предсказывает, что человек воспринимает при стимуляции зрительного импланта.
Про планы
Пока мы готовимся к следующему пациенту для имплантации электродов, хотим набрать как можно больше данных, в том числе с обезьян, и наконец нормально отскейлить модели. Главная боль: данные плывут между сессиями, и модель с одного пациента очень тяжело перенести на другого.