Привет, друзья! Ура-ура, я проспалась и дописала новый-красивый геометрически-AI-ный туториал. Никогда меня так не накрывал джетлаг — три дня я просто сонный картофель — не иначе.
Что у нас на Хабре:
Туториал, посвященный и вдохновленный работой Navigating the Latent Space Dynamics of Neural Models. Она попалась мне на глаза ещё в мае 2025 и привлекла своей необычной постановкой. Сейчас, в сентябре 2026 наконец-то её разбирая, я была очень рада увидеть её принятой на ICLR 2026 (а ещё зацените, как долго я иногда дохожу до чего-то).. = )
Динамическая система — множество состояний и правило, по которому состояние меняется во времени. Шаг за шагом точка движется, и можно спросить, куда она в итоге придёт. Иногда она прилипает к «притягивающим» точкам — аттракторам.
Оказывается, такую систему можно найти внутри автоэнкодера. Берём код z, декодируем, снова кодируем: f = E∘D. Применяем f снова и снова — и получаем траекторию в латентном пространстве, а разность f(z) − z задаёт векторное поле.
Такая постановка позволяет изучить саму модель через её пространство, а не через данные. У этого есть прикольные примерения — например, детекция Out of Distribution.
В процессе туториала, идя по нему step-by-step, у вас получится:
1. Задать определение векторного поля в общем смысле и посмотреть, что это за объект внутри модели.
2. Узнать детали поля (когда пояляется, как сходится, какие есть теоремы).
3. Узнать, что такое аттракторы, бассейны притяжения и и как найти их (вместе с тонкостями процесса).
4. Проанализировать, как поле эволюционирует за обучение.
5. Увидеть, зачем это надо, кроме красивых картинок.
6. Порадоваться — ведь шесть шагов выше — это разбор ICLR статьи и вы его преодолеете.
Шаг 6 будет самый значимый. Если вы будете "трогать" термины впервые — это титанический труд — дойти до конца. Поэтому не сдавайтесь, читайте, перечитывайте и всё получится!
Всем чудесного вторника! 💔
Я рада добить этот туториал безумно — больно долго он пекся.
Ноутбучек.
Хабропост.
Призываю ставить классы репозиторию и единорожиков (не говно, ради бога) сюда 🗿
Post #578
635

- ❤ 31
- 🦄 12
- 🆒 6
- 🔥 3
- 👍 2