Всё свободное время я ботаю математику, и это рождает побочную красоту. И наконец-то я добила новый туториал — про то, как модели упаковывают концепты в многообразия. Я била его долго — и он побил меня. Надеюсь, вам понравится!
Многообразие — это пространство, которое вблизи каждой точки выглядит как обычная прямая или плоскость, даже если целиком оно замкнуто и искривлено. Муравей на окружности уверен, что ползёт по прямой. Мы на почти-круглой Земле уверены, что вокруг плоскость.
Туториал описывает то, как (и когда) в моделях возникает простейший пример такой структура — окружность. В туториале описана связанная теория и даже теорема — где мы пытаемся понять, как и сколько структур в виде многообразий модель может в себя упаковать. Если вы не знаете, что такое многообразие, концепт, и прочие слова из заголовка — там всё-всё описано.
Также в туториале можно сходить поискать эти окружности в GPT-2 руками. И найти идеальный циклический порядок (метрика цикла — τ = 1.00) и абсолютно кривой круг (метрика круга — R² ≈ 0). То есть модель хранит порядок, а не кружочек.
Почему, как можно точнее и так далее, а также постановки экспериментов ждут вас на Хабр и на гитхабе!
Весь код воспроизводим (plug-play-and-research-please), но статья толстая.
📖 Статья: https://habr.com/ru/articles/1063222/
💻 Ноутбук: https://github.com/SadSabrina/XAI-open_materials/blob/main/geometrical_structures/whitney_manifolds.ipynb