и если мы думаем про кривые на манифолдах, то следующий вопрос, который сразу возникает это "какая у этих манифолдов топология?"
понимание формы (дыры, петли, может ещё какие-то сохраняющиеся структуры) говорит очень много о том, какие вообще кривые на них возможны
релевантная статья: Persistent Topological Features in LLMs (arxiv.org/pdf/2410.11042), где авторы используют zigzag persistence из topological data analysis, чтобы отследить, как топологичсекие фичи эволюционируют по слоям модели (не слой за слоем по отдельности, а весь evolutionary путь целиком)
Post #42
4.19K
Саша делает стартап я довольно сильно уверена, что существует какой-то universal language manifold (= поверхность, образованная meaning-векторами), который может даже примерно общий и для людей, и для LLMок но мы не тренируем LLM явно репрезентировать этот manifold, мы скорее…
- ❤ 14
- 🔥 6
- ❤🔥 2
- 😁 1
- 👀 1