TGViewer
Complete AI Complete AI @complete_ai · 7.86K subscribers
Post #238 2.56K
Выложили сегодня статью на архив по исследованиям анизотропии intrinsic dimensions в трансформерах. Очень интересные результаты получились в части компактности представлений эмбеддингов на внутренних слоях.

Вышел даже обзор статьи на YouTube
YouTube The Shape of Learning: Anisotropy and Intrinsic Dimensions in Transformer-Based Models This study investigates the anisotropy dynamics and intrinsic dimension of embeddings in transformer architectures, revealing distinct patterns in encoders and decoders. Initial training expands dimensionality, while later training refines into more compact…
  • ❤‍🔥 17
  • 💯 8
  • 🎉 5
Open in Telegram All posts from @complete_ai
More from @complete_ai
  1. Oct 7, 2026🚀 Мы с командой представляем Kandinsky 6.0 Video Lite и Pro — новое поколение наших модел…
  2. Sep 17, 2026AI + разработка — Senior-разработчиков ждут в Ozon Tech В компании развивается новое напра…
  3. Sep 7, 2026Мы выложили программу Practical ML Conf 2026 Я уже не первый год состою в программном коми…
  4. Sep 5, 2026Утекли предполагаемые бенчмарки Gemini 4 - цифры выглядят безумно 🤯 В сети разошлась табл…
  5. Aug 20, 202617 сентября в Москве пройдёт AI R&D DAY — конференция для исследователей, разработчиков, р…
  6. Aug 20, 2026Сегодня вечером мы вместе с Денисом Макрушиным встретимся на стриме и разгоним базу про бе…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →