TGViewer
🍳 Датазавтраки ☕️ НСК (Академ) 🍳 Датазавтраки ☕️ НСК (Академ) @databreakfast · 682 subscribers
Post #2244 215

Forwarded from Техножрица 👩‍💻👩‍🏫👩‍🔧

Часто грущу от того, что нашей с коллегами последней статьей Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story никто не интересуется и не цитирует... 💢

Напомню, что статья посвящена анализу внутренней размерности активаций LLM и её связи с различными свойствами текста, который подали на вход модели. Более подробное разъяснение статьи можно найти здесь, посмотреть видос про то, что такое в принципе внутренняя размерность (от 3blue1brown) - тут; ещё более подробное разъяснение популярных способов оценить внутреннюю размерность облака точек можно прочитать здесь.

Так вот, вместо этой новой статьи, которая связывает внутреннюю размерность активаций на тестах с лексическим разнообразием и сжимаемостью этих текстов алгоритмом gzip и энтропией (что, на мой взгляд, очень интересно, так как связывает внутреннюю размерность со сжатием представлений в LLM, а, как говорит 3blue1brown, compression is intelligence), челики почему-то цитируют нашу старую статью про детекцию сгенерированных текстов с помощью внутренней размерности, хотя мы же и показали в более поздней статье, что для новых моделей GPT этот метод уже не работает.

Скорее всего, это происходит от того, что старая статья была опубликована на NeurIPS, а новая, на мой взгляд, более актуальная, интересная и вносящая больший вклад в область interpretability of LLM - на EACL - то есть, на конференции поменбше и статусом пониже, где эта область вообще почти не представлена, так что мало кто будет ожидать найти в материалах конференции такие работы...

Я писала про эту работу в дискорде Neel Nanda, но там никто ею не заинтересовался, так как все только рекламируют свои работы, но не читают чужие... В общем, уже и не знаю, что сделать, чтобы на данную работу обратили внимание 🤔🤔🤔

Помогите советом кто сможет 🥺
ACL Anthology Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story Pedashenko Vladislav, Laida Kushnareva, Yana Khassan Nibal, Eduard Tulchinskii, Kristian Kuznetsov, Vladislav Zharchinskii, Yury Maximov, Irina Piontkovskaya. Proceedings of the 19th Conference of the European Chapter of the Association for Computational…
More from @databreakfast
  1. Sep 22, 2026а потренироваться писать эссе и сочинения можно тут :) https://pismovnik.ru/sochinenie-ras…
  2. Sep 22, 2026Обсуждали, чем эссе отличается от сочинения. Мой личный поиск говорит, что: Главное отличи…
  3. Sep 22, 2026Добрый день! Мы продолжаем набор спикеров на конференцию "Градиент", которая пройдет с 3 п…
  4. Sep 22, 2026Consensus: AI for Research https://consensus.app/
  5. Sep 22, 2026Google Chrome втихаря ставит на ваш ПК или ноут модель ИИ весом в 4 ГБ | Пикабу https://pi…
  6. Sep 22, 2026vosk-browser - npm https://www.npmjs.com/package/vosk-browser
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →