TGViewer
Машинное обучение RU Машинное обучение RU @machinelearning_ru · 18.2K subscribers
Post #2800 2.05K
Привет! Рекомендую почитать обзор статьи от команды AI VK с ICML, в которой авторы нашли связь между «воронкой внимания» и сбоями LLM на повторяющихся токенах — и предложили патч, который частично решает проблему без потерь в качестве.

Читать полностью
Telegram AI VK Hub Всем привет. Подготовили краткий обзор статьи про странности LLM при простых запросах. Существует два широко известных эффекта в мире LLM. 🔸Один из них – воронка внимания (attention sink): эффект, при котором первый токен в последовательности получает «большее…
  • ❤ 7
Open in Telegram All posts from @machinelearning_ru
More from @machinelearning_ru
  1. Oct 3, 2026100 вопросов на Python Senior: к чему готовиться на собеседовании в 2026 Вышла подборка из…
  2. Oct 2, 2026🚨 SoftBank перевела финальные $10 млрд в OpenAI. Это третья и последняя часть обещанных $…
  3. Oct 1, 2026photo post
  4. Oct 1, 2026✔️ Президент США и главы ИИ-компаний подписали соглашение о безопасности Документ подписал…
  5. Sep 30, 2026🧠 Открытые нейросетевые фреймворки представили на главной конференции по рекомендательным…
  6. Sep 29, 2026Intern-Decision - новая серия компактных моделей для принятия решений по тексту и изображе…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →