TGViewer
epsilon correct epsilon correct @epsiloncorrect · 8.08K subscribers
Post #306 7.24K
epsilon correct Харкорные инженеры из гугла опубликовали гайд про то, как мы думаем про оптимизацию LLMок под TPU с глубоким разбором того, как всё работает под капотом. Рассказывают про шардирование параметров, тренировку, трюки инференса доступно и с диаграммами. 10/10…
В гайде про оптимизацию LLMок под TPU выпустили новую главу про.. GPU. 🤔

В основном разбираются отличия в скорости коммуникаций между чипами и как правильно шардировать модели для максимальной производительности. Примеры на наших с вами любимых ламах и дипсиках.

Последние пару недель занимаюсь такими оптимизациями под TPU на работе, ещё раз рекомендую – очень дидактичный материал.
How To Scale Your Model How to Think About GPUs We love TPUs at Google, but GPUs are great too. This chapter takes a deep dive into the world of GPUs – how each chip works, how they're networked together, and what that means for LLMs, especially compared to TPUs. While there are a multitude of GPU architectures…
  • ❤ 25
  • 🔥 21
  • 👍 5
Open in Telegram All posts from @epsiloncorrect
More from @epsiloncorrect
  1. Sep 2, 2026Gemini 3.8 Flash Наконец-то достали до опуса по агентским бенчмаркам, вот только скорость…
  2. Aug 24, 2026Что-то я сюда не писал уже почти месяц, будем исправляться. Произошло много чего, анонсы ч…
  3. Jul 18, 2026Куртку продали за $960.000 Если купили дорогие подпищеки, дайте поносить?
  4. Jul 16, 2026у нашей с вами любиой геммы пофиксили темплейт чата, стало лучше на бенчах 👀 бежим качать…
  5. Jul 7, 2026Техрепорт Gemma 4 наконец-то докатился до архива ☺️, особо ничего нового, немного больше э…
  6. Jul 3, 2026Мечта всех, кто хотел кожаночку как у Дженсена Хуанга – на следующем Sotheby's можно будет…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →