SemiAnalysis / A Brain Too Big to Carry — On-Device vs Datacenter Inference


Передовые модели роботов остаются намного меньше передовых LLM.
π0.7 — 5 миллиардов / GR-3 от ByteDance — 4 миллиарда / DreamZero от NVIDIA — 14 миллиардов
LLM уже ушли в триллионы параметров.
лаборатории робототехники выбирают размер по тому, что может поместиться в Jetson.

Законы масштабирования LLM = законам масштабирования робототехники. Но есть две проблемы:

1) Данные - нет такого кол-ва накопленных данных интернета для реального мира

2) Сеть = большие модели для роботов могут работать через облако, но есть проблема с задержкой и джиттером из-за этого.


Где бы ни оказались размеры моделей, на наш взгляд, каскад подходов неизбежен. Одни роботы будут выполнять когнитивные функции полностью на борту, другие — выносить часть на GPU, стоящие в дата-центре.

Jetson Thor перешел на TSMC N4 - > но дефицит возникнет лишь тогда, когда роботам понадобятся десятки миллионов чипов в год — далеко за пределами 2030 года.

Каждое поколение Jetson несло больше DRAM, чем предыдущее: Jetson Xavier использовал 32 ГБ, AGX Orin — 64 ГБ, а Jetson Thor теперь использует 128 ГБ LPDDR5X, и будущие поколения продолжат рост.


Многие из сегодняшних развёртываний держат инференс на роботе, и почти каждая компания называет одну и ту же причину: сеть. Компании, развёртывающие вне устройства, пришли к этому, укомплектовав несколько команд, которые не занимаются ничем другим. Мы считаем, что сетевые проблемы решаемы, и что по мере их решения больше развёртываний уйдёт с робота.