Что же будет самым ярким в 2024 году, кроме LLM? Робототехника и игровая индустрия.

Про робототехнику.

В 2023 году мы увидели появление будущих фундаментальных моделей и платформ для роботов:

1. Мультимодальные LLM с роботизированными руками в качестве физического устройства ввода-вывода: VIMA, PerAct, RvT (NVIDIA), RT-1, RT-2, PaLM-E (Google), RoboCat (DeepMind), Octo (Беркли, Стэнфорд, CMU) и тд.

2. Алгоритмы, устраняющие разрыв между Системой 1 высокоуровневого рассуждения (LLM) и Системой 2 низкоуровневого контроля: Eureka (NVIDIA), Code as Policies (Google) и т. д.

3. Очень крутой прогресс у оборудования: Tesla Optimus , Figure, 1X, Apptronik, Sanctuary, Agility+Amazon, Unitree и тд.

4. Данные всегда были ахиллесовой пятой робототехники.

Исследовательское сообщество собирается вместе, чтобы создать следующий ImageNet, такой как набор данных Open X-Embodiment (RT- X).

5. Моделирование и синтетические данные будут играть решающую роль в ловкости роботов и компьютерного зрения в целом.

ПРО ИГРЫ ПОСТ БУДЕТ ЗАВТРА.