Дорогие подписчики, этот канал НЕ мертв,

но наличие работы в моей жизни явно отвлекает меня от чего-либо. Попробую исправить этот пробел этим постом.

Про работу: последний пост был примерно год назад — практически тогда, когда я начал фултайм работать в нвидии и моя сладкая пхд-шная жизнь подошла к концу. Оказывается, на работе надо работать каждый день, что для человека, который 5 лет балансировал между «not in a mood to work today» и бессонной неделей перед дедлайном, поначалу ощущалось странно.

Чем я занимался: в 2025 году у меня была стажировка в нвидии в self-driving org-е, куда я и попал после стажировки. Я и сам не знал, что у нвидии он есть, — а он существует. Бизнес-модель очень простая: нвидия делает софт для self-driving, чтобы больше self-driving компаний могли быстрее делать продукты и выходить на рынок. Условно, захотел ты себе сделать стартап с self-driving грузовиками, но вместо того, чтобы тратить деньги на разработку стека, ты просто берёшь его у нвидии. А с ним пачкой закупаешь гпу-шечки — и круг замкнулся. Кроме стартапов, таким могут заниматься и большие компании, например Mercedes-Benz & NVIDIA.

За этот год у меня сменилось около 3–4 менеджеров и 4 команд. Переходы не по моему желанию были связаны с реорганизациями, по моему — стратегическими соображениями (о всей этой истории позже). Финальной остановкой (на данный момент) стала команда, которая занимается прикручиванием VLM-ок к майнингу и поиску данных для self-driving (конкретно — видео). Совместными усилиями нам удалось убедить менеджмент, что нам очень нужно всё файнтюнить, чем я сейчас конкретно и занимаюсь. Тема сама по себе очень интересная, и у меня накопилось какое-то количество инсайтов, которыми я буду рад поделиться.

Для затравки: AGI is not here, и physical reasoning находится сейчас на очень зачаточной фазе. Как его дальше развивать без большого количества качественных данных — я не вижу. А разметка physical данных (например, для драйвинга) — это особая категория страданий. Джепа и всякие world models — это замечательно, но я не вижу, как они разрешают проблему с данными. Об этом всём тоже попробую написать в последующих постах.

А теперь перейдём к очень поверхностному описанию того, зачем селф драйвингу нужен майнинг и почему это вообще чуть ли не главная вещь для него (и в целом для любого physical эйай). Одной из основных частей self-driving стека является модель планировщик, которая управляет автомобилем (куда крутить руль, газ-тормоз и так далее). Обучают этот планировщик на огромных массивах данных вождения людей: буквально каждый день условная Tesla берёт пару сотен водителей, сажает их в машины, облепленные камерами и датчиками, и они катаются по заданным маршрутам. После этого данные собираются вместе, и модель-планировщик учится по входам с камер (и лидаров) предсказывать, как в конкретном случае поехал бы человек.

Как оказывается, 99% вождения — это скучная езда по прямой и ожидание в пробках. Такое поведение планировщик выучивает очень легко, и в целом эта задача не очень сложная. Самое интересное начинается на так называемых редких long-tail cases (прикрепил пару примеров внизу), на которых планировщик практически гарантированно сломается и начнёт вести себя странно, что может привести к авариям и другим плохим вещам. По сути, это всё те же out-of-distribution samples, которыми я фактически занимался весь свой пхд, только вместо их детекции надо заниматься их поиском. У них есть два конкретных и важных применения, но о них я уже расскажу позже. Основная идея, которую я хотел донести этим постом: без эффективного майнинга corner cases никакой physical ai не получится, потому что 1) ошибки модели в данном приложении становятся слишком дорогими, 2) blind spots надо закрывать.

На самом деле, если тут кто-нибудь занимается robotics, было бы очень интересно узнать, возникают ли подобные же проблемы и в других областях (кроме условного селф драйвинга)? Судя по моим ощущениям, проблема long tail не является уникальной и присуща любым аппликейшенах, а в любых physical приложениях делать ошибки очень нехорошо.