Pixel Science

только не понятно чего авторы не предлагают уже ранее разработанные методы префильтрации фичей из мира нёрфов, которые борются с абсолютно такими же проблемами аляйзинга при реймаршинге нейронок что и они

надо спросить

N-BVH: Neural ray queries with bounding volume hierarchies-Код-Сравнения

Наши соседи из Саарбрюкена сделали прикольный ресёрч по нейронному сжатию геометрии. По сути, они предлагают реймаршить shallow MLPs c multi-layer grid encodings (InstantNGP), как NERF-ы, на выходе давая visibility и в придачу intersection point + albedo + normal, в случаи если visibility != 1.0

Но т.к. реймаршинг - это дорого, Филипп с Александром обучают BVH поверх множества нейронных node-ов, чтобы скипать пустое пространство.

Таким образом они соединили классическую acceleration data structure, которую современные GPU умеют быстро травёрсить, с новомодными нейронками. которые также современные ГПУ могут ускоренно исполнять 😊

добились сжатия по памяти в десятки раз!

конечно же, из-за того что всё это реализовано "софтверно", итоговые тайминги не очень привлекательны, но мы понимаем что всё это может быть аппаратно ускорено. в теории. вопрос только: cтоит ли туда копать? 🤔🤔🤔

знали бы как я рад появлению этой кнопочки 😅😅😅

Yellow, новый стартап от Mandeep Waraich (ex Google’s Head of Product: Core ML – Large Models and Industrial AI) и Vincent Sitzmann (Prof. MIT) словил $5 млн в seed раунде 🔥

Стартап про генерацию 3Д контента для игровой индустрии, в частности моделек для персонажей с уже настроенным "скелетом" для последующей анимации - rigged meshes

очень верю в ребят, т.к. Vincent сделал прекраснейший PhD за 3 года c последующим PostDoc за 2, и сразу после стал профом в MIT основав Scene Representation Group, которая уже производит топовый ресерч. а сейчас еще и стартап в добавок. не представляю откуда у одного человека столько времени, но как-нибудь возможно его спрошу об этом

P.s. ребята ищут инженеров на удалёнку

что-то телеграмм не даёт вставить 2ое изображение(( 🥲

Прекрасный пост от Андрея Карпатый (ex-фаундер учёный OpenAI, ex-director Tesla AI) повествующий историю про революционность AlexNet, изменивший мир ИИ тогда и продолживший путь к тому, что мы сегодня наблюдаем!

Обожаю рассказывать, и напоминать себе и коллегам по цеху про The Bitter Lesson, который из неё вытекает.


Да, "просто" написанный иначе код уже существующего алгоритма может изменить науку круче, чем вывод 100ен новых алгоритмов. За это я люблю Computer Science: вычислительная сложность не перманентна и мы можем на неё влиять. И важна, в первую очередь, производительность алгоритма в будущих системах, поэтому делать ресерч здесь очень круто)


P.s. очень сочувствую Алексею. Я тоже 1ый год PhD потратил на переписывания исполнения и обучения нейронок на чистом CUDA 😅

Продолжаем тему ИИ-based редактирования 3д сцен. Тут авторы запили полноценный пайплайн состоящий из множества компонент вместо использования какой-то 1ой генеральной модели типа ChatGPT (но и её также применяют! 😁)
- Сегментируют мешки
- Классифицируют материалы
- Генерируют как мешка должна выглядеть "в идеале" диффузной сеточкой на основе text prompt
- Выбирают с помощью из набора уже predefined физически-корректных материалов самый подходящий под каждый сегмент объекта. Используют CLIP для этого дела
- Далее с помощью inverse рендера оптимизируют параметры графа этого материала (BRDFки, текстуры и т.д.)

На выходе PBR моделька, которую можно использовать в рендеринге, 3д редакторах, для игр и фильмов. Даже сделали удобный UI интерфейс

Относительно вчерашней статьи классическая демонстрация разницы между двумя подходами:
максимально генеральным основанным лишь на Foundational Models vs полуинженерным, с заложенными приорными знания в виде сложной архитектуры

2ое всегда дает лучше результат в краткосрок

Ребята из Stanford-а продолжают развивать идею цикличного вызова LLMs (тут прям ChatGPT), но в области CGI.
типа давайте доверим LLMке изменение питон скрипта описывающего 3Д сцену, графов определяющие материалы и т.д.
что нового:
- Image-Based Feedback loop. мы будем возвращать ChatGPT на вход получившийся рендер после реализованных изменений, чтобы LLMка смогла "подправить" свои ошибки. ведь теперь ChatGPT может анализировать изображения

- Модуль "воображения", которым выступает по сути DALL-E 3. перед тем как просить ChatGPT предложить какие-либо изменения "кода" материала, мы сначала генерим по тексту диффузкой как мог бы выглядеть этот самый итоговый материал чисто в теории. то есть, что и художники делают в реальной жизни, представляют итоговый результат

Много вопросов, эксперименты ограниченные, но некоторые результаты конечно очень сочные. Обещают код с плагином для Blender-а - там посмотрим!

Началось HPG 2024 Student Real-Time Competition, где за лучшие шейдера обычно раздают бесплатно видеокарты/денежки (до $1к) и прочие плюшки! Возможно будут очки VR Quest 3 в этом году, раз главным спонсором является Meta 😊

прикольная строчка в резюме, а закодить можно всего за один вечер :) рекомендую

приложил примеры прошлых победителей. дедлайн 19 июля

Open AI оказывается уже давненько выкатил интересный язык TRITON - конкурент CUDA, позволяющий разительно проще писать программы при всём при этом бенефитя от использования Local Shared Memory и прочих плюшек, нацеленных на уменьшение потребляемого bandwidth-а. напомню, что сейчас по сути bandwidth - основное бутылочное горлышко GPUs.

Зацените пример кодинга Softmax-а. Компилятор сам аллоцирует SM для локального суммирования чисел в текущем ThreadBlock-е, вставляет __syncthreads(), и далее продолжает thread-independent исполнение

И всё это еще с масками. поддерживают указатели! (их блин даже в Вулкане полноценно еще нет 🥹)

Для понимание именно такое задание я вчера дал своим студентам для пар по GPGPU на Vulkan-е (типа CUDA только граф. API) и решение на нём выглядит куда более громоздким)

Узнал же я про него через новый фреймворк для обучение и исполнения NERFов, т.к. они использовали Triton в качестве языка. Скоро может разберусь как он там устроен)

P.s. OpenAI ищет для его развития компайлер-прогера

Стартап Synthesia.io знакомого профессора из TUM, Matt Niessner, продолжает удивлять своими демками.
Красивейший нейронный рендер аватаров, которые теперь еще научились в эмоции 🔥


Большую презентацию с прям продакшен кейсами, где они демонстрируют генерацию презентаций по текст-скрипту можете поглядеть вот тут

P.s. в лабе много ребят из постсовка, так что если думаете о пхд в шикарном (но жёстком) месте - рекомендую!

Смотрите кто у нас через 2 недели будет выступать!

Готовлю сейчас новые эксперименты для статьи, где сравниваю число данных требуемых для обучения нейронной сети определенному radiance signal-у и классических локальных моделей (гармоники, гауссианы).
Конечно способности ИИ генерализироваться из-за заложенных в него спектрального байеса и оверпараметризации поражают.

Для достижения "равных метрик" ИИ требуется около 25-100 семплов на пиксель, классике же - 10ки тысяч семплов на пиксель.

Понятно что зависит от сцены, а так же того как классические методы агрегируют данные для фиттинга и так далее. Но результаты: небо и земля.
В одном случаи это вопрос 1 секунды "обучения" на современном ГПУ, в другом - минут

Shlomi Steinberg выкатил статью на Siggraph, где он продолжает реализовывать честные расчеты волновой оптики в рамках Monte Carlo Path Tracer-а. В этот раз ребята показали 1ое серьезное применение данного направления в виде симуляции распространения волн мобильной связи (10cm) от антенны (по сути light source 😅) в городской застройке.

На контрасте же продемонстрировали явные слабую предсказательную способность геометрической оптики. В большое число "кварталов" мобильная связь тупо не доходила , если качественно не учитывать дифракцию от сверх-малых поверхностей.



Почему это важно? ИМХО, Нвидиа пытается реализовать на основе существующих рендер движков, которые вычисляются на их же видеокартах, качественную симуляцию излучения не только в видимом но и в радио спектре. Что позволит захватить еще часть рынка, и для нас будет еще больше возможностей как можно $ заработать 😁😁😁

Тот же Sionna RT уже позволяет оптимизировать установки антенн в городе для оптимального покрытия мобильной связью