Внезапно исследователи взяли 3D Gaussian Splatting и научили работать с обычными 2Д картинками.
Звучит как "давайте научим рыбу летать", но результат получился космический.
Теперь мне очевидно, что за Gaussian Splatting будущее не только в нейронном рендеринге и 3D — похоже, эта технология будет применяться во всех видах графики, включая кино, фотографию и весь визуальный контент.
⚠️Как работает магия? Алгоритм Image-GS смотрит на изображение: "Тут лицо — нужны детали, тут небо — можно попроще". И расставляет 2D гауссианы именно там, где нужно.
Как умный художник, знающий, где прорисовать ресницу, а где хватит одного мазка.
Циферки, которые ломают мозг:
1. Файлы GS получаются в 25-40 раз меньше привычных методов сжатия.
2. При одинаковом размере с JPEG качество Image-GS значительно выше и четче.
3. Мгновенная загрузка файлов (ждём в виде текстур в играх)
4. Умное масштабирование с автоматической детализацией.
При всех этих вводных становится ясно,что такой подход к сжатию не будет так люто жрать батареи наших устройств.
Когда этот рисерч-пейпер развернут в продукт, то как мы взаимодействуем с визуальным контентом, полностью изменится.