Gabriele Romagnoli (@xraispotlight)

We need better tools to tell stories around #GaussianSplatting. That's why I liked what #Dioramix can do. A web-based editor to build interactive #3D presentations - Camera views act like slides - You have several options for text positioning and layouts - Add additional media types like images, videos or extra 3D models - Set button states based on your branding guidelines. Special thanks to Olli Huttunen for putting this together and giving me early access.

Substack
Gracia、動きのある「Gaussian Splatting」コンテンツをWebXRでストリーミング再生できる機能β版を公開

Graciaは、動きのある「Gaussian Splatting」コンテンツ(※Graciaでは「4DGS」と呼称) をWebXR対応のブラウザ上でストリーミング再生できる機能(早期β版)を公開しました。アプリのダウンロ […]

MoguLive

MADrive: новый метод генерации сенсорных данных для автономного транспорта

Привет, Хабр! Меня зовут Виктор Юрченко, я руковожу командой симуляции сенсоров в автономном транспорте Яндекса. Основная задача, которая стоит перед нашей командой, — искать способы делать симуляции ближе к реальности в части сенсорных данных. И недавно сотрудники команды совместно с исследовательским отделом Яндекса разработали собственный метод для симуляции изображений в проездах — MADrive (Memory-Augmented Driving Scene Modeling). MADrive позволяет достоверно генерировать синтетические изображения для новых дорожных сценариев. Кроме того, для его работы был собран и выложен в опенсорс крупнейший открытый датасет автомобилей — MAD‑Cars. Он может быть полезен для различных задач 3DCV: от 3D‑реконструкции до генерации синтетических сцен. В этой статье расскажу, почему симуляции так важны для автономного транспорта, как работает MADrive и чем может быть полезен датасет MAD‑Cars.

https://habr.com/ru/companies/yandex/articles/991000/

#selfdriving #gaussian_splatting #simulation #computer_vision #опенсорс_яндекса #ml #симуляции_и_моделирование #cv

MADrive: новый метод генерации сенсорных данных для автономного транспорта

Привет, Хабр! Меня зовут Виктор Юрченко, я руковожу командой симуляции сенсоров в автономном транспорте Яндекса. Основная задача, которая стоит перед нашей командой, — искать способы делать...

Хабр

Been working on getting gaussian splats rendered in #blender. The heavy lifiting is done through shader displacement, through that it can handle millions of splats. (8.3 million splats are running with 25fps in eevee on a 4070super)

#vfx #gaussian_splatting

GSWT

A tile-based Gaussian Splatting rendering system for infinitely expanding terrain

URAvatar: Universal Relightable Gaussian Codec Avatars

URAvatar: Universal Relightable Gaussian Codec Avatars

RL-GSBridge: 3D Gaussian Splatting Based Real2Sim2Real Method for Robotic Manipulation Learning

Authors: Yuxuan Wu, Lei Pan, Wenhua Wu, Guangming Wang, Yanzi Miao, Hesheng Wang

pre-print -> https://arxiv.org/abs/2409.20291

#robotics #deformable_manipulation #gaussian_splatting #gaussiansplatting #sim2real #real2sim #real2sim2real

RL-GSBridge: 3D Gaussian Splatting Based Real2Sim2Real Method for Robotic Manipulation Learning

Sim-to-Real refers to the process of transferring policies learned in simulation to the real world, which is crucial for achieving practical robotics applications. However, recent Sim2real methods either rely on a large amount of augmented data or large learning models, which is inefficient for specific tasks. In recent years, with the emergence of radiance field reconstruction methods, especially 3D Gaussian splatting, it has become possible to construct realistic real-world scenes. To this end, we propose RL-GSBridge, a novel real-to-sim-to-real framework which incorporates 3D Gaussian Splatting into the conventional RL simulation pipeline, enabling zero-shot sim-to-real transfer for vision-based deep reinforcement learning. We introduce a mesh-based 3D GS method with soft binding constraints, enhancing the rendering quality of mesh models. Then utilizing a GS editing approach to synchronize the rendering with the physics simulator, RL-GSBridge could reflect the visual interactions of the physical robot accurately. Through a series of sim-to-real experiments, including grasping and pick-and-place tasks, we demonstrate that RL-GSBridge maintains a satisfactory success rate in real-world task completion during sim-to-real transfer. Furthermore, a series of rendering metrics and visualization results indicate that our proposed mesh-based 3D GS reduces artifacts in unstructured objects, demonstrating more realistic rendering performance.

arXiv.org
Following up on this post from a few weeks ago, I had a lovely walk in the woods and captured a video as I hiked. I was able to use PostShot to turn the woodland scene into my first Gaussian splat. This week I was able to bring the point cloud into a VR viewer and walk around in my new Quest 3. It was like revisiting a memory in a dream. The artifacts of where the scene breaks down even feels dream-like. Living in the future is so cool. #gaussian_splatting
InstantSplat: Sparse-View SfM-Free Gaussian Splatting in Seconds
https://instantsplat.github.io/
#ycombinator #Instantsplat #Gaussian_Splatting #Gaussian #LightGaussian
InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds

InstantSplat, unifies dense stereo priors with 3D-GS to build 3D Gaussians of large-scale scenes from sparse-view and pose-free images in less than 1 minute.

ARグラス時代に向けた挑戦 Nianticのエンジニアリング部門トップが語るAR×位置情報ゲーム×3Dスキャンの未来
https://www.moguravr.com/niantic-ar-bam-interview/

#moguravr #企業動向 #業界動向 #AR #Gaussian_Splatting #Niantic #Scaniverse #Niantic #Gaussian_Splatting #Scaniverse #AR

ARグラス時代に向けた挑戦 Nianticのエンジニアリング部門トップが語るAR×位置情報ゲーム×3Dスキャンの未来

Nianticは、「ポケモンGO」で世界的な旋風を巻き起こしたARスタートアップだ。ポケモンGO以前から「Ingress」、そしてポケモンGO以降も「ピクミンブルーム」(2022)、「Peridot(ペリドット)」(20 […]

Mogura VR News