Reaigen
SKEN
Technológia

Technológia Reaigen

Technológia za 3D prehliadkami Reaigenu: funkčný prototyp živej doprednej (feed-forward) 3D rekonštrukcie z prúdu snímok z kamery a naše odborné články.

Živá 3D rekonštrukcia

Prejdite bytom s telefónom a sledujte, ako sa mení na 3D. Náš prototyp Reaigen-VGGT skladá scénu z toho, čo kamera vidí v reálnom čase: snímky prúdia priamo do modelu, ktorý každú z nich pridá do 3D jedným dopredným prechodom. Nečaká, kým sa nazbiera celý záznam a vyrieši sa naraz, a netreba mu hĺbkový senzor.

Byt bol naskenovaný telefónom iPhone 15 Pro, miestnosť telefónom Samsung Galaxy S24. Stlačte prehrávanie a sledujte, ako sken vzniká spolu s polohami kamery; ťahaním sa rozhliadnete. Výskumný prototyp.

Oprava scény

Reaigen-VGGT je prototyp, ktorý už zvláda hlavnú prácu pri premene obrazu z kamery na 3D. V predvolenom nastavení zatiaľ nedosahuje presnosť na 1 mm, preto výsledok spresňuje oprava: upraví rozloženie kamier a odstráni zdvojené povrchy, takže z toho istého skenu vznikne jedna čistá scéna.

Živý sken
Živý sken
Po oprave
Po oprave
< 2 minZvyčajný čas opravy po skene
NaživoSúbežne so skenom, s automatickou opravou na druhej GPU

Preskúmať opravenú miestnosť v 3D

Renderovací engine Spinoff

Po skenovaní prichádza na rad Spinoff, náš vlastný renderovací engine pre gaussovské splaty. Scény s miliónmi splatov vykresľuje v reálnom čase priamo v prehliadači a tie isté priestory prináša v plnej mierke aj do Apple Vision Pro.

Beží naživo vo vašom prehliadači: vyberte scénu, ťahaním sa rozhliadnite a klávesmi W, A, S a D sa pohybujte. Pobrežie má 10 miliónov splatov a sťahuje sa 133 MB.

Zdroje

  • PobrežieBig Sur Cliff od Jamesa Hurlbuta: 360° záznam z dronu natrénovaný do scény s 10 miliónmi splatov. CC BY 4.0. Zdroj
  • BytModel bytu z BlenderKit (licencia royalty-free), natrénovaný v Splatfiction. Zdroj
  • GardenDataset Mip-NeRF 360 (Barron a kol., CVPR 2022), s referenčným modelom z 3D Gaussian Splatting (Kerbl a kol., SIGGRAPH 2023). Dataset Model
  • Letecký záberTerraSky3D (D’Urso a kol., TU Graz / Sony), natrénované v Splatfiction. CC BY 4.0. Zdroj

Články