Splatfiction: High-Fidelity 3D Gaussian Splatting Training in WebGPU
Trénovanie 3D gaussovských scén priamo v prehliadači cez WebGPU, bez záložného servera. Vyhodnotené na benchmarku Mip-NeRF 360.
Technológia za 3D prehliadkami Reaigenu: funkčný prototyp živej doprednej (feed-forward) 3D rekonštrukcie z prúdu snímok z kamery a naše odborné články.
Prejdite bytom s telefónom a sledujte, ako sa mení na 3D. Náš prototyp Reaigen-VGGT skladá scénu z toho, čo kamera vidí v reálnom čase: snímky prúdia priamo do modelu, ktorý každú z nich pridá do 3D jedným dopredným prechodom. Nečaká, kým sa nazbiera celý záznam a vyrieši sa naraz, a netreba mu hĺbkový senzor.
Byt bol naskenovaný telefónom iPhone 15 Pro, miestnosť telefónom Samsung Galaxy S24. Stlačte prehrávanie a sledujte, ako sken vzniká spolu s polohami kamery; ťahaním sa rozhliadnete. Výskumný prototyp.
Reaigen-VGGT je prototyp, ktorý už zvláda hlavnú prácu pri premene obrazu z kamery na 3D. V predvolenom nastavení zatiaľ nedosahuje presnosť na 1 mm, preto výsledok spresňuje oprava: upraví rozloženie kamier a odstráni zdvojené povrchy, takže z toho istého skenu vznikne jedna čistá scéna.
Trénovanie 3D gaussovských scén priamo v prehliadači cez WebGPU, bez záložného servera. Vyhodnotené na benchmarku Mip-NeRF 360.
Určenie polôh kamier a riedka 3D rekonštrukcia z fotografií, bežiace v prehliadači na WebGPU.
Prebiehajúci výskum: z usporiadaných RGB snímok získať kamery, hĺbku a priestorovú štruktúru bez trénovania nového modelu pre každú scénu.
Systém Reaigenu na renderovanie veľkých EXR datasetov interiérov na prenajatých cloudových GPU, ktorý vyberá kapacitu podľa nameranej ceny za snímku.