i 
Praćenje kamere s točnošću od centimetara za 3D snimanje velikih razmjera (Gaussovo raspršivanje)
SAŽETAK
Ovaj projekt klijenta dolazi od Aryonix, koju je osnovao Alexandre Cavaleri. Aryonix razvija mehanizam za renderiranje u stvarnom vremenu sposoban za stvaranje kinematografskih, fotorealističnih i impresivnih 3D okruženja iz fotografija. Aryonix je surađivao s Krila za spust, projekt posvećen istraživanju, mapiranju i snimanju spustova za inline skejtanje, longboardove i druge gravitacijske sportove. Projekt koristi tehniku zvanu Gaussovo splatting.
Za spustove je važno da digitalna rekonstrukcija odgovara stvarnom svijetu. Ruta mora imati ispravan položaj, mjerilo i nagib kako bi vozači mogli točno procijeniti njezinu težinu, sigurnost i cjelokupno iskustvo vožnje.
Glavni izazov rekonstrukcije tako dugih ruta na otvorenom je izračunavanje poza kamere: alati poput COLMAP-a pomiču se i akumuliraju pogreške tijekom udaljenosti, bore se s prirodno nastalim ponavljajućim uzorcima i bezličnim prikazima (redovi vinove loze, površina ceste, nebo), a bez prethodnog GPS-a rezultat nije vezan za stvarne koordinate, mjerilo ili nagib.
Kako bi prevladao ta ograničenja, Aryonix je koristio GNSS kompas – RTK početni komplet kako bi se osigurali centimetarski točni položaji i smjer kamere tijekom snimanja.
Oprema za montažu
Kako bismo riješili ovaj problem, koristili smo početni komplet GNSS kompasa kako bismo osigurali centimetarski točne položaje kamere i smjer kao prethodne kamere za COLMAP.
- GNSS kompas – RTK početni komplet: GNSS/RTK komplet s UM982 pločom i dvije visokokvalitetne spiralne antene
- Blackmagic URSA Mini Pro 4.6K G2 filmska kamera, snimanje u RAW formatu
- Hosa MIT-129 XLR adapter pretvara PPS signal ploče u audio razine kompatibilne s kamerom i štiti ploču od fantomskog napajanja kamere.
- Telefon s pokrenutim SW kartama, RTK zapisivanjem podataka + napajanjem ploče
Sinkronizacija videa s RTK-om
Poznavanje položaja kamere korisno je samo ako se svaki video kadar može uskladiti s ispravnim RTK mjerenjem.
GNSS prijemnik šalje PPS (impuls u sekundi) signal. To je vrlo točan električni impuls generiran točno jednom svake GPS sekunde. Umjesto oslanjanja na unutarnji sat kamere, ovaj PPS signal snimljen je izravno u jedan audio kanal kamere putem njezinog XLR ulaza.
Budući da se zvuk uzorkuje na 48 kHz, svaki PPS impuls može se detektirati s točnošću manjom od milisekunde. Za usporedbu, jedan video kadar snimljen pri 24 fps traje oko 42 milisekunde. To omogućuje mnogo preciznije vremensko označavanje svakog kadra nego korištenjem vlastitih informacija o vremenu kamere.
Snimanje PPS impulsa svake sekunde također omogućuje otkrivanje i kontinuirano ispravljanje bilo kakvog pomaka sata u kameri tijekom cijelog snimanja. PPS signal označava početak svake GPS sekunde, dok RTK zapisnik koji snima telefon pruža odgovarajuće GNSS vremenske oznake. Pokretanje oba snimanja približno u isto vrijeme dovoljno je za automatsko usklađivanje PPS impulsa s RTK podacima.
Ako vam ovo zvuči komplicirano, pogledajte našu objavu Razumijevanje GPS-a Timepulse ili PPS.
Snimanje scene
Tim je prošetao rutom od 800 metara kroz vinograde Lavaux u Švicarskoj, neprestano snimajući video.
Umjesto jednostavnog hodanja u ravnoj liniji, kamera se pomicala u spiralnom uzorku kako bi se scena promatrala iz više kutova gledanja. To poboljšava kvalitetu 3D rekonstrukcije, a istovremeno izbjegava sjene koje baca operater.
Povremeno su snimljene kratke bočne staze prije povratka na glavnu rutu, dodajući dodatne točke gledišta koje poboljšavaju točnost rekonstrukcije.
Pokretni objekti poput pješaka i vozila obrađeni su izravno tijekom snimanja kratkim usmjeravanjem kamere u stranu, smanjujući količinu čišćenja potrebnog kasnije.
Rezultati
Nakon sinkronizacije RTK mjerenja s video okvirima, položaji kamera su uneseni u cjevovod rekonstrukcije kao prethodni položaji kamere. Umjesto procjene svakog položaja kamere samo na temelju slika, softver počinje s centimetarski točnim RTK mjerenjima.
Rezultirajući 3D prikaz se renderira u stvarnom vremenu pomoću Aryonix Engine-a, uz očuvanje ispravnog položaja, orijentacije, mjerila i nagiba rute u stvarnom svijetu.
Iako je ovdje demonstrirano s Gaussovim splattingom, isti tijek rada primjenjuje se na bilo koju metodu rekonstrukcije koja se oslanja na 2D slike i poze kamere: sinkronizirani prethodni podaci kamere mogu se unijeti u alate poput COLMAP-a za treniranje Gaussovih splatova, NeRF-ova ili tradicionalnih fotogrametrijskih rekonstrukcija.
Pružajući točne položaje kamere tijekom cijelog snimanja, RTK GNSS transformira tijek rada koji bi inače patio od akumuliranog pomaka u pouzdanu metodu za rekonstrukciju dugih vanjskih okruženja. Rezultat je fotorealistična 3D scena koja se također može koristiti za točna mjerenja rute, uključujući nagibe koji su često detaljniji od onih dostupnih iz postojećih digitalnih modela elevacije.
Povezani proizvodi
Asistent RTK
Pronađite najbolje proizvode za svoju primjenu u samo nekoliko pitanja.
Ako vam se svidio ovaj sadržaj, možete nas pratiti na X / Twitter, YouTube, Facebook or LinkedIn da biste bili u tijeku s ovakvim sadržajem.