Omnivideo SLAM

Het gebruik van panoramische foto's, zoals op de huizensite Funda, is een bekende truc om indrukwekkende 360 graden weergaves te maken van een omgeving. Maar een panoramafoto blijft een statisch medium waaruit het moeilijk is veel informatie van de omgeving te onttrekken. De oplossing heeft zich wellicht aangediend in de vorm van omni-directionele video, dat commercieel verkrijgbaar is. Omni-directionele video maakt het mogelijk om op videosnelheid panoramafoto's te maken. Een omni-directionele videocamera is ook niet veel groter dan een normaal fototoestel en kan prima bovenop het dak van een rijdend voertuig worden geplaatst. In dit werk willen wij graag kijken wat de mogelijkheden van omni-directionele video zijn voor SLAM (Simultaneous Localization and Mapping). De eerste stap zou bestaan uit een simpele bepaling van de 2-D positie (localization) van een bewegend voertuig met omni-directionele video. Dit zou kunnen aan de hand van herkenning van specifieke vaststaande bakens in de video of aan de hand van bepaling van de ego-motion uit de beelddata. Technieken als optical flow of keypoint matchers (SIFT) zouden hiervoor kunnen worden gebruikt. Het resultaat is dat de 2-D positie van ieder 360 graden videoframe op een kaart kan worden getekend, zodat je met de juiste software snel een complete weergave (mapping) hebt voor iedere positie. Een eventuele vervolgstop zou bestaan uit een grove 3-D reconstructie van de omgeving aan de hand van de omni-directionele videostroom van een bewegend voertuig. Hier kunnen de optical flow en SIFT technieken opnieuw gebruikt voor worden. Een aantal aannames (omgeving bestaat uit rechtopstaande, vierkante structuren binnen in een gebouw) moeten dit probleem behapbaar maken. Snelle C++ implementaties van optical flow en SIFT zijn voorhanden.

TNO heeft de beschikking over een Ladybug2 digitale, sferische videocamera van Point Grey Research. Deze videocamera heeft zes camera's die samen een 30 FPS videostroom vormen met een openingshoek van ¾ bol.

Keywords:
Computer Vision, SLAM, Omni-directional video, 3D Reconstruction
Study:
Artificial Intelligence
Contact:
John Schavemaker 
Status:
Open
Location:
TNO / Universiteit van Amsterdam
References: