Immersive VR-Motion-Simulation auf Basis von 360° Videos und aktiver Bewegungsrekonstruktion und -nachführung

Aktuell werden zahlreiche Geräte für die Nutzung der Virtuellen Realität (VR) angeboten oder stehen kurz vor dem Release. Parallel dazu entwickelt sich der Trend zur Aufnahme von 360°-Videos (Achterbahnfahrt, Jetflug, Fallschirmsprung), die einem das „interaktive Umschauen“ in einer aufgenommenen Videosequenz erlauben. Die Kombination beider Techniken gibt dem Betrachter im Prinzip das Gefühl, sich im Geschehen des Videos zu befinden. Die Illusion wird jedoch dadurch gestört, dass die Grundbewegung im Video vom Betrachter zwar optisch, aber nicht physisch wahrgenommen wird. In Freizeitparks gibt es oft sogenannte Motion-Rides, die synchron zum gezeigten Bildmaterial eine Bahn abfahren, sodass der Betrachter einen stimmigen Bewegungseindruck (sowohl physisch als auch (audio-)visuell) erfährt. Hier setzt diese Arbeit an.

ImmersiveMotionRideMAHeaderImages

Links: Motion-Simulator der im Rahmen dieser Arbeit Verwendung finden wird.
Rechts: Beispielbild 360°-Video (Quelle: youtube.com)

 

Aufgabenbeschreibung

Die Bewegungsrekonstruktion anhand von Kameraaufnahmen wird im Allgemeinen als Visual Odometry bezeichnet. Sie erlaubt die Posen der Kamera bei der Aufnahme einer Bildfolge, z.B. eines Videos, anhand der Betrachtung paarweise aufeinanderfolgender Einzelaufnahmen zu ermitteln. In dieser Arbeit soll auf diese Weise der Bewegungspfad der aufnehmenden Kamera eines 360°-Videos rekonstruiert werden. Dieser Pfad soll anschließend als Basis zur Ansteuerung eines Motion Simulators dienen, sodass der Simulator die Grundbewegung des Videos simuliert, während sich der Passagier mit einer VR-Brille frei in diesem Video umsehen kann.

ImmersiveMotionRideMABottomImages

Links: Bewegungsrekonstruktion aus Videodaten (Quelle: research.microsoft.com)
Rechts: VR-Anwendung mit VR-Brille (Quelle: playstation.com)

Für diese Arbeit stehen ein Oculus Rift Developer Kit 2 sowie ein Motion Simulator auf Basis von in Simulation-Rides verwendeten Robocoastern zur Verfügung. Alle Komponenten sind bereits durch die am MMI entwickelte Simulationssoftware VEROSIM angebunden und lassen sich ebenfalls darüber steuern.

Gewünschtes Vorgehen

Basierend auf einer intensiven Literaturrecherche soll der Studierende verschiedene Ansätze für Visual Odometry (Optical Flow, Featuretracking, Structure-from-Motion, Bundleadjustment, etc.) vergleichen und für den oben genannten Einsatzzweck analysieren. Anschließend soll ein geeignetes Verfahren ausgewählt und umgesetzt werden. Ziel ist eine lückenlose Folge von Kameraposen, die einen möglichst glatten Pfad ergeben.

Der Motion Simulator soll genutzt werden, um die Beschleunigungen, die der Körper während der Fahrt erfährt, nachzubilden. Dazu sollen die Ergebnisse der Bildverarbeitung in ein existierendes Robotermodell auf einer Echtzeit-Plattform übertragen und anschließend eine geeignete Parametrierung für die Washout-Filter Implementierung des Motion Simulators identifiziert werden. Da die interne Sensorik der VR-Brille (IMU) von den Bewegungen des Motion Simulators beeinflusst wird, muss die Simulator­bewegungen in den Sensormessungen kompensiert werden.

Implementierung

Zur Erfüllung der Aufgabe müssen verschiedene Algorithmen implementiert werden. Hierbei kann mit externen Bibliotheken (z.B. OpenCV, PCL) gearbeitet werden, die grundlegende Funktionalitäten, wie z.B. Featuredetektion oder Matrizenberechnungen,  zur Verfügung stellen. Die Anbindung dieser Bibliotheken, sowie die restliche programmatische Umsetzung der Aufgabe sollen eigenständig in der Programmiersprache C++ und als Plugin der Simulationssoftware VEROSIM erfolgen.

Um alle entwickelten Komponenten über die Arbeit hinaus weiter verwenden und weiterentwickeln zu können sollen diese modular und austauschbar umgesetzt werden. Dazu gehört die Verwendung einheitlicher Schnittstellen, z.B. das in VEROSIM verwendeten Input/Output (IO) Konzept, zur Kommunikation zwischen den einzelnen Komponenten.

Stichworte: VR-Motion-Simulation, 360°-Video, Structure-from-Motion, Bundleadjustment, Featuretracking, Bewegungsrekonstruktion, Motion-Rides, Motionsimulator, VR

Betreuer: Sondermann/Priggemeyer

Weitere Arbeiten

S3I_LoRa_Icon

Entwicklung und Umsetzung eines Konzepts der Authentifikation und Autorisierung im Ressourcen-beschränkten IoT

Bachelor-/Masterarbeit Mit der stetig zunehmenden Anzahl an die vernetzten Geräte,...
ifc2

Proaktiver Digitaler Zwilling des Walds

Ein proaktiver Digitaler Zwilling des Walds als Dreh- und Angelpunkt.
ifc2

Datenmodellierung von Wald und Holz 4.0-Dingen

Die Modellierung der "Dinge" ist ein wichtiger Aspekt in Wald...
S3I-Logo

Smart system communication between Digital Twins based on GAIA-X

In this thesis, the GAIA-X approach of "federated services" shall...
lbrInsertion

KI-basierte Simulation dynamischer Systeme

Masterarbeit: Realisierung und Bewertung von KI-basierte und KI-gestützten Verfahren zur Simulation...
msedge_SMRi2X6LlV

Entwicklung und Implementierung einer Anbindung für eine visuelle Programmierumgebung an eine 3D Simulation

Simulationen finden immer häufiger Anwendung in industriellen Entwicklungsprozessen. Da hierfür...
Grafik2

Analyse der Schnittstellen zur Integration agentenbasierter Simulation in traditionelle Methoden der Montageplanung

Klein- und mittelständische Unternehmen im produzierenden Gewerbe sind zumeist auf...
Grafik1

Evaluation der Modellierung und Anwendung agentenbasierter Simulation in der Montage

Klein- und mittelständische Unternehmen im produzierenden Gewerbe sind zumeist auf...
v2i

Integrating Network Simulation into a Multi-Domain Simulation Framework

Bachelor-/Masterarbeit: Integrating Network Simulation in a Multi-Domain Simulation Framework The...
v2i

Integration of Wireless Communication Simulation into a 3D Simulation Framework

Master Thesis: Integration of Wireless Communication Simulation in a 3D...
iSAT1_Specification1b

Automatisierte Generierung von Simulationsszenarien auf Basis formaler Modellspezifikationen

Vergleich und Bewertung von Qualitätskennzahlen aus verschiedenen Anwendungsbereichen
ifc2

Methoden zur automatisierten Verifikation und Validierung numerischer Simulationsmodelle

Methoden zur automatisierten Verifikation und Validierung numerischer Simulationsmodelle
ifc2

Vergleich und Bewertung von Qualitätskennzahlen aus verschiedenen Anwendungsbereichen

Vergleich und Bewertung von Qualitätskennzahlen aus verschiedenen Anwendungsbereichen
ifc2

Synchronisation von parallel simulierten Experimentierbaren Digitalen Zwillingen in Virtuellen Testbeds

Entwicklung eines räumlichen Partitionierungsschemas zur parallelen Simulation.
robotsOnTable

Evaluation von diskriminativen und generativen Modellen zur Bewegungsgenerierung in der kooperativen Manipulation

Die kooperative Manipulation verfolgt das Ziel, Robotersysteme dazu zu befähigen...
900px-Astronaut-EVA

Entwicklung eines aktiven Lageregelungssystems für einen 3U CubeSat mit Reaktionsrädern und Magnettorquern

Der finanzielle und technische Aufwand einer kommerziellen oder wissenschaftlichen Raumfahrtmission...
UnfelledTrees_2

Platzierung von Haltepunkten in einem Wegenetz

Automatisch generierte Wegenetze spielen eine wichtige Rolle bei der Simulation...
Schnittvolumen_2

Berechnung und Auflösung von Kontakten zwischen beliebigen Polyedern

Moderne "Game Engines" haben hinsichtlich der eingesetzten Methoden sowie der...
hololens

Simulationsgestützte AR-Applikationen mit der Microsoft HoloLens

Moderne "Game Engines" haben hinsichtlich der eingesetzten Methoden sowie der...

Entwurf und Realisierung eines Datenmanagement Systems für eine spezialgefertigte Anwendung eines bestehenden Simulationssystems.

Entwurf und Realisierung eines Datenmanagement Systems für eine spezialgefertigte Anwendung...
incidentRadiantPowerThumbnail

Simulations-basierte Bestimmung der auf erdnahen Satelliten eingehenden Albedo- und Infrarot-Strahlungsleistung

Simulations-basierte Bestimmung der auf erdnahen Satelliten eingehenden Albedo- und Infrarot-Strahlungsleistung.
U-3-4-Holzerntekostenrechnung-640x480

Game Engines in der Simulationstechnik

Moderne "Game Engines" haben hinsichtlich der eingesetzten Methoden sowie der...

Simulation kommunizierender Systeme

Die Nutzung von Simulationen im Engineering beginnt typischerweise mit der...
W-6-3-DesktopVirtuellesTestbed-640x480

3D-Simulationstechnik in Web-Architekturen

Die Nutzung von Simulationen ist aktuell im Wesentlichen Desktop-Applikationen vorbehalten....
ramdb

In-Memory Datenbankmanagementsysteme in der 3D-Simulation

In-Memory Datenbankmanagementsysteme für die verteilte Verwaltung und Bereitstellung von Modellen...
ifc2

STEP (ISO 10303) als Austauschformat für die 3D-Simulation

Für die 3D-Simulation stellt das STEP-Format ein wichtiges Mittel zum...
FESTO

Soft Robotics Simulation

Modellbildung und Simulation weicher Körper innerhalb einer vohandenen Starrkörper-VR-Simulation
BMW1600Gt

Modellbildung: Reifen

Integration eines geeigneten, erweiterbaren Reifenmodells in ein bestehendes Mehrkörpersimulations-Frameworks zur...

Objektrelationales Mapping in der 3D-Simulation

Nutzung von Techniken zur Abbildung von objekt-orientierten Strukturen auf relationale...