Gestenerkennung für AR und VR Anwendungen

Bachelorarbeit/Masterarbeit: Intuitive Mensch-Maschine-Interaktion mittels Gestenerkennung in der 3D Simulation.

Die Gestenerkennung behandelt die mathematische Interpretation menschlicher Bewegungen durch einen Computer. Neben der Gesichtserkennung, Spracherkennung, Augen-/oder Lippenbewegungs- Tracking ist die Gestenerkennung zentraler Bestandteil der „perceptual user interfaces“ (PUI), welche eine effiziente und einfache Nutzerschnittstelle bereitstellen.

Hardware Gestenerkennung: Microsoft Kinect, Myo, LeapMotion, Google Soli

Zur Kategorisierung des großen Feldes der Gestenerkennung kann man diese im Sinne der verwendeten Hard- und Software folgendermaßen einteilen (siehe auch Abb.):

  • Controller-basiert
    (wie z.B. Nintendo Wii, Thalmic Labs Myo, Google Daydream Controller)
  • Optisch
    • Kamerabasierte Gestenerkennung (wie z.B. Microsoft Kinect)
    • Infrarot Eingabegeräte (wie z.B. LeapMotion)
    • Phasenbasiert (Radar) (wie z.B. Google Soli)

Im Bereich der Controller-basierten Eingabegeräte beschränkt sich die Gestenerkennung auf Position, Orientierung, Geschwindigkeit, oder Beschleunigungsprofile. Im Bereich von optisch erfassten Gesten beinhaltet dieses vielmehr den Bereich der Bildverarbeitung. Hierbei bringen oft die entsprechenden SDKs vordefinierte (und optimierte) Bibliotheken mit. Open Source Projekte dagegen, wie OpenCV oder z.B. das Gesture Recognition Toolkit (https://github.com/nickgillian/grt), geben einen ganzheitlicheren Ansatz im Bereich der Gestenerkennung.

Im Bereich von VR (und AR) sind die Anwendungsmöglichkeiten der Gestenerkennung nahezu endlos. Neben der kostengünstigen Anschaffung steht vor allem die einfache, direkte, intuitive Nutzung im Vordergrund. Zusätzlich zu den aktuellen Trends im Bereich VR (siehe Oculus Rift oder HTC Vive) können die Möglichkeiten der Gestenerkennung hier außerordentlich gut genutzt werden, um einfach virtuelle Einsatzszenarien abzubilden, welche sonst erheblich umfangreichere Aufbauten benötigen würden. Ein Beispiel hierfür sind teleoperativ gesteuerte Roboter, welche komplexe und oft stark angepasste oder extra entwickelte Eingabegeräte benötigen, können diese vorerst auch durch das Abbilden des menschlichen Skelettes in der Kinect in einem virtuellen Testszenario genutzt werden. Des Weiteren können entwickelte Gestenerkennungsalgorithmen auch zusätzlich im finalen Szenario Einsatz finden, oder in anderen Anwendungen genutzt werden.

Im Rahmen dieser Bachelor/Masterarbeit soll auf der einen Seite Hardware (z.B. Kinect 2, Myo, LeapMotion) untersucht und an ein bestehendes 3D Simulationssystem angebunden werden, als auch auf der anderen Seite Algorithmen zur allgemeinen Gestenerkennung implementiert werden, um schlussendlich ein ganzheitliches System aus Mensch und 3D Simulation (und eventuell auch realer Hardware) zu schaffen.

Durch die gute Skalierbarkeit dieser Arbeit ist diese als Bachelor- oder Masterarbeit durchführbar.

Voraussetzungen hierfür sind neben Kenntnissen in C++ (und Qt), erste Erfahrungen in der Anbindung von C++ basierten SDKs, insbesondere das Interesse und die Lust an Hardware-naher Softwaregestaltung nötig.

Stichworte: 3D Simulation, Gestenerkennung, Kinect, Myo, LeapMotion

Betreuer: Cichon

Weitere Arbeiten

ifc2

Proaktiver Digitaler Zwilling des Walds

Ein proaktiver Digitaler Zwilling des Walds als Dreh- und Angelpunkt.
ifc2

Datenmodellierung von Wald und Holz 4.0-Dingen

Die Modellierung der "Dinge" ist ein wichtiger Aspekt in Wald...
S3I-Logo

Smart system communication between Digital Twins based on GAIA-X

In this thesis, the GAIA-X approach of "federated services" shall...
lbrInsertion

KI-basierte Simulation dynamischer Systeme

Masterarbeit: Realisierung und Bewertung von KI-basierte und KI-gestützten Verfahren zur Simulation...
msedge_SMRi2X6LlV

Entwicklung und Implementierung einer Anbindung für eine visuelle Programmierumgebung an eine 3D Simulation

Simulationen finden immer häufiger Anwendung in industriellen Entwicklungsprozessen. Da hierfür...
Grafik2

Analyse der Schnittstellen zur Integration agentenbasierter Simulation in traditionelle Methoden der Montageplanung

Klein- und mittelständische Unternehmen im produzierenden Gewerbe sind zumeist auf...
Grafik1

Evaluation der Modellierung und Anwendung agentenbasierter Simulation in der Montage

Klein- und mittelständische Unternehmen im produzierenden Gewerbe sind zumeist auf...
v2i

Integrating Network Simulation into a Multi-Domain Simulation Framework

Bachelor-/Masterarbeit: Integrating Network Simulation in a Multi-Domain Simulation Framework The...
v2i

Integration of Wireless Communication Simulation into a 3D Simulation Framework

Master Thesis: Integration of Wireless Communication Simulation in a 3D...
iSAT1_Specification1b

Automatisierte Generierung von Simulationsszenarien auf Basis formaler Modellspezifikationen

Vergleich und Bewertung von Qualitätskennzahlen aus verschiedenen Anwendungsbereichen
ifc2

Methoden zur automatisierten Verifikation und Validierung numerischer Simulationsmodelle

Methoden zur automatisierten Verifikation und Validierung numerischer Simulationsmodelle
ifc2

Vergleich und Bewertung von Qualitätskennzahlen aus verschiedenen Anwendungsbereichen

Vergleich und Bewertung von Qualitätskennzahlen aus verschiedenen Anwendungsbereichen
ifc2

Synchronisation von parallel simulierten Experimentierbaren Digitalen Zwillingen in Virtuellen Testbeds

Entwicklung eines räumlichen Partitionierungsschemas zur parallelen Simulation.
robotsOnTable

Evaluation von diskriminativen und generativen Modellen zur Bewegungsgenerierung in der kooperativen Manipulation

Die kooperative Manipulation verfolgt das Ziel, Robotersysteme dazu zu befähigen...
900px-Astronaut-EVA

Entwicklung eines aktiven Lageregelungssystems für einen 3U CubeSat mit Reaktionsrädern und Magnettorquern

Der finanzielle und technische Aufwand einer kommerziellen oder wissenschaftlichen Raumfahrtmission...
UnfelledTrees_2

Platzierung von Haltepunkten in einem Wegenetz

Automatisch generierte Wegenetze spielen eine wichtige Rolle bei der Simulation...
Schnittvolumen_2

Berechnung und Auflösung von Kontakten zwischen beliebigen Polyedern

Moderne "Game Engines" haben hinsichtlich der eingesetzten Methoden sowie der...
hololens

Simulationsgestützte AR-Applikationen mit der Microsoft HoloLens

Moderne "Game Engines" haben hinsichtlich der eingesetzten Methoden sowie der...

Entwurf und Realisierung eines Datenmanagement Systems für eine spezialgefertigte Anwendung eines bestehenden Simulationssystems.

Entwurf und Realisierung eines Datenmanagement Systems für eine spezialgefertigte Anwendung...
incidentRadiantPowerThumbnail

Simulations-basierte Bestimmung der auf erdnahen Satelliten eingehenden Albedo- und Infrarot-Strahlungsleistung

Simulations-basierte Bestimmung der auf erdnahen Satelliten eingehenden Albedo- und Infrarot-Strahlungsleistung.
U-3-4-Holzerntekostenrechnung-640x480

Game Engines in der Simulationstechnik

Moderne "Game Engines" haben hinsichtlich der eingesetzten Methoden sowie der...

Simulation kommunizierender Systeme

Die Nutzung von Simulationen im Engineering beginnt typischerweise mit der...
W-6-3-DesktopVirtuellesTestbed-640x480

3D-Simulationstechnik in Web-Architekturen

Die Nutzung von Simulationen ist aktuell im Wesentlichen Desktop-Applikationen vorbehalten....
ramdb

In-Memory Datenbankmanagementsysteme in der 3D-Simulation

In-Memory Datenbankmanagementsysteme für die verteilte Verwaltung und Bereitstellung von Modellen...
ifc2

STEP (ISO 10303) als Austauschformat für die 3D-Simulation

Für die 3D-Simulation stellt das STEP-Format ein wichtiges Mittel zum...
FESTO

Soft Robotics Simulation

Modellbildung und Simulation weicher Körper innerhalb einer vohandenen Starrkörper-VR-Simulation
BMW1600Gt

Modellbildung: Reifen

Integration eines geeigneten, erweiterbaren Reifenmodells in ein bestehendes Mehrkörpersimulations-Frameworks zur...

Objektrelationales Mapping in der 3D-Simulation

Nutzung von Techniken zur Abbildung von objekt-orientierten Strukturen auf relationale...