Simulation based Falsification of Deep Neural Networks

Deep neural networks (DNN) have played a key role in imparting “intelligence” in various domains. In the automotive industry, they are a crucial component to achieving Level 5 autonomy. On the other end, realistic 3D- and sensor simulations provide a natural complement to DNNs by allowing the generation of virtually unlimited sensor data, which is sufficiently realistic and whose diversity can be controlled.

 

Realistic Scenarios with Sensor Simulations in VEROSIM

 

In this thesis, a framework for testing and falsification of DNN-based driver models shall be developed within the simulation software VEROSIM. The thesis flow will be composed of the following steps:

  •  Development of a DNN-based vehicle driver and its integration in VEROSIM. This may be a pre-developed end-to-end driver, e.g., NVIDIA Dave2 [1], or be developed based on publicly available object recognition datasets. In any case, it should be based on real-world data.
  • Identification of sets of critical parameters of the simulation environment that would likely have the most influence on the automated driver performance: e.g. environmental factors, number of traffic participants, behavior of traffic participants. The simulation software VEROSIM offers various methods to simulate such scenario participants.
  • Development (or integration of open source frameworks like DeepXplore [2]) of adversarial algorithms that identify corner cases for the DNN-based algorithm by varying the critical parameters. These algorithms should aim to “falsify” the DNN-algorithm, i.e. find the cases where the algorithm fails or performs poorly.

The student should additionally have the following background to ensure a smooth flow of the thesis:

  •  Good knowledge and experience with Python and C++.
  • Good knowledge of Deep Neural Networks and Deep Reinforcement Learning algorithms.
  • An interest in exploring and working with state-of-the-art methods in the area of intelligent vehicles.

The thesis can be carried out in English or German.

[1] Bojarski, Mariusz, et al. “End to end learning for self-driving cars.” arXiv preprint arXiv:1604.07316 (2016).

[2] Pei, Kexin, et al. “Deepxplore: Automated whitebox testing of deep learning systems.” proceedings of the 26th Symposium on Operating Systems Principles. 2017.

Key Words: Driving Datasets, Automotive Simulation, AI Falsification

Supervisor: Maqbool[/vc_column_text]

Weitere Arbeiten

Generate an expert system from a digital twin

Master / Bachelor thesis: Generate a knowledge base from the...

Swarm algorithm for the adjustment of a textile machine

Master / Bachelor thesis: Swarm algorithm for the adjustment of...

Virtual TwinCAT sensors

Master / Bachelor thesis: Virtual TwinCAT sensors EtherCAT is an...

Visualisation of the knowledge base

Master / Bachelor thesis: Visualisation of the knowledge base Expert...
figure_scenarios_citycar

Simulation based Falsification of Deep Neural Networks

Deep neural networks (DNN) have played a key role in...
S3I-Logo

Ensuring the scalability of a multi-domain IoT networking infrastructure using Microsoft Azure

Decentralization and networking of independent “things” is a current trend...
S3I-Logo

BA/MA: Decentral Authentication and Authorization of Digital Twins within an IoT infrastructure based on GAIA-X

Technical systems are continuously evolving into more complex cyber-physical systems...
wot-1586897417222

Entwicklung und Umsetzung eines Konzepts zur Integration von W3C Web of Things in eine IoT-Infrastruktur

Bachelor-/Masterarbeit Bei klassischen IoT-Projekten sind Entwickler in der Regel mit...
hololens

Simulation-based Augmented Reality for Unmanned Aerial Systems

In this work, a small drone should be connected to...
S3I_LoRa_Icon

Entwicklung und Umsetzung eines Konzepts der Authentifikation und Autorisierung im Ressourcen-beschränkten IoT

Bachelor-/Masterarbeit Mit der stetig zunehmenden Anzahl an die vernetzten Geräte,...
ifc2

Proaktiver Digitaler Zwilling des Walds

Ein proaktiver Digitaler Zwilling des Walds als Dreh- und Angelpunkt.
ifc2

Datenmodellierung von Wald und Holz 4.0-Dingen

Die Modellierung der "Dinge" ist ein wichtiger Aspekt in Wald...
S3I-Logo

Smart system communication between Digital Twins based on GAIA-X

In this thesis, the GAIA-X approach of "federated services" shall...
lbrInsertion

KI-basierte Simulation dynamischer Systeme

Masterarbeit: Realisierung und Bewertung von KI-basierte und KI-gestützten Verfahren zur Simulation...
msedge_SMRi2X6LlV

Entwicklung und Implementierung einer Anbindung für eine visuelle Programmierumgebung an eine 3D Simulation

Simulationen finden immer häufiger Anwendung in industriellen Entwicklungsprozessen. Da hierfür...
Grafik2

Analyse der Schnittstellen zur Integration agentenbasierter Simulation in traditionelle Methoden der Montageplanung

Klein- und mittelständische Unternehmen im produzierenden Gewerbe sind zumeist auf...
Grafik1

Evaluation der Modellierung und Anwendung agentenbasierter Simulation in der Montage

Klein- und mittelständische Unternehmen im produzierenden Gewerbe sind zumeist auf...
v2i

Integrating Network Simulation into a Multi-Domain Simulation Framework

Bachelor-/Masterarbeit: Integrating Network Simulation in a Multi-Domain Simulation Framework The...
v2i

Integration of Wireless Communication Simulation into a 3D Simulation Framework

Master Thesis: Integration of Wireless Communication Simulation in a 3D...
iSAT1_Specification1b

Automatisierte Generierung von Simulationsszenarien auf Basis formaler Modellspezifikationen

Vergleich und Bewertung von Qualitätskennzahlen aus verschiedenen Anwendungsbereichen
ifc2

Methoden zur automatisierten Verifikation und Validierung numerischer Simulationsmodelle

Methoden zur automatisierten Verifikation und Validierung numerischer Simulationsmodelle
ifc2

Vergleich und Bewertung von Qualitätskennzahlen aus verschiedenen Anwendungsbereichen

Vergleich und Bewertung von Qualitätskennzahlen aus verschiedenen Anwendungsbereichen
ifc2

Synchronisation von parallel simulierten Experimentierbaren Digitalen Zwillingen in Virtuellen Testbeds

Entwicklung eines räumlichen Partitionierungsschemas zur parallelen Simulation.
robotsOnTable

Evaluation von diskriminativen und generativen Modellen zur Bewegungsgenerierung in der kooperativen Manipulation

Die kooperative Manipulation verfolgt das Ziel, Robotersysteme dazu zu befähigen...
900px-Astronaut-EVA

Entwicklung eines aktiven Lageregelungssystems für einen 3U CubeSat mit Reaktionsrädern und Magnettorquern

Der finanzielle und technische Aufwand einer kommerziellen oder wissenschaftlichen Raumfahrtmission...
UnfelledTrees_2

Platzierung von Haltepunkten in einem Wegenetz

Automatisch generierte Wegenetze spielen eine wichtige Rolle bei der Simulation...
Schnittvolumen_2

Berechnung und Auflösung von Kontakten zwischen beliebigen Polyedern

Moderne "Game Engines" haben hinsichtlich der eingesetzten Methoden sowie der...
hololens

Simulationsgestützte AR-Applikationen mit der Microsoft HoloLens

Moderne "Game Engines" haben hinsichtlich der eingesetzten Methoden sowie der...

Entwurf und Realisierung eines Datenmanagement Systems für eine spezialgefertigte Anwendung eines bestehenden Simulationssystems.

Entwurf und Realisierung eines Datenmanagement Systems für eine spezialgefertigte Anwendung...
incidentRadiantPowerThumbnail

Simulations-basierte Bestimmung der auf erdnahen Satelliten eingehenden Albedo- und Infrarot-Strahlungsleistung

Simulations-basierte Bestimmung der auf erdnahen Satelliten eingehenden Albedo- und Infrarot-Strahlungsleistung.
U-3-4-Holzerntekostenrechnung-640x480

Game Engines in der Simulationstechnik

Moderne "Game Engines" haben hinsichtlich der eingesetzten Methoden sowie der...

Simulation kommunizierender Systeme

Die Nutzung von Simulationen im Engineering beginnt typischerweise mit der...
W-6-3-DesktopVirtuellesTestbed-640x480

3D-Simulationstechnik in Web-Architekturen

Die Nutzung von Simulationen ist aktuell im Wesentlichen Desktop-Applikationen vorbehalten....
ramdb

In-Memory Datenbankmanagementsysteme in der 3D-Simulation

In-Memory Datenbankmanagementsysteme für die verteilte Verwaltung und Bereitstellung von Modellen...
ifc2

STEP (ISO 10303) als Austauschformat für die 3D-Simulation

Für die 3D-Simulation stellt das STEP-Format ein wichtiges Mittel zum...
FESTO

Soft Robotics Simulation

Modellbildung und Simulation weicher Körper innerhalb einer vohandenen Starrkörper-VR-Simulation
BMW1600Gt

Modellbildung: Reifen

Integration eines geeigneten, erweiterbaren Reifenmodells in ein bestehendes Mehrkörpersimulations-Frameworks zur...

Objektrelationales Mapping in der 3D-Simulation

Nutzung von Techniken zur Abbildung von objekt-orientierten Strukturen auf relationale...
[/vc_column][/vc_row]