Reinforcement und Transfer Learning mit OpenAI Gym

Masterarbeit (ggf. auch als Bachelorarbeit durchführbar).

Im März 2016 rückte das Forschungsfeld „Deep Learning” in den Fokus der breiten Öffentlichkeit, als das Computerprogramm „AlphaGo” [1] einen der weltbesten menschlichen Spieler im Brettspiel Go schlug. Viele der grundlegenden Techniken des Maschinellen Lernens (z.B. Verstärkendes Lernen, Künstliche Neuronale Netze) sind schon seit Jahrzehnten bekannt. Jedoch haben ein großes Interesse aktueller Forschung sowie rapide steigende Verfügbarkeit von Rechenleistung zu beeindruckenden Anwendungen geführt, z.B. bei Verfahren zur Bilderkennung, in Suchmaschinen und Algorithmen für Künstliche Intelligenz, wie der Erfolg von AlphaGo zeigt. Seitdem gab es weitere vielbeachtete Durchbrüche in Forschung und Entwicklung auf diesem Feld.

Ziel dieser Arbeit ist die Untersuchung moderner Methoden des Reinforcement und Transfer Learnings in 3D-Simulationen. Als Grundlage soll dabei das Open-Source-Framework „OpenAI Gym“ [2, 3] dienen, in dem eine Vielzahl von Simulationsumgebungen zur Verfügung steht, um Tiefe Neuronale Netze (Deep Neural Networks) zu trainieren und zu erproben. Aus dem am MMI verwendeten Simulationssystem „VEROSIM“ soll eine eigene Umgebung für OpenAI Gym geschaffen werden. Mit deren Hilfe sollen bestehende oder neu entwickelte Netze in Bezug auf die eingesetzte Umgebung und das zugrundeliegende Simulationsmodell verglichen werden.

Weiterhin soll im Rahmen von „Transfer Learning“ untersucht werden, inwiefern sich in bestimmten Umgebungen gelerntes Verhalten auf andere Umgebungen übertragen lassen kann.

Eine weitere Fragestellung ist, ob aus Verläufen von Zustandsgrößen Teile des Simulationsmodells erlernt bzw. prädiziert werden können. Was sind nötige Bausteine und mögliche Anwendungen von „KI-unterstützter Simulation“?

Die Bearbeitung des Themas erfordert Erfahrung in der Programmierung mit C++ und Python sowie Grundwissen auf dem Gebiet des Deep Learning.

Betreuer: Dipl.-Phys. Linus Atorf, Mail: , Tel.: 0241 80-26106

[1] https://deepmind.com/research/alphago/

[2] https://gym.openai.com/

[3] https://arxiv.org/abs/1606.01540

Weitere Arbeiten