Die Sicherheit im Straßenverkehr nimmt seit einigen Jahren kontinuierlich an Bedeutung zu. Aus diesem Grund werden neue Fahrzeuge mit Sensoren und Assistenzsystemen ausgestattet, die es dem Fahrzeug ermöglichen Gefahrenstellen frühzeitig zu erkennen, an den Fahrer zu melden oder bei akuter Gefahr aktiv in das Geschehen einzugreifen. In dieser Arbeit soll anhand aktueller Veröffentlichungen ein Verfahren zur Detektion und Erkennung von Straßenschildern aus Kameraaufnahmen entwickelt werden. Neben einer zuverlässigen Klassifizierung die Entfernung des Schilds geschätzt und für eine Lokalisierung des Fahrzeugs genutzt werden.
Aufgabenbeschreibung
Auf Basis einer ausführlichen Literaturrecherche zum Thema soll ein Detektions- und Klassifizierungsmodul entwickelt werden, das Straßenschilder aus einer Sequenz von Kamerabildern detektiert und deren Bedeutung anhand eines Katalogs zuordnet. Anschließend soll die bekannte Größe des Schilds und die perspektivische Verzerrung im Kamerabild dazu verwendet werden, die relative Orientierung und Entfernung zur Kamera zu ermitteln und daraus auf eine relative Lokalisierung des Fahrzeugs zu schließen.
Diese Arbeit soll zunächst anhand von in einer 3D-Simulation generierten Kamerabildern entwickelt und getestet werden. Anschließend sollen Realaufnahmen die Funktionsfähigkeit des Ansatzes verifiziert werden. Eine ausführliche Evaluation der Detektions- und Schätzgenauigkeiten soll ebenfalls in der Simulation anhand Ground-Truth-Daten durchgeführt werden.
Gewünschtes Vorgehen
Zu Beginn dieser Arbeit soll der aktuelle Stand der Wissenschaft zum Thema Straßenschilderkennung und -klassifizierung erarbeitet werden. Zudem sind die mathematischen Grundlagen zur perspektivischen Transformation von Kameras im Hinblick auf die Posenschätzung geometrischer Objekte aus Kamerabildern zu erarbeiten.
Aufbauend auf den Ergebnissen der Recherche soll eigenständig ein Konzept entwickelt und umgesetzt werden, das folgende Aufgaben löst:
- Straßenschilddetektion
- Klassifikation der detektierten Schilder anhand eines Katalogs
- Extraktion der Schildgeometrie im Kamerabild
- Posenschätzung der Kamera anhand perspektivischer Transformation und bekannter Schildgeometrie aus katalogdaten
Implementierung
Zur Erfüllung der Aufgabe müssen verschiedene Algorithmen implementiert werden. Hierbei kann mit externen Bibliotheken (z.B. OpenCV, PCL) gearbeitet werden, die grundlegende Funktionalitäten, wie z.B. Featuredetektion oder Matrizenberechnungen, zur Verfügung stellen. Die Anbindung dieser Bibliotheken, sowie die restliche programmatische Umsetzung der Aufgabe sollen eigenständig in der Programmiersprache C++ und als Plugin der Simulationssoftware VEROSIM erfolgen.
Um alle entwickelten Komponenten über die Arbeit hinaus weiter verwenden und weiterentwickeln zu können sollen diese modular und austauschbar umgesetzt werden. Dazu gehört die Verwendung einheitlicher Schnittstellen, z.B. das in VEROSIM verwendeten Input/Output (IO) Konzept, zur Kommunikation zwischen den einzelnen Komponenten.
Stichworte: Computer Vision, Objekterkennung, Klassifizierung, Perspektivische Transformation, Posenschätzung
Betreuer: Sondermann
Weitere Arbeiten
MA: Automatisierung der Verhandlung von digitalen Nutzungsrechten durch Self-sovereign Digital Twins
