Bachelor-/Masterarbeit: Moderne Bild- und Videokodierungsmethoden als Basis für Videostreaming in VR-Applikationen
Während der letzten Jahre haben Fortschritte in der Entwicklung von digitalen Bildsensoren, Grafikkarten und Displays zu immer schneller steigenden Auflösungen und Bildwiederholraten geführt. Die Folge ist eine rasant wachsende Datenrate, die in immer kürzer werdenden Zeitschritten verarbeitet werden muss. Gleichzeitig haben schnellere Internetverbindungen sowie Weiterentwicklungen bei Kompressionsalgorithmen Echtzeit-Videostreaming ermöglicht, das heutzutage allgegenwertig ist. Ein aktueller Trend ist das Streaming von Computerspielen, z.B. in Form von Twitch, Steam Broadcasting und In-Home-Streaming, sowie NVIDIA Cloud Gaming. Eine zentrale Rolle bei dieser Entwicklung spielt hardwarebeschleunigte Videokodierung.
Ziel dieser Bachelor- oder Masterarbeit ist es, zunächst eine Recherche zum aktuellen Stand der Technik durchzuführen. Danach sollen die Anforderungen an Bild- und Videodatenverarbeitung untersucht werden, die in 3D-Simulationssystemen und VR-Anwendungen gelten: Manche Kamerabilder oder Sensordaten etwa dürfen nur verlustfrei übertragen werden, während der Livestream einer 3D-Renderszene durchaus verlustbehaftet komprimiert werden kann. Weiterhin sollen Benchmarks durchgeführt werden, welche Algorithmen sich für bestimmte Szenarien eignen. Es kann z.B. notwendig sein, wahlfreien Zugriff auf Einzelbilder zu ermöglichen. Schließlich soll ein auf existierenden Algorithmen oder Bibliotheken basierender Lösungsansatz für die ermittelten Anforderungen entwickelt werden.
Es steht eine C++-Schnittstelle für ein am MMI eingesetztes 3D-Simulations- und Virtual-Reality-Framework zur Verfügung; eine Anbindung an die Bibliothek „OpenCV“ besteht bereits. Zur Entwicklung eines Video-Streaming-Prototyps bietet es sich an, Technologien wie z.B. DirectX Video Acceleration, NVIDIA NVENC, Intel Quick Sync Video oder die Video Acceleration API zu untersuchen.
Stichworte: Bildkompression, Videokompression, Streaming, Videostreaming, VR, OpenCV, C++, DXVA, NVENC, VA API
Betreuer: Atorf
Weitere Arbeiten
MA: Automatisierung der Verhandlung von digitalen Nutzungsrechten durch Self-sovereign Digital Twins
