Simulation-based Augmented Reality for Unmanned Aerial Systems

Master Thesis: Simulation-based Augmented Reality for Unmanned Aerial Systems

Possible structure for the technical realisation of the thesis

Unmanned aerial systems (UAS, aka “drones”) are becoming increasingly affordable, improving in functionality and quality, and are becoming more and more popular for both private and commercial users. They are utilized in a variety of applications ranging from amateur aerial photography to the distribution of crop protection agents in agriculture.

In manual flight manoeuvres, a typical difficulty at high distances to the UAS is the intuitive determination of its orientation in the air. On the other hand, automated flights (“autopilot”) for professional missions are often planned in advance but still require dynamic adjustments on-site, which should most intuitively be performed spatially in the environment and not only on two-dimensional maps. In addition, it is not always easy to estimate the field of view of the camera image when looking at the UAS.

These and other problems can potentially be solved by augmented reality, another rapidly developing technology. In this case, additional information would be superimposed on the user’s field of vision, which – in the application described here – would enable the user to intuitively grasp the UAS’s status information. Such a system can also provide the user with additional processed data such as terrain models or airspace information.

Task description

In this work, a small drone should be connected to a simulation system based on the scenario “photogrammetry flights” and the simulation system should be extended by the required components. This simulation system furthermore provides the basis for mission planning and communication between the drone and AR hardware (e.g. an ARCore-enabled smartphone or the Microsoft HoloLens 2). It also allows the integration of geodata and the use of simulation algorithms, for example, to determine additional information.

Among others, the work can investigate the following questions: Does the camera and GPS-based localization of UAS available on the broad market allow a reasonable pose visualization in AR? What procedures are necessary/suitable to implement the calibration/registration of the coordinate systems of the drone and the AR hardware? Does AR-based visualization offer subjective advantages over common approaches?

Keywords: Drones, Unmanned Aerial Systems, Augmented Reality, Photogrammetry, Data Visualisation

 

Supervisor: Atanasyan

Weitere Arbeiten

Application of Linear-Time Variational Integrators in Experimenti-ble Digital Twins

MA: Anwendung von Linearzeit-Variationsintegratoren in experimentierbaren digitalen Zwillingen

Diese Masterarbeit untersucht die Anwendung von Linearzeit-Variationsintegratoren in experimentierbaren digitalen...
handshake-4040911_1280

MA: Development of a Digital Twin-based concept for negotiating usage rights for data and services

Master thesis: With the Industry 4.0 (I4.0) initiative, actors of...

BA: Process Modeling of Digital Twins based on the Asset Administration Shell (AAS)

With the Industry 4.0 initiative, actors of complex systems are...

Master Thesis: Simulation based development of cooperative SLAM algorithms

Description Cooperative Simultaneous Localization and Mapping (SLAM) algorithms have garnered...
handshake-4040911_1280

MA: Automatisierung der Verhandlung von digitalen Nutzungsrechten durch Self-sovereign Digital Twins

Masterarbeit: Heutzutage wird eine Vielzahl von Daten generiert und in...

Identitätsmodelle zur inter-twin Vernetzung von Digitalen Zwillingen

BA/MA: Identitätsmodelle zur inter-twin Vernetzung von Digitalen Zwillingen Ein sicherer...
Die-NoSQL-Graphdatenbank-Neo4j-in-der-3D-Simulation

Modellierung, Simulation und Regelung hydraulischer Systeme zur Realisierung Experimentierbarer Digitaler Zwillinge

Ein Experimentierbarer Digitaler Zwilling (EDZ) ist eine virtuelle digitale 1-zu-1-Repräsentation...
rover

Federated Reinforcement Learning in Distributed Virtual Testbeds

One of the issues in reinforcement learning (RL) is generalization...
iteration_1_uniform

Probabilistic Programming Languages for Scenario Behavior Description

Probabilistic Programming Languages (PPL) combine the representational capability of programming...
halifax_sensors

AI-based Vehicle Driver for Urban Traffic Scenarios

Realistic simulation of urban landscapes, vehicle dynamics, sensors and traffic...
Grafik2

Integration agentenbasierter Simulation in traditionelle Methoden der Montageplanung

Klein- und mittelständische Unternehmen im produzierenden Gewerbe sind zumeist auf...
Grafik1

Evaluation der Modellierung und Anwendung agentenbasierter Simulation in der Montage

Klein- und mittelständische Unternehmen im produzierenden Gewerbe sind zumeist auf...
Abschlussarbeit.drawio

Development of a framework to extend access control models with semantic layers in IoT

With the rapid advancement of digital technologies and sophisticated analytical...
Mobile_LIDAR_Forest

Path planning for mobile LiDAR in outdoor environments

Bachelorarbeit: Path planning for mobile LiDAR in outdoor environments Als...
off-highway-twins-2

Entwicklung und Implementierung eines Octree basierten SLAM Algorithmus

Punktwolken, ob durch Laserscanner oder durch kamerabasierter 3D Rekonstruktion erzeugt,...
Thumb_AudiPlusInfo2

Automatisierte Dokumentation Digitaler Zwillinge

Automatisierte Dokumentation Digitaler Zwillinge
Thumb_RobCellActions2

Architektur zur generischen Beschreibung von Szenarioverhalten

Architektur zur generischen Beschreibung von Szenarioverhalten
ReconCell2

Generierung von Systemkonzepten durch generative KI

Generative KI-Verfahren wie z.B. umgesetzt durch ChatGPT sind aktuell in...
ABS

Co-Modellierung Ereignisdiskreter Systeme auf Grundlage Experimentierbarer Digitaler Zwillinge

Im Rahmen dieser Arbeit soll das Konzept Experimentierbarer Digitaler Zwillinge...
Kinematischer Baum

Modellierung und Simulation kinematischer Bäume mittels Experimentierbarer Digitaler Zwillinge

Im Rahmen der Modellierung von Kinematiken werden Gelenkkörper modelliert und...

Digital Twins-Based Predictive Maintenance for Forestry Machinery

BA/MA: Digital Twins-Based Predictive Maintenance for Forestry Machinery Today’s forestry...
Bild1

Model-Driven Engineering für Industrie 4.0-Verwaltungsschalen

Ein grundlegendes Konzept von Industrie 4.0 ist die Vernetzung aller...
Bild1

BA/MA: Entwicklung einer Code-to-Data-Komponente zur Auswertung von Harvester-Produktionsdaten

Bachelor-/Masterarbeit: Der Begriff IoT ist in der Industrie heutzutage nicht...

Generate an expert system from a digital twin

Master / Bachelor thesis: Generate a knowledge base from the...

Swarm algorithm for the adjustment of a textile machine

Master / Bachelor thesis: Swarm algorithm for the adjustment of...

Virtual TwinCAT sensors

Master / Bachelor thesis: Virtual TwinCAT sensors EtherCAT is an...

Visualisation of the knowledge base

Master / Bachelor thesis: Visualisation of the knowledge base Expert...
figure_scenarios_citycar

Simulation based Falsification of Deep Neural Networks

Deep neural networks (DNN) have played a key role in...
S3I-Logo

Ensuring the scalability of a multi-domain IoT networking infrastructure using Microsoft Azure

Decentralization and networking of independent “things” is a current trend...
S3I-Logo

BA/MA: Decentral Authentication and Authorization of Digital Twins within an IoT infrastructure based on GAIA-X

Technical systems are continuously evolving into more complex cyber-physical systems...
wot-1586897417222

Entwicklung und Umsetzung eines Konzepts zur Integration von W3C Web of Things in eine IoT-Infrastruktur

Bachelor-/Masterarbeit Bei klassischen IoT-Projekten sind Entwickler in der Regel mit...
hololens

Simulation-based Augmented Reality for Unmanned Aerial Systems

In this work, a small drone should be connected to...
S3I_LoRa_Icon

Entwicklung und Umsetzung eines Konzepts der Authentifikation und Autorisierung im Ressourcen-beschränkten IoT

Bachelor-/Masterarbeit Mit der stetig zunehmenden Anzahl an die vernetzten Geräte,...
ifc2

Proaktiver Digitaler Zwilling des Walds

Ein proaktiver Digitaler Zwilling des Walds als Dreh- und Angelpunkt.
ifc2

Datenmodellierung von Wald und Holz 4.0-Dingen

Die Modellierung der "Dinge" ist ein wichtiger Aspekt in Wald...
S3I-Logo

Smart system communication between Digital Twins based on GAIA-X

In this thesis, the GAIA-X approach of "federated services" shall...
lbrInsertion

KI-basierte Simulation dynamischer Systeme

Masterarbeit: Realisierung und Bewertung von KI-basierte und KI-gestützten Verfahren zur Simulation...
msedge_SMRi2X6LlV

Entwicklung und Implementierung einer Anbindung für eine visuelle Programmierumgebung an eine 3D Simulation

Simulationen finden immer häufiger Anwendung in industriellen Entwicklungsprozessen. Da hierfür...
v2i

Integrating Network Simulation into a Multi-Domain Simulation Framework

Bachelor-/Masterarbeit: Integrating Network Simulation in a Multi-Domain Simulation Framework The...
v2i

Integration of Wireless Communication Simulation into a 3D Simulation Framework

Master Thesis: Integration of Wireless Communication Simulation in a 3D...
iSAT1_Specification1b

Automatisierte Generierung von Simulationsszenarien auf Basis formaler Modellspezifikationen

Vergleich und Bewertung von Qualitätskennzahlen aus verschiedenen Anwendungsbereichen
ifc2

Methoden zur automatisierten Verifikation und Validierung numerischer Simulationsmodelle

Methoden zur automatisierten Verifikation und Validierung numerischer Simulationsmodelle
ifc2

Vergleich und Bewertung von Qualitätskennzahlen aus verschiedenen Anwendungsbereichen

Vergleich und Bewertung von Qualitätskennzahlen aus verschiedenen Anwendungsbereichen
ifc2

Synchronisation von parallel simulierten Experimentierbaren Digitalen Zwillingen in Virtuellen Testbeds

Entwicklung eines räumlichen Partitionierungsschemas zur parallelen Simulation.
UnfelledTrees_2

Platzierung von Haltepunkten in einem Wegenetz

Automatisch generierte Wegenetze spielen eine wichtige Rolle bei der Simulation...
Schnittvolumen_2

Berechnung und Auflösung von Kontakten zwischen beliebigen Polyedern

Moderne "Game Engines" haben hinsichtlich der eingesetzten Methoden sowie der...
hololens

Simulationsgestützte AR-Applikationen mit der Microsoft HoloLens

Moderne "Game Engines" haben hinsichtlich der eingesetzten Methoden sowie der...

Entwurf und Realisierung eines Datenmanagement Systems für eine spezialgefertigte Anwendung eines bestehenden Simulationssystems.

Entwurf und Realisierung eines Datenmanagement Systems für eine spezialgefertigte Anwendung...
incidentRadiantPowerThumbnail

Simulations-basierte Bestimmung der auf erdnahen Satelliten eingehenden Albedo- und Infrarot-Strahlungsleistung

Simulations-basierte Bestimmung der auf erdnahen Satelliten eingehenden Albedo- und Infrarot-Strahlungsleistung.
U-3-4-Holzerntekostenrechnung-640x480

Game Engines in der Simulationstechnik

Moderne "Game Engines" haben hinsichtlich der eingesetzten Methoden sowie der...

Simulation kommunizierender Systeme

Die Nutzung von Simulationen im Engineering beginnt typischerweise mit der...
W-6-3-DesktopVirtuellesTestbed-640x480

3D-Simulationstechnik in Web-Architekturen

Die Nutzung von Simulationen ist aktuell im Wesentlichen Desktop-Applikationen vorbehalten....
ramdb

In-Memory Datenbankmanagementsysteme in der 3D-Simulation

In-Memory Datenbankmanagementsysteme für die verteilte Verwaltung und Bereitstellung von Modellen...
ifc2

STEP (ISO 10303) als Austauschformat für die 3D-Simulation

Für die 3D-Simulation stellt das STEP-Format ein wichtiges Mittel zum...
FESTO

Soft Robotics Simulation

Modellbildung und Simulation weicher Körper innerhalb einer vohandenen Starrkörper-VR-Simulation
BMW1600Gt

Modellbildung: Reifen

Integration eines geeigneten, erweiterbaren Reifenmodells in ein bestehendes Mehrkörpersimulations-Frameworks zur...

Objektrelationales Mapping in der 3D-Simulation

Nutzung von Techniken zur Abbildung von objekt-orientierten Strukturen auf relationale...