Inhaltszusammenfassung:
Die Erfassung sich bewegender Subjekte, wie Menschen und Tiere, außerhalb einer geschlossenen und kontrollierten Umgebung in einem Labor ist von Natur aus schwierig, da sich die Subjekte aus dem Sichtfeld und der Reichweite von ortsfesten und extrinsisch kalibrierten Kameras und Sensoren bewegen können. Bisherige, dem Stand der Technik entsprechende Methoden für eine solche Wahrnehmung im Freien verwenden Marker oder Sensoren am Subjekt, die sowohl invasiv als auch für tierische Subjekte nicht skalierbar sind. Um dieses Problem zu lösen, führen wir fliegende Roboterkameras ein, die den Subjekten autonom folgen. Um Funktionen wie Monitoring, Verhaltensanalyse oder Bewegungserfassung zu ermöglichen, ist ein einziger Blickwinkel aufgrund von Selbstausschluss, fehlender Tiefenwahrnehmung und Erfassung von allen Seiten oft nicht ausreichend. Daher schlagen wir ein Team aus derartigen Roboterkameras vor, die in Formation fliegen, um eine kontinuierliche Erfassung aus mehreren Blickwinkeln zu ermöglichen. Die Position des Subjekts muss mit markierungsfreien Fernerkundungsmethoden in Echtzeit bestimmt werden. Um dies zu bewerkstelligen, kombinieren wir einen Detektor, der auf einem neuronalen Faltungsnetzwerk basiert, um das Objekt zu erkennen, mit einer neuartigen kooperativen Bayes'schen Fusionsmethode, um das erkannte Objekt von mehreren Robotern aus zu verfolgen. Die Roboter müssen dann ihre eigene Flugbahn und Ausrichtung relativ zum Subjekt planen und regeln, um eine kontinuierliche Erfassung aus mehreren Blickwinkeln zu erreichen und beizubehalten. Hierfür verwenden wir eine auf modellprädiktiver Regelung basierende Methode zur Vorhersage und Planung der Bewegung jedes Roboters in der Formation um das Subjekt. Ein erster Demonstrator wurde mit Multirotor-Drohnen umgesetzt. Drohnen sind jedoch laut und für die beobachteten Subjekte potenziell gefährlich. Um dieses Problem zu lösen, führen wir nicht-holonome, autonome Luftschiffe (Blimps) als Roboter-Kamera-Plattform ein, welche leichter als Luft sind. Diese Art von Robotern erfordert dynamisch beschränkte Umlaufformationen, um eine omnidirektionale visuelle Abdeckung eines sich bewegenden Objekts auch bei Wind zu erreichen. Hierfür stellen wir einen neuartigen modellprädiktiven Formationsregler für ein Team von Luftschiffen vor. Wir demonstrieren und evaluieren unser komplettes System in Feldexperimenten mit Menschen und Wildtieren als Subjekten. Die gesammelten Daten ermöglichen sowohl Motion-Capture von Menschen im Freien als auch Verhaltensanalysen von Tieren. Des Weiteren schlagen wir unsere Methode zur autonomen Langzeitüberwachung von Wildtieren vor. Diese Dissertation befasst sich mit dem Entwurf und der Evaluierung von Flugrobotern, die für diese Aufgabe geeignet sind, einschließlich Computer Vision/Sensorik, Datenannotation und Netzwerktraining, Sensorfusion, Planung, Steuerung, Simulation und Modellierung.
Abstract:
Perceiving moving subjects, like humans and animals, outside an enclosed and controlled environment in a lab is inherently challenging, since subjects could move outside the view and range of cameras and sensors that are static and extrinsically calibrated. Previous state-of-the-art methods for such perception in outdoor scenarios use markers or sensors on the subject, which are both intrusive and unscalable for animal subjects. To address this problem, we introduce robotic flying cameras that autonomously follow the subjects. To enable functions such as monitoring, behaviour analysis or motion capture, a single point of view is often insufficient due to self-occlusion, lack of depth perception and coverage from all sides. Therefore, we propose a team of such robotic cameras that fly in formation to provide continuous coverage from multiple view-points. The position of the subject must be determined using markerless, remote sensing methods in real time. To solve this, we combine a convolutional neural network-based detector to detect the subject with a novel cooperative Bayesian fusion method to track the detected subject from multiple robots. The robots need to then plan and control their own flight path and orientation relative to the subject to achieve and maintain continuous coverage from multiple view-points. This, we address with a model-predictive-control-based method to predict and plan the motion of every robot in the formation around the subject. A preliminary demonstrator is implemented with multi-rotor drones. However, drones are noisy and potentially unsafe for the observed subjects. To address this, we introduce non-holonomic lighter-than-air autonomous airships (blimps) as the robotic camera platform. This type of robot requires dynamically constrained orbiting formations to achieve omnidirectional visual coverage of a moving subject in the presence of wind. Therefore, we introduce a novel model-predictive formation controller for a team of airships. We demonstrate and evaluate our complete system in field experiments involving both human and wild animals as subjects. The collected data enables both human outdoor motion capture and animal behaviour analysis. Additionally, we propose our method for autonomous long-term wildlife monitoring. This dissertation covers the design and evaluation of aerial robots suitable to this task, including computer vision/sensing, data annotation and network training, sensor fusion, planning, control, simulation, and modelling.
