konzeption u. erprobung eines missionsmanagers für den … · vision-based gnc and decision making...

Konzeption u. Erprobung eines Missionsmanagersfür den VTOL UAV Demonstrator ARTIS Prof. Dr.-Ing. Frank Thielecke DLR- Institut für Flugsystemtechnik, Abteilung SystemautomationLilienthalplatz 7, Braunschweig

Missionsmanager für den VTOL UAV Demonstrator ARTIS > Folie 2Prof. Dr. F. Thielecke > Abt. Systemautomation > Institut für Flugsystemtechnik

Gliederung

Die ARTIS Familie

Systemarchitektur für „mehr Autonomie“

Planung- und Entscheidungsmodule - Health Monitoring und Management- Hinderniserkennung und -vermeidung- On-board Routenplanung- Aufgabenplanung und -verteilung

Interface zur Interaktion und Kooperation

Zusammenfassung


Autonomous Rotorcraft Testbeds for Intelligent Systems

Vision-based GNC and Decision Making for an Unmanned Helicopter > Slide 3Prof. Dr. F. Thielecke >DLR-Institute of Flight Systems

ARTIS der nächstenGeneration?


Die VTOL UAV Demonstrator-Familie

maxiARTISmaxiARTIS

Rotorkreisdurchmesser: 3 mAbfluggewicht: 25 kgMotor: 1 Wellenleistungsturbine 5 kW4 kg Navigation und FlugregelungMax 6 kg experimentelle Nutzlast

Rotorkreisdurchmesser: 3 mAbfluggewicht: 25 kgMotor: 1 Wellenleistungsturbine 5 kW4 kg Navigation und FlugregelungMax 6 kg experimentelle Nutzlast

Rotorkreisdurchmesser: 1,9 mEigengewicht: 6 kgMotor: 1 Zylinder, 2 Takt, 15 cm³, 2 PS4 kg Navigation und Flugregelung2 kg experimentelle Nutzlast

Rotorkreisdurchmesser: 1,9 mEigengewicht: 6 kgMotor: 1 Zylinder, 2 Takt, 15 cm³, 2 PS4 kg Navigation und Flugregelung2 kg experimentelle Nutzlast

Rotorkreisdurchmesser: 54 cmEigengewicht: 370 gMotor: Elektromotor200 g Navigation und Flugregelung

50 g experimentelle Nutzlast

Rotorkreisdurchmesser: 54 cmEigengewicht: 370 gMotor: Elektromotor200 g Navigation und Flugregelung

50 g experimentelle Nutzlast

miniARTISminiARTIS

ARTISARTIS


Entwicklungs- und Testumgebung (SITL & HITL)

Windows XP

Bodenstationssoftware MAESTROUser Interface, Missionsplanung

GCS Computer

Sensor-daten

Zustands-schätzung

Steuer-signale

QNX Real-Time OS

Sensor-treiber

Navigations-filter

Flight Control Computer

Aktuator-treiber

FlugreglerTrajektorien-Planer

Telemetrie Kommandos

dSPACE

ARTIS FlugdynamikSimulationsmodel

Sensor-simulation

Aktuator-simulation

Real-Time Simulation Computer

Steuer-signale

Flug-zustand

Sensorsdaten Aktuatordaten


Mensch-Maschine-Interaktionfür hochautomatisierte Systeme

Planung

Entscheidung

Überwachung

Ausführung

Situations-erfassung

Planung

Überwachung

Ausführung

Situations-erfassung

OperatorUAV-System

Recognize - Act – Cycle

Supervisor


Welches Level-of-Automation brauchen wir?

0

4.5

1.5

Workload

Perfo

rman

ce

Low HighModerate

Good

Poor


Welches Level-of-Automation können wir zulassen?

Autonomer Bodenroboter mit Maschinengewehr…


Maschinelles Planungs- und Entscheidungssystem

Was ist Autonomie?- Wörterbuch ≈ “selbstbestimmt” oder“unabhängig”

Autonomie für UAVs:- maschinelle Entscheidungsfähigkeit, um ein Problem beim Betrieb zu lösen- minimaler Abhängigkeit von einer menschlichen Entscheidung - vorhersagbares Verhalten in einem unsicheren Umfeld

1 Regelungssystem

3 Missionsmanager(Plannung-Entscheidung)

Automatisch

Autonom

2 Führungssystem


High Level Systemarchitektur

UAV-Agent

Missionsmanager

Operator

Digitales 4D Weltmodel

Flugregler(Standard Modus)

AdaptionRekonfiguration

Sensorstatusund reaktive Kommandos

Sense & Avoid

Erkennung von Hindernissen

Fusion von Sensordaten

4D Missionsplanungund Überwachung

High LevelKommandos

Aufgabenplaner

Wegplaner

• Ressourcen • Kooperation• Kommunikation

Modul-Manager

Supervisory Control System

Verhaltenskommando & Sequenz

Ereignisbehandlung

Sequence Control System

• Verhaltensbausteine• Verhaltenssynthese

DirekteKommandos

Fernsteuerung

Low LevelKommandos

Benutzersequenzdes Verhaltens

Verhaltens-Sequenz

Health Management

Systemdiagnosis

Fehlererkennung


Verhaltenskomposition im Missionsmanager

Sequenzierung zum Missionsplan (Wegpunkte und Aufgaben)

vereinfachtes Beispiel: Transportmission

global time

t0

Take Off Fly To

t1 t2a

Hover

t3

Hover To Hover Fly To

t5 t6

Hover

t7

Land

Pick Up

t2b

Place

t4bt4a

Reglerkonfigurationen

Hover Fast FlightLanding/Take off

…

HoverTake off

Basisfähigkeiten (Verhaltensbausteine)

Hover To Fly To Pirouette …

ObjektsucheÜberwachung

Aufgabenspezifische Planer (Komponente des Missionsmanagers)

Erkundung Transport …

Erzeugung eines Missionsplans anhand abgelegter Verhaltenbausteine:


Sequencing behaviors into a plan (waypoints and tasks)

global time

t0

Take Off Fly To

t1

t2a

Hover

t3

Hover To Hover Fly To

t5

t6

Hover

t7

Land

Photo

t2b

Photo

t4b

t4a

Controller Configuration (Task IDs)

Hover Fast FlightLanding/Take off …

HoverTake off

Elementary capabilities (Behaviors)

Hover To Fly To Pirouette

…

SearchSurveillance

Task-specific Planner (Mission Manager component)

Explore Transport

…

Ablaufsteuerung

Zustandsautomat- Ausführen von Plänen

(z. B. Verhaltenssequenzen)- Eingebettete Automation mit

Zuständen und Übergängen- Interaktive Fernsteuerung

(Joystick Eingabe, Benutzer-generiert Verhaltenssequenzen)


Fern-steuerung


High Level System in Aktion


Modul zum Health Monitoring und Management

VTOL UAVARTIS

VTOL UAVARTIS

Ctrl1

Ctrl1

Ctrl2

Ctrl2

Regler-selektion

Act1

Act1

Act2

Act2

Aktuator-selektion

Sens1

Sens1

Sens2

Sens2

Sensor-selektion

Fehler-erkennung

Fehler-erkennung

RekonfigurationRekonfiguration

Missions-manager

Missions-manager


Beispiel: Kompensation von GPS-Ausfall

GPS Empfänger

ErweiterterKalman

Filter

Sonar

Magnetometer

PositionGeschwindigkeit

Magnetfeldvektor

Höhe

Lage

Geschwindigkeit

Position

Bias-Werte

SichtdatenRelative Position

IMU

BeschleunigungenDrehraten

Ausfall

Eingänge

Zielsetzung und LösungsansatzNavigation ohne GPSVerwendung von Sichtdaten zur Stabilisierung der IMU-Drift


Modul zur Hinderniserkennung


Passives Sense & Avoid mit Stereokamera

Stereokamera: Messen von EntfernungenBildgestützte Erkennung von Hindernisobjekten und freien Bereichen

Erstellung von Hinderniskarten on-board + in EchtzeitIntelligente Planung von Ausweichmöglichkeiten


Umwelterfassung mit Tiefenbildern

Vorgehen:- Extraktion von 3D-Informationen aus Tiefenbildern- Fusion von Bildsequenzen + Navigationsinformationen zu Rasterkarte- Extraktion von Objekten- Erstellung/Aktualisierung einer 3D-Karte

Rasterkarte (Rohdaten) nur in aktueller Umgebung nötigObjektkarte global + georeferenziertAnwendung: Pfadplanung, Kollisionsvermeidung

DatenfusionBildaufnahme Interpretation Objektextraktion Globale Karte


Beispiel für on-board Bildverarbeitung


Modul zur 3D Routenplanung mit PRM


Grundlagen des PRM Verfahrens

Schritt 1: Probabilistic Roadmap erzeugen- Wahl von 3D Zufallspunkten im freien Bereich des Einsatzgebietes- Benachbarte Wegpunkte werden mit einem kollisionsfreien Weg verbunden - Die resultierende Struktur ist ein Graph, der als Probabilistic Roadmap (PRM)

bezeichnet wird. Die Knoten sind die Zufallspunkte und die Kanten beschreiben kollisionsfreie Routen

Schritt 2: Roadmap durchsuchen (Graph)- Anwendung von Graphen-Suchalgorithmen (Dijkstra, A*)- Bewährte Grundlage für schnelle Routenplanung - Mehrfache Suchen in einem gespeicherten Graphen sind möglich,

so dass der Schritt 1 nicht wiederholt werden muss.

Schritt 3: Glättung der gefundenen Route- Entfernen von Wegpunkten, wenn es zwischen den Nachbarpunkten eine

kollisionsfreie Direktverbindung gibt. - Glättung mit Splines niedriger Ordnung


PRM Routenplanung für urbane Szenarien

Behandlung von schmalen Durchgängen- Zufallsgesteuerte Verfahren können versagen oder ineffizient werden,

wenn keine Punkte innerhalb von schmalen Passagen gefunden werden.- Durch den sogenannten Brückentest werden Zusatzpunkte in diesen Bereichen

eingefügt.


Beispielergebnisse der 3D Routenplannung

PRM average building runtime (1000 samples): 1.8sGraph search average runtime: 48 ms, Smoothing runtime: 9 msTop: planned path (orange) and smoothed one (red). Bottom: underlying PRM


Modul für die Aufgaben-Planung und Verteilung

Anzahl der Agenten:

Anzahl der Aufgaben:

Anzahl der möglichen Lösungen: ( )( )!1n

!1nnNa

ta

−−+=

an

tn

UAV 1 UAV 2

Task


Multi-UAV Aufgabenzuordnung und Verteilung

Vereinerung

AufgabenZuordnung

Aufgabenteilung

Missionsablauf(Gruppenpläne)

Multi-Agenten-Mission

Eingang

Ergebnisse des Planers

Agent 1

Agent 2

Agent n

T11 T12 T1k

T21 T22 T2l

Tn1 Tn2 Tnp

Schnelle Berechnung1.4s für 3 Agentenmit 20 Aufgaben

Aufgaben

Suchaufgabe 1

Suchaufgabe 2

Mosaiking 1Live Video 1

Gruppe der UAVs

Agent 1

Agent 2

Agent 3Agent 4


Formulierung als Optimierungsproblem

Start 1

Ende 1

Start 3

Ende 3

b

c

d

Repräsentation: s = (b,~,~,c,a,~,d)

a

Start 2

Ende 2

Ende 4

Start 4

( ) ( )∑=

=an

1k

4jkj LsH

Zielfunktion:

Ljk – Pfadlänge des k-ten UAVs für Lösung sj

Lösung mit globalen Suchstrategien wie z.B. genetische Algorithmen

Mutation und Cross-Over:


Beispiel für Multi-UAV Aufgabenplanung

Artis 1

Artis 2

Artis 3

Search task En-route Waypoint-based task

Timeline display

Shared task(Two UAV’s)

Search Task

Take Photos


Bodenstation: Integrierte Module für Interaktion

Berechnung von optimalen Mustern für Suchbereiche

Statusmonitorfür Avionik

Interaktive2D und 3D

Visualisierung

Kartenbasis(z.B. Luftbilder, SRTM) Berücksichtigung von

Hindernissen und Sperrgebieten

Eingabe vonWegpunkten

Automatische Routenplanung

(z.B. kürzester Weg)

Monitoring der Flugdurchführung

Status-meldungen


Haptisches multi-modales Interaktionskonzept

Side Sticks „Stirling Dynamics“- Aktiver Side Stick

mit anpassbarer Kraftrückmeldung- Haptische Interaktion mit dem UAV

und Sensor-/Kamerasystem- Unterstützung von Easy Handling

Voice Input- Spracherkennung zur Befehlseingabe- Definition einer situations- und

problemspezifischen Syntax

Displays “iObjects”- Visualisierung und

Anzeigeinstrumente- Neue Displays für das Automations-

und Situationsbewusstsein


Manned-Unmanned Teaming mit FHS & ARTIS

ARDEC (ARTIS Data Exchange Computer)ARDEC (ARTIS Data Exchange Computer)

3D Visual. Engine3D Visual. Engine 3D Visual. Engine3D Visual. EngineInstrument DisplayInstrument Display

Interface für weitereverteilte SimulationenInterface für weitere

verteilte Simulationen

Darstellung

Datenaustausch

ARTIS HITL RT-Simulation

ARTIS HITL RT-Simulation

FHS HITL RT-Simulation

FHS HITL RT-Simulation

Flugsystem-simulation


ZusammenfassungARTIS Familie

Architektur für „mehr Autonomie“

Health Monitoring und Management

Automatische Hinderniserkennung

3D Routenplanung

Aufgabenverteilung

Haptisches Interaktionskonzept


WP3

Agent1

Agent2

SearchArea1

Base

WP1

WP2

Agent 1Agent 2UAV-Agent

MissionsmanagerDigitales 4D Weltmodel

Flugregler(Standard Modus)

AdaptionRekonfiguration

Sensorstatus

und reaktive Kommandos

Sense & Avoid

Erkennung von

Hindernissen

Fusion von Sensordaten

Aufgabenplaner

Wegplaner

• Ressourcen • Kooperation• Kommunikation

Modul-Manager

Supervisory Control System

Verhaltenskommando & Sequenz

Ereignisbehandlung


• Verhaltensbausteine• Verhaltenssynthese

DirekteKommandos

Verhaltens-Sequenz

Health Manage

mentSystemdiagnosis

Fehlererkennung

konzeption u. erprobung eines missionsmanagers für den … · vision-based gnc and decision making...

Documents