LEARNING IN ADAPTIVE SYSTEMS

2.153 Lecture 5, Fall 2019 1

Adaptive Control

Parameter estimate

Model Structure

On‐line information

Control input The design of a self‐tuning controller in the presence of  parametric uncertainties

Learning in Adaptive Systems

Adaptive Estimation

Parameter estimate

Model Structure

On‐line information

State estimate Generate real‐time estimates of parameters and states using on‐line data

2.153 Lecture 5, Fall 2019 2

Learning ≡Parameter Estimation in Real‐time

: parameter, unknown

, , : state, output, input

Problem Statement – Adaptive Estimation

Goal: Find  , so that  → , → Γ

: state error

: parameter estimate 

Adaptive Estimator Parameter estimate

Model Structure

On‐line information

State estimate

Plant(Dynamic System)

, ,

2.153 Lecture 5, Fall 2019 3

: parameter, unknown

, , : state, output, input

: real‐time data

Problem Statement – Adaptive Control

Goal: Find  , , so that regulation and tracking occur

: tracking error

c: control parameter estimate 

Adaptive Control Parameter estimate

Model Structure

On‐line information

Control input

Plant(Dynamic System)

2.153 Lecture 5, Fall 2019

+

4

Error Models  ‐ Two types of errors

• : Performance error    (ex.  ; o can be measured, needs to be reduced

• : Parameter error        (ex. o Unknown, can be adjusted    – Learning Rule

Goal: Determine error models and learning rules 2.153 Lecture 5, Fall 2019

Error ModelPerformance errorReal‐time data

Adaptive Estimation

Parameter estimate

Model Structure

On-line information

State estimate

Adaptive Control

Parameter estimate

Model Structure

On-line information

Control input

5

Typical Error Models

Goal: Find learning rules for adjusting  so that high performance and learning are achieved

: tracking error,  ∗

Adaptive Control Parameter estimate

Model Structure

On‐line information

Control input

Plant(Dynamic System)

Error Model 1:    : system data

Error Model 3:    : Dynamic operator

2.153 Lecture 5, Fall 2019 6

Error Model 1 

2.153 Lecture 5, Fall 2019

2 2 2 07

Build an estimator: Parameter error:

Performance error:

Error Model:

Simplest Gradient Descent

Stability Framework:

System Model:

• Can be extended to higher order systems (in a later lecture)• Class of  strictly positive real

⇒ and  have same sign most of the time

• , But the adaptive law still works

• If  is not strictly positive real, this will not work

Error Model 3

2.153 Lecture 5, Fall 2019 8

′

0

1

⇒ 12

Stability Framework

Goal: Find learning rules for adjusting  so that 

• Performance and Learning are conflicting objectives

• Effect of imperfect learning on performance has to be accommodated.

• Use a stability framework

2.153 Lecture 5, Fall 2019 9

Performance errorReal‐time data

Distinctions: Gradient‐descent leads to instability!

2.153 Lecture 5, Fall 2019

2 2∗→Instability

2 0(for a class of  )

Stable adaptive law

10

Performance errorReal‐time data

* HP Whitaker, An Adaptive System for Control of the Dynamics Performances of Aircraft and Spacecraft, Inst Aeronautical Services, 1959  ‐ MIT Rule

Guarantees with Imperfect Learning

2.153 Lecture 5, Fall 2019

Stable Subspace Unstable Subspace∗

Adaptive Control

∆

Adaptive, 

With

Open Loop Unstable Short Period Dynamics

ControllerLearningdata

∆

Performance goal:Adaptive Controller

Imperfect learning, yet safe performance

11

MACHINE LEARNING

2.153 Lecture 5, Fall 2019 12

Machine LearningThe ability of a computer to learn using on‐line data• Significant success in image & speech recognition, games• By and large a classification/pattern‐recognition tool

Standard Methods• Linear Regression• Logistic Regression• Multi‐layered Neural Networks• Support‐Vector Machines

Typical learning methods:• Supervised learning• Unsupervised learning• Reinforcement learning

2.153 Lecture 5, Fall 2019 13

Neural Networks: A popular learning methodology

A bit of history• Proposed in 1944 by McCullough and Pitts• Controversy in the ‘70s: Multilayered Perceptrons, Minsky and Papert

• Resurgence in the 1980s• A re‐resurgence in the 21st century – fast processing power of graphics

2.153 Lecture 5, Fall 2019 14

(from MIT News)

Fundamentals of ML/Neural Networks

Universal Approximation Theorem

(From YouTube, Why do Nnets work?)

Neural Network

∗ ∗

∗(One hidden layer) . : activation function

2.153 Lecture 5, Fall 2019 15

Activation functions

2.153 Lecture 5, Fall 2019

(from Wikipedia)

16

Typical Examples

(1)  : demographic/employment related variable: income above or below $50

(2)  : 15,000 nouns, 500 images from the web: ranking based on # occurrences

(3)  : 800,000 text articles: classify into 4 categories

(4)  : pixel images: classify into one of 10 digits  0,… , 9

2.153 Lecture 5, Fall 2019 17

Deep Learning: Increased layers

2.153 Lecture 5, Fall 2019 18

(adapted from P. Khargonekar, ACC Workshop on Machine Learning, 2018)