ljung, system identification: second edition, 1999

119
. Ljung, System Identification: Theory for the User Second Edition, 1999. 93

Upload: others

Post on 13-May-2022

4 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Ljung, System Identification: Second Edition, 1999

�����

��

�����

���

� ���

� � ��

���

��� �

��� �

��� ��

�� �

��� �

�.

Lj

ung,

Sys

tem

Iden

tific

atio

n: T

heor

y fo

r th

e U

ser

Seco

nd E

ditio

n, 1

999.

�����

��

��

�����

93

Page 2: Ljung, System Identification: Second Edition, 1999

����

1.

Ljun

g, S

yste

m id

entif

icat

ion,

199

9.

2.N

elle

s, N

onlin

ear s

yste

m id

entif

icat

ion,

200

1 3.

Iser

man

n, F

ault-

Dia

gnos

is S

yste

ms,

2006

Contents�

1.In

trodu

ctio

n 2.

Impu

lse

resp

onse

and

spec

trum

3.

Non

para

met

ric S

I: Im

puls

e re

spon

se a

nd sp

ectru

m

4.Pr

edic

tion

5.Pr

edic

tion

mod

els:

LR

, PLR

6.

Para

met

er e

stim

atio

n: O

ptim

izat

ion

algo

rithm

s 7.

Estim

atio

n qu

ality

: Var

ianc

e of

pre

dict

ion

erro

r and

par

amet

ers

8.O

ptim

izat

ion

com

puta

tion

algo

ritm

s: B

atch

, Ite

rativ

e an

d R

ecur

sive

9.

SI p

aram

eter

s: in

put,

prep

roce

ssin

g an

d L,

Sam

plin

g fr

eque

ncy,

and

10.S

I par

amet

ers:

Mod

el se

lect

ion

and

valid

atio

n, c

lose

d lo

op, e

xper

imen

tal p

ract

ice.

11

.Non

linea

r sys

tem

iden

tific

atio

n: N

N

12.N

onlin

ear s

yste

m id

entif

icat

ion:

Wav

elet

, Fuz

zy, A

NFI

S 13

.Fau

lt de

tect

ion

and

diag

nosi

s

Page 3: Ljung, System Identification: Second Edition, 1999

1��

��

���

���

Ljun

g ch

apte

r 1

1-1�

����

���

��

���

��� �

��

��� �!

�� "

�� #$

��%&�

'��

�� (

���)

� ��*

�+"l

aws o

f nat

ure"

"

��.

�,! "

,�� �

-�� #

$��%&�

/�

� 0�%

�12 3

���

4 �

�� 5�

�*

!�6+ #

�����

�$�&1

� 3��

� �! �

. ��

$�

�%&�

�!�!

�-+� �!

��

���� �

�����

"Ex

perim

enta

l dat

a"

� �

� �

7�61�

'���

����

"Sy

stem

iden

tific

atio

n"

��

� ��

�� .

���!�

,�! �8

��6�

�$

�����

����

!��

“Mod

elin

g”

"��

. &1�

� 54

��+ �

� �

��

��� �9

12 4

/��

#��%&

� �!

���4 #

��1 #

�����

�� .

�� "

,��:�

�,912 �

;!�� �

� �

"use

fuln

ess"

#��

�!Tr

ue sy

stem

"

�� .

����

: #�

�0)� "

<� �0

�� $� #

� �8��

6� '

����

- �>

&,-

��,��

,?<

�� @

&,: �

,! �,�

",�

� #��0

,)� 7�

1&1�

�� �

� ��

)�����

�.

��"

�" :

"��

���A

B���

8 ��C�

+ "D+

'��

�� .

# 4�

4 E

2 ��&,

F� �,�

"��

���A

B��8

4 #�,�

� ��$�

&,1� B

,!�� �+&

8�� B

!�� '

�G�+

"��

. #$

�%�

: di

stur

banc

e

"��

1 ���

� E2 @

HI E

�-�� �

� "��

#� ��

���A

�1 # 4�

4 .

�$�&1�

B!��

"��

�-��

JK�

A� �

� �&

4�A �

E2 �

�C�+ ��

�+ � &

��! #

���.

%��

"�:

���

��H�

� �

�C�+ L

��A M

�D� �

! �A

�!�1

�! '�

.,

�4�A

�,�

� #

��� �$

�&1� �

� ��K

8 ���

��C�+

"��

.

�#�

&�

����

�'% (

���) *

����

Hea

ted

Hou

se-

Exa

mpl

e 1.

1 A

Sol

ar

�� �

'

����

sola

r pan

el

4 �

�� �

&���

�A $�

�� ����

�!��:

��

� B

F��� E

2 BA�

#.

N�O

1 7�

,� #�

�,: �!

��he

at s

tora

ge

&��

� BF��

"��

1 � 4

N�O

M��+

�&�

J����

5��?

! #Q�1

� ��

� ,

� B,F�

�� R�

,+� �,!

��

�$

B-�

S!�;

�.

���

�����

��

- +�

�,�

- �.

�� /�

024��

- ��

��� ��

��

1-2

N

�O "

8�� '

����

�� �

2

N�O

"8��

4 �!

U&��

��A V

!�+ U#

4�4

1 �,

�� �

, R�

,+� 5�

��,I

���

4 JK�

A� 5

���I

heat

sto

rage

&�

��:

�4�A

. 5

���,I

�,��

4 &�

���A

V!�+

5&�

B-�

heat

sto

rage

�!

,� �,�

, & �$

�! ( #

��! ��

�� "

�WX+

50 #

�� �!

�1��1

��O

�! �

8��10

&:

� E��

1 �� #

� �F��

.

#�&�

:"��

'% '5

� +� "�

67�

)

long

itudi

nal (

forw

ard)

mot

ion

�In

puts

: Gas

ped

al p

ositi

on, g

ear,

brak

e pe

dal p

ositi

on.

�O

utpu

t: V

eloc

ity.

Page 4: Ljung, System Identification: Second Edition, 1999

���

�����

��

- +�

�,�

- �.

�� /�

024��

- ��

��� ��

��

1-3

�D

istu

rban

ce: F

rictio

n w

ith v

aryi

ng ro

ad su

rfac

es

�#�

&� :

+7 (

��� �

"���

��7 �

� ����

� �� �

� +8

;

�In

puts

: DC

vol

tage

s on

the

link

and

end-

effe

ctor

mot

ors.

�O

utpu

ts: T

he p

ositi

ons o

f the

link

s and

of t

he e

nd-e

ffec

tor.

�D

istu

rban

ces:

Mas

s of t

he p

icke

d-up

obj

ect (

load

), fr

ictio

n.

�#�

&� :

67�

)ro

ll

�<��

�'.E

xam

ple

1.2

A M

ilita

ry A

ircr

aft

�In

put:

Aile

ron

defle

ctio

n an

gle.

Out

put:

Airc

raft

roll

angl

e.

�D

istu

rban

ces:

Win

d, in

puts

from

oth

er c

ontro

l sur

face

s, et

c.

�#�

&� :

('=

��!'�

e 1.

3 Sp

eech

Exa

mpl

&�

��: 5

�* &�

%�+ B

���8 \

% 4 E

�: #

�]) U

+�* #

�:��+ U

�� #

��: ��

�) .

'��

�� �

� �

O

utpu

t: o

f thi

s sys

tem

is so

und

vibr

atio

n (i.

e., t

he a

ir pr

essu

re),

In

put

M�

�+ ��

\% 4

E�!$

"��

I UE

�: #

�]) #

��� B

-� U

+�*��+

E��

�1 ���

� B

��� '

����

�� #

�� 44

� &1

��

� � �*

0^�

4&�

���1 #

��� �$

�&1� B

!��

&��

�T

ime

seri

es:

&�

��

� 1��$

#��

�� U�

1�>��

#���

����

�4

�A �!

. #

�?���

B_��

� � E

2 �>

#��%

�X� �

� �

")�

.

���

�����

��

- +�

�,�

- �.

�� /�

024��

- ��

��� ��

��

1-4

1-2�.�

����7

:

��

�!���

�$ �

��� �

b�A

��;!

��

��� 4

7�8 ��

;! #$

��%&�

1 :

Con

trol

des

ign

:

���+ &

�� ��

��+ ��

%���

� @�&:

� &1���

! �� �

%����

I��c

#��!

plan

t

V,<

! B��&

,I �

��

#$��

%&� &

�! E2

�� 1

. ,�

�&,�O

��,��

! ",��

:� "

,�� �

,�^��

'���

� ���

M��

� �

�4 d�

/�� �

� &,

��

. $�$�

��4 ��

"��

E2 J

���� �

���$ �

'��

5�8�/

��

?"�,�

#��

�7

J�,�

�� #�

�,! 0,

�1 W�

F+ J&

�-

�� �

�����

&��

� "��

2:Pr

edic

tion

:

�&1��!

U3��!

UR�!

@�?�

&�1��

5e�D

+ ��!

V�O

)

1�,�$ #

�,: #

��Ti

me

serie

s (

�,1��

1"

�� #$

��%&�

�!���

$� #�

>

� :

3 : S

yste

m (r

e) d

esig

n :

��

��� �

�G��

�! �

��W+ 4

h�

( �

��)�

'���

(mac

hine

lear

ning

)

$�,! �

�+

'��

��

I��c

)#$

��

i� (

���

���� �

����

� ���

. 4 :

#��

*��

���'

4 �� #

��0�

J�

�>��

$� 0�

1 @HI

#��!

��j�)

I��c

��G�

� �!

5 :

Sim

ulat

ion

: ��

G�� �

! '��

��

�����

$� �,�

�� �,

�0: �

,! ���

�! #�:0

�%�12 7

�61� 4

�+��i

��� #

4� #$

��%&�

j�8

E��$

2 .

,�

��! ��

,G��

�! j

*� 7��

��jO $

� �+ �

��

�����j

O #4�

'���

� #$

�� �

��O #

$�� ��

W� $�

��G�

Page 5: Ljung, System Identification: Second Edition, 1999

���

�����

��

- +�

�,�

- �.

�� /�

024��

- ��

��� ��

��

1-5

"��

'���

� ���

)� .

���

� 5

��*

%���6

#$��

��W�

�$4��

� .

",D

+ �&,

�,����

J&,

� ��,G

�� �,

� #��,

!��

���

� ���

� ��

�! ��

� E2 �

��)� �

�)�� �

��� J

K�A�

4 # 4�

4 �j�<

� M�

. fli

ght s

imul

ator

s or n

ucle

ar p

ower

stat

ion

train

ing

sim

ulat

ors a

re o

f cou

rse

far m

ore

com

plex

6 :Fa

ult d

etec

tion,

dia

gnos

is:

�����

�� �

\�8

l�<

�+

1-3 A�

'4�!��

�B �

�*�+

���)�

'��

�� (

��

�� "

�� �-

��

1.�

K� �

�:m

5��?

!

Men

tal o

r ver

bal m

odel

s

2.�!�

/ n�

�O � &

! �� �

�1 &�

1�� ��

��1 4

J4&

� S

�c $�

G

raph

s and

tabl

es

3./

�� J

���)

M

athe

mat

ical

mod

els

4.

#�+��

i��� �

��1�! �

Softw

are

mod

els

&�

�! .

%&� ��

�)� ��

���

4 (

'�

���

!����

B!��

��o ��

��8 �

&���

��*

�+ ��

"��

�&�9

�O 4

"��

�H%

#��%&

�j!��

����

! W�

F+ �+

� ��

"�

4

h�

&���

: �!�

��.

1-3-1

��.C

#��

��

$7 ��

M

enta

l mod

els

��

! ��

�)� ��

�����

�� "

�� �-

��

�:m ��

;!

�K� �

J

&�)

��*

�+ (

&��

. �

Turn

ing

the

whe

el c

ause

s the

car

to tu

rn.

�Pr

essi

ng th

e ga

s ped

al m

akes

the

car a

ccel

erat

e.

�Pr

essi

ng th

e br

ake

peda

l mak

es th

e ca

r slo

w d

own.

"

�� '�

���

��

��� "

�� !

�6+ 5

��?! �

� 4� �

A #�

W1���)

#$��

%&� .

&1��+

�:m J

&� 3

��� �

! ��

��� �!

�6��

Fuzz

y m

odel

ing

1-3-2

�D�

E��F �

�B!��

Tab

le o

r pl

ot m

odel

ing

&�1��

"��

@���

5��?

! '��

��

��*�+

J&� #

����

� �!�

/ n�

�O#�

����

�� �

�1

���) n

��O U�

jO n��

O U;

A ��o

#���

�D� 4

�:���

���)�

�� ��

1 4

;A

� �

6�

#"��

(�'

G�

�,-

j�8 &

,�1��

F;�

� 4

W�+�+

#���

����

�-j�

8 &�1��

OR

UA

ND

#�

���,�

�� 4

�+ �&

�9�O

�1�� J

4�&�

�1���

J4&�

&

���

�����

��

- +�

�,�

- �.

�� /�

024��

- ��

��� ��

��

1-6

'��

�� �

�*�+

&�1��

"��

B-�

5��?

! �ha

rd d

rive

read

-writ

e he

ad

",�

� �$

B-�

S!�;

� ��

. �

,� �

# 4�4

B-�

:�

4�A 4

��+��

: "

�����

head

� �

� �

E��1

.

-�

)��� J

&� 3

��� �

! ��

���N

onpa

ram

etric

app

roac

h

�� 7

�1 .

6�

,� ��

,W�8�

#��,!

p4�

�,� �

,6��1

valid

atio

n

"��

&���

(��

����O J

&�

1-3-3 �

H���

��B!�

�M

ath

mod

els

E

�,�! q

1��

� B��

1���

5e ��

� �! �

�O ��;

! �� "

�� /

�� J

&� ��

G��

��

� � �

! 7�1 J

&� $�

��4

���� 8

&1��

� .

"��

�-��

��%&�

��

��

���O

–��

�� U��

���

-;

A U

) �?+

- �,

,;

A��o

lum

ped

or d

istri

bute

d

&���

!

�H�

�� ��

��!��

I���

!�4J :

&�2

� "�&

! (��

r+ p

4� �!

'���

� �0�

� p4�

�� �

e

����

�� &

2 �

"�&

! ��12 \

���+ $

� j�

'���

� 4

#��0)

� 7�1

J&� �

! �6�

��

� '

����

$�.

\,�

�� 4 �

�0�

F�� $�

p4�

��

"��

���

�R

emai

n va

lid fo

r eve

ry o

pera

ting

poin

t. �

Off

er si

gnifi

cant

insi

ght i

nto

the

syst

em’s

beh

avio

r. �

Unf

easi

ble

if th

e sy

stem

is to

o co

mpl

ex o

r poo

rly u

nder

stoo

d.

Page 6: Ljung, System Identification: Second Edition, 1999

���

�����

��

- +�

�,�

- �.

�� /�

024��

- ��

��� ��

��

1-7

/��

J&�

��

��� :

7�1 �

! ��

��� d�

1 ��

Para

met

ric a

ppro

ach

� �

�&1��A

. p

4� �,

� \��

� 4 ��

0�$� &

�+��W8

: o

"��

(��

����O �

�o #�

��4�

$� �+ �

&�9�

O

o �

� � �

���� &

1��+

� #$��

��W�

4 �%�

���

I��c

#��!

t��1

. o

&���

: �W��

� ���

�;F1

J�I

t��1

e���

o&�

��: #

�$ #

�: �!�

�� �

� ����

� 4 "

A��

B!��

� ��

�!

oG

ive

less

phy

sica

l ins

ight

.

1-3-4

Soft

war

e m

odel

The

mod

el u

sed

in a

com

pute

r sim

ulat

ion

of a

syst

em is

a p

rogr

am. F

or c

ompl

ex sy

stem

s, th

is

prog

ram

may

be

built

up

by m

any

inte

rcon

nect

ed s

ubro

utin

es a

nd lo

okup

tabl

es, a

nd it

may

no

t be

fea

sibl

e to

sum

mar

ize

it an

alyt

ical

ly a

s a

mat

hem

atic

al m

odel

. W

e us

e th

e te

rm

softw

are

mod

el fo

r suc

h co

mpu

teriz

ed d

escr

iptio

ns. T

hey

have

com

e to

pla

y an

incr

easi

ngly

im

porta

nt ro

le in

dec

isio

n m

akin

g fo

r com

plic

ated

syst

ems.

1-4��

����

L)�

��

�;!��

� '

����

��

��� �!

uI�

W� �!

v�!�

�1(

U'��

��2 (

��

3( J

&� ��

�A��

4 ( ��

��� �

�<�1�

5 (�,�

��! p

4� #

$��6(

"��

w�;�

6�

� ��W

�8�.

���

�����

��

- +�

�,�

- �.

�� /�

024��

- ��

��� ��

��

1-8 1-4-1

����

��

��� #

��!

# 4�4

J��>

�� U

- �

� �

���A

m 4 #

��� �$

�&1�

�4�A

. �,

! #� �

��,��

��,;

! �,

����

",�F

)�� �

� >

��! ��

%��>��

5�?

<��

# 4�

4in

form

ativ

e

��

J��8

� '��

�� �!

4 &�

%�+ .

��

'���

� �

��8

�-j�8

B<�

&�W1

# 4�4

. �

#��

�! �1�

�1 �

�O1/

10

"��

��

��� "

D+ '

����

��1 E

��$ .

� �

� �

� �

��

��� b

�A M

���

"D+

��

"WC

#��!

��

1��$

+&� .

&��

��

�&,�

",WC

#��

J�c

N �� ��

C�+ "

D+&:

� �

���.

� '

�� B-

�� $�

&,��

! JK�

,A� y

�,�� �

',:

4 #0�

1 ':

�4�A

4 &�

�! #0�

1 "��

�-��

# 4�

4 �-�

� �>

. �

� ��

)�� �G

1 � &

�! ��

"��

j]�

� JK�

A� �!

� �%2

�4�A

3��

� �! '

����

��

���.

1-4-2

#�� �

��%�

I

������

�� ���

���

�W

�F+ #

�?���

J&�

Prin

cipl

e of

par

sim

ony:

� J&

"���

�-z�

� ���

<+ q

1���4 �

��� �

�����O

�!.

�@�

;�1� B

!�� J&

� :

�>

@�c

$� V

�0)�

�&�

+ &,

:

,� V

:�,� �

� ��,�

<+ 3

�,�! �

,:����

��O .

�,6�

�1 �

��&,F�

����!

#

� �

� �&�

O &�!

#�:�

�����O

�&�

+ #��!

. �

Whi

te b

ox :

���

�!���

�F��

�����

�O 4 ��

�A��

�G1 $

� ��

��

� ����

%&�

�!"

�� j

*� '�

. �

Gre

y bo

x:

��

��� �

"�F)

�� #�

�!

jW� 5

�8Kc�

a pr

iori

know

ledg

e

??

<+ �G

1 4 '

����

���! �

�,

! �

� �

\���

+ ��

��� J

���) p

4� .

�jr,�

� (,

�,! '

�,���

��

��� "

��12

�� l

<�� J

&� ��

�A��

���

�����

�O ���

<+Pa

ram

eter

est

imat

ion

� �

B&W

+ .

� �! �

�� �

� �

-�� �

j�<� �

D1 �

�� 5�

�* "

��

�% �

(Ph

ysic

al m

odel

ing

#

4$�,! #

��! �$

�;!��

BX�

��

� ���W

+ /�

� #$

��%&�

3��

� �! J

&� ��

�A��

��5�

! �

&2

� "�&

! ���o

4 -0

�) (

��r+

0�%�12

&8���

3��

� �! J

&� ��

. � (

Sem

i ph

ysic

al m

odel

ing

: &�

1�� �

� �

J&�

j�j

D+ 5

��?! '

����

$� �

<! MF

) ��

���)�

�,�o

B���8

; A

) Ud

�W��

Dea

d zo

ne

���o 4

q$�

���:

4 (

5��?

! ��F!

4B

lack

box

&1�

� �

��)��

�G1 �

.

Page 7: Ljung, System Identification: Second Edition, 1999

���

�����

��

- +�

�,�

- �.

�� /�

024��

- ��

��� ��

��

1-9 �

Bla

ck b

ox :

�� &�

1�� �

��8

/��

J&� (

��o #

��1��%

� $� �-

W� (

;A #

�����

�� #

��! q

1��

�% ���

! ;A

��

� ��

)�� �G

1 �

j*� '

����

�! S

�� ��

�+ E4

&! '�

���

J&� E

�.

1-4-3 #

�� ��

����� *

�<M�

Para

met

ric

Est

imat

ion

1.

��

� �&

0� �!

��+

"�)

4 ��<

�1� ��%

&� $�

#� �

8��6�

2.

$� &�

+��W8

���<

+ #���

4�

�Li

near

leas

t-squ

ares

met

hod

(LS)

: sim

ple

to c

ompu

te, n

o as

sum

ptio

n on

noi

se m

odel

Stat

istic

al e

stim

atio

n m

etho

ds, e

.g.,

Max

imum

like

lihoo

d, B

ayes

use

prio

r noi

se k

now

ledg

e

� In

stru

men

tal-v

aria

ble

met

hod

(IV

): a

mod

ifica

tion

of th

e LS

met

hod

for c

orre

late

d no

ise

�Pr

edic

tion-

erro

r met

hod(

PEM

): m

odel

the

nois

e, a

pplic

able

to a

bro

ad ra

nge

of m

odel

s

1-4-4 /�

� ��

����

#��

���

���

�N�M

odel

Val

idat

ion

"

�� $��

1 ���

��

���

4 ��

��

# 4

��

� #

��

6��

��W�8

1.

��

� ��

��� J

&�

�����

#��

�!

2.

��

� "�+

6�

� ��W

�8� #

�� #

4� �&

�����

J&�

�-j�

8 .

�&�

��

��� J

&� ��

�� �

� 7�

j�� �+

"��

��A

)��

�$�&1�

�!“g

ood

enou

gh”

.

>�,�

W�: �

,� "

,�� �

� '��

"�+

�=y-

4 &�

�,�� 4u �

&���

W1 ���

W�: $

�! �FjI

"%�I

���

�����

��

- +�

�,�

- �.

�� /�

024��

- ��

��� ��

��

1-10

3. E

����!

�&�

��

��� J

&� 0�

�:Tr

ue

� '�

���

J

&,� E

��,��!

�,-j!

��

�1 �

�)�� �

G1go

od e

noug

h

��

� |

�D% �

G1 ��

� �!�

�� #�

�!.

4. \

,����

�,

����

#�,:

��^��

4 �

,� ���

,-+ &

�! �1

$� &���

) U&1��H

>! ��

6��

��W�8�

M��

� &1�

��1 J

&� ��

�� �

�<�1�

.

1-5 ��

����

��

����

MA

TL

AB

��0

)� 7�1

(

��4

Inte

ract

ive

"

,��

,���

(��

��

��� �

��A

"��j

!�� �!

.M

ATL

AB

#

��� Sy

stem

id

entif

icat

ion

Tool

box

"

��

5�1�-

�� ��

o

#$��

��W�

o

# 4�4

"A�

oJ�

�>��

p$�

�O V

�O

o���

� �W�

� 4

;A ��

o U;

A #$

��%&�

o

��

��� #

�����

�>%� �

8��6�

o

6��

��W�8

� 5�1�-

�� �8��

6�

ot

��1 V

��1 5

�1�-�� �

8��6�

� �

�42

� ':��

).

iden

t

���1�

!G

UI

��

"��

��

���in

tera

ctiv

e ��

&��

� B���

+ .

Hel

p

� ���

�� ��D

1 #��

$��

� �

�4�

!�<! ��

����

��>%�

$ � .

��

� �

���� ��

����

>%� �

� �! 3

� "

)���O

�! .

#��,

�� �!

iden

t

�D�,*

��

� �

:�} B

-� S

!�;� E

2.

Page 8: Ljung, System Identification: Second Edition, 1999

B?)

2 :;

A '�

���

�4��

- ��

>�1�

&:��

-#�

Wc&�

�&���

2-1 2

+��H

O�

�g(

n)

���

"|G

(�)|2

Ljun

g C

hapt

er 2

'

����

LTI

,� B�

-,�+

�� -

���,�

#���

�,���

$� ,

��� 3

K� &�

��:

���4 #

�����

�� \

�F+ e

����

��&�

� � &

�%�+ J

�W� B

!�� #�

�<��

O \jo�

��12 3

��� �

! I��

c ��

&�:

.

2-1

����

+�

��F +

��H O

��

n

��O

����

� '

����

LTI

#

��1��$

� t=

kT

E2 �

!�/ n

��O 3

��� �

! �

��%�1�

� J��>

�1� 4

"��

�!��!

�!

0

0(

)(

)(

)(

)(

)(

)y

tu

tg

dy

kTu

kTg

d�

��

��

��

��

��

��

��

T

"��

#�� �

! �1��

1 ��

O .

E �

! "!�C

�W�F+

y�)

�!u

'��

�: �

�O J

�c �

(1)

11

11

()

()

()

()

()

()

()

()

()

()

()

()

()

()

mT

Tm

Tm

mm

mT

Tm

m

ykT

ukT

mT

gd

ukT

mT

gm

T

yk

uk

qg

kG

qu

ku

kq

gk

Gq

uk

��

��

��

��

��

��

��

��

��

��

��

E2 �

��

q-1u(

t)=u(

t-1)

"

�� .

G(q

)

p4�

E�,�

: �,�

",�

� R�,)

M,!�4

� SWc

'��

�� �&

� ��

��� �

!�/ n

��O

step

inva

rianc

e

�;!��

���4 �

"��

G(q

-1)

B

&W+ &

�1�� ��

"��

z 5

��?!

G(q

)

'���

� �

�����

. #�

&� 1:

&2

� "�&

! �1�>

�� ��

���O

'���

� #�

�! #$

�� ��

��� d

�1 �

��

()

(1)

11

11

10

(1)

()

()

()

11

()

11aT

kT

ataT

k

kT

baT

aTaT

kk

aTk

ka

aTaT

bb

eG

sg

tbe

gt

dte

sa

az

ez

ee

ze

zG

ze

ze

z

��

��

��

��

��

��

��

��

��

��

��

��

��

��

��

���

5K��

�! �

06+ $

� &�!

�� "

�� '�

���

�jO n

��O "

�WX+ E

��: �

�1

�,

��+ �,

! (�:

',:

�,! 4 �

W,��D

�&1�

� �

���

�j

�� #

��! �;

!�� �

�b/

s

5��?

!bT

z-1/[1

-z-1

]

&2

� "�&

!

����

" #

��0�

�FP

�" ��

Q

B?)

2 :;

A '�

���

�4��

- ��

>�1�

&:��

-#�

Wc&�

�&���

2-2

������

����

������

���7�

:

�5N �

��7�

:g(

0)=0

"

�� ��A

�+ #���

'��

��

��

Mon

ic:

�4 "

�� (

�1�� #

� �j��

&�z

g(0)

=1

2-1-1!��

����

#$

�%�

D

istu

rban

ces

�����

A �1 #

��%��>

�� ��

C�+ "

D+

���4 #

�����

��)

JK�A

� (

&1��

�1

�&

J&� �

�� &

���:

4 5

��,?!

e��

��lu

mpe

d 4

addi

tive

7�

) �!

v(t)

&1�

� �

�)�/

� '��

�� �!

. y=

G(q

)u+v

Th

e as

sum

ptio

n th

at th

e no

ise

ente

rs a

dditi

vely

to th

e ou

tput

Impl

ies s

ome

rest

rictio

ns.

#$�%

� 6�.�

1.M

easu

rem

ent

nois

e

$� �

�1 "��

�-��

JK�

A� 4

0�1

drift

�,�

� �$�&

,1�

J��>

�,�

,�I �,

4

,�4�A

&��! #

4�4

. 2.

Unc

ontr

olla

ble

inpu

ts :

&��! �

&�1 J

���� #

�� 4�

4 $�

��1 &

1��+

� JK�

A� .

5�D

�* ��

�O��: �

KX�

&��!

�1 J�

��� B

!�� ��

"��

JK�A

� �! �

C� %4

&1��

�� # 4�

4 VF1

%���

�.

d�1 �

� "

,�� �

,-��

JK�

A� #

��� �$

�&1� B

!�� 4 �

��

�&

�4�A

� M

F) E2

�C�

v(

t)=y-

G0u

#$�%

� #��

J

��>��

5��?

! "��

�-��

JK�

A�

(,

�,! ��,

12 E��+

����

\jo�

� ��

&��

! ) �

?+ �

����

� Uq

%�O U�j

O J

��>��

4 �&�

���

+

�� J

&� '

����

(

. K

X�)

�?+ "

%�I �

U #

�� �!

���

PDF

��

,12 E��

,+ ,

� JK�

A�"

��1 �&

� ��j

�) &�

�� 0

�1 5�

�?!

. v=

H(q

)e

��e(

t)

"��

&���

0�1

. �

�j

�8 #

�: �!�

�� #�

�! p

4�

�&���

B���

+ "

,��

. �,

� �,�

,�

y�,)

',:

e�,�

��h(

0)=0

"

�� �!

E �

d��+�

! �

$�+ �

!�+e

�� &

�%�+ E

��+

� �� J

K�A�

$� 8��

�� d��

1� .

J�X�

#��!

��

e(t)

= 0,

with

pro

babi

lity

1 -�

e(

t) =

r, w

ith p

roba

bilit

y �

. r��

N (0

, �)

2.10

Page 9: Ljung, System Identification: Second Edition, 1999

B?)

2 :;

A '�

���

�4��

- ��

>�1�

&:��

-#�

Wc&�

�&���

2-3 4μ

&��! (

z��

\��

�� ��j

�) ��

<�1� �

!(H

)

S!�;

� JK�

A�

B-�

2.5

� &�

%�+ 5

eK�A

� E �

� J&�

#��!

�� &

"��

\��

�� �

����

4 W��

U#� �

!�/ U#

� �jO

.��

� �>

@�c

$�

e�N

(0,�

)

B-,

� JK

�A�

�� ��

)�� �G

1 �

2.6

� �

B*�

I.

#

��!e

��12 4

�W+�

� �+ b

��A M

F) \

jo� "

�� J&

� # 4�

4 ��

)q

1���4 4

��>

1��� (

��

� ��

)�� �G

1 �

.

2-2#�

<�)� L

)���

�"��

#�

��4

��'�

���:

e=

�*ra

ndn(

1,10

0)

q1��

�4 4 ��

* ��

>1���

�! J���

1 ) �

?+ �%

�W1 �2

&�

� � &

�%�+

*�0

4���

μ :m

=mea

n(e)

Exp

ecte

d va

lue

����

R��S

4�: �

s=st

d(e)

V

aria

nce

T4���

�'7co

v(e,

u)

) �?+

��^��

4 un

corr

elat

ed

��� &

���:

cov(

e,u)

=0

��

. ��

�e 4u

BF��

�in

depe

nden

t

&���

!

P(e,

u)=P

(e)P

(u)

��

�W�:

��o �

��I

unco

rrel

ated

"

��1 ~

�D*

���0%� E

2 q-8

%4

&���

:.

) �

?+ &�

��) (

st

ocha

stic

pro

cess

"

�� )

�?+ #

�: ��^

�� $� #

� �%�W1

X={

X1,…

…,X

k,……

..,X

N}

�: ��

>1���

$� #� �

%�W1 �

!

B?)

2 :;

A '�

���

�4��

- ��

>�1�

&:��

-#�

Wc&�

�&���

2-4

���

1�����

$� �

�+��

4

��

� "��

E���

� ) �

?+ &�

��) (

��

� "��

��* �

�>1���

�! &�

�� E

���� &

���) 4

#�

�0�

*�

E2 �

!��� 4

3���

� �!�

/ U�j

O #��%

��>��

&���

: ����

#��%

��>��

���

�� #��0

�!�+

E2 q

1���4 4

��>

1��� ��

#0�

1 J��>

��t

"��

���� J

��>��

&��W1

���

�� +��

#��0

����

v�j<

� '��

�� #

��%��>

��)

'���

� $�

��1

(

) �?+

4)

JK�A

� $�

��1

(&�

��:

. E

��,���

1 �,6�

� �

v�,�

"��

��

����

�H

%�!

\%��

( �

���

#��!

,�

�,�

�+ ��,

�� �

W,� J

��>�,�

UJ��>

�,�4

�: #

� �

,� .

� �

,���%

��>��

: 1.

>�

�W�:

�A

4 ��>

1���

%4 &�

��: E

��$ �

!�+ &1

��&1���

2. ��

� ��

"��

��G�1�

+

>��W

�: �

A �!�

W1�6

� �!t

1 ���

!�4&�

�W .

RN�

R

��4

N�

2,5

9 �! ����

J��>

�� ��

��

&E "

�� ��C

�+ !

4 ��&

1��� &

�! J�

�>��

42.

59

�,�

����

+ .

�,� �

�,�� J

��>�,�

��,�

� &�

��: �

���+ M

���

. J

���) p

��>1 "

%���

#��!

E

��

� ���

+

Page 10: Ljung, System Identification: Second Edition, 1999

B?)

2 :;

A '�

���

�4��

- ��

>�1�

&:��

-#�

Wc&�

�&���

2-5

�(

)(

)(

)sR

Est

st

��

��

J

��>��

4 s 4

w #

��%��>

��jo

intly

qua

si s

tatio

nary

,�4 �

,�12 q

1�,���

� 4 ��

,�� �

W,� 4

�: ��

� &���

:&�

�! ���

()

()

()

swREs

tw

t�

��

2-3+��

'E ,

�"�S

��4 #

��0�

���

" �0

���<.

2-3-1+��

'E

+��'E

V���

�:

'��

�� n

��O

LTI

�!

�/ n

��O �!

g(k)

�!�4

# 4

u=co

s � t

�! "

���!��!

�;

!�� �

� � G

'���

� �

1���)

n��O

E

��: ��

"��

'��

�� �!

�/ n

��O �

��) B

&W+

&,��

! ,�

. B

&,W+

�,;!��

����

� J��>

�� �

��)D

TFT

� �

����

1 �1�>

��

��O &

In=

0

"��

�&�

��)��

�G1 �

j8

J��>

�� ��

"��

���

�� �

! .

&�1��

J��>

��g

���

�� �

��) B

&W+

stab

le

&��!

.

2-3-2�0

���<.

) �! J

��>��

4 >

��W�

: �

� �

�W��

D� �

$ J���

(

)(

)(

)xyR

xt

yt

dt�

�� ��

��

&���

0�1

J��>

��

>��W

�: \

�+�+ �

� �!

�(0)

R

e( )=

�>

5��W8

�! �

Re(0

)=�

"

�� 0�

1 q1��

�4 .

"��

:� �!

0�1 �

��+ M

���

�� "

�� �

� >�

�W�:

J��>

���

&,��

,� �

,���

�� .

��,!

�!�,�

+ ��,�

�+ E2

���

,� �,>

"

�� J�

�>��

4

#�&�

2: �

�! >�

�W�:

#��%�

�>��

(

� �

�W��

D� �1

�>��

'���

�)e 4u

&���

: BF��

�(

B?)

2 :;

A '�

���

�4��

- ��

>�1�

&:��

-#�

Wc&�

�&���

2-6

��&

F�R

ye(0

)

�! "��

�!��!

: R y

e(0)=

E([-

ay(t-

1)+

bu(t-

1)+

e(t)+

ce(t-

1)]e

(t))=

0+0+

�+0=

�W��

D� #

��!R

y(0)

E

��+

�y(

t)=-a

y(t-1

)+bu

(t-1)

+e(t)

+ce(

t-1)

E

��+ �!

��2

,/

�� &,

��� q

i,� 4

&1���

")��

R

y(0)=

a2 Ry(0

)+b2 �

+�+c

2 �-2a

c�

� �W�

�D� ��

��F!

&�� �

�� ��

5�W�

�D� �

� -�

�-+ �!

\�+�

+ ���

: �! 4

.

2-3-3�

��

���

: �

�cx

+ ���

)�!�

E2

>��W

�: �

AR

���

.

q

-8 $�

��c �

��:"�

� '�

:��A �

��)

V

��,��

���

cros

s spe

ctru

m

: J

��>��

4 B

!�F��

>��

W�: �

��)

x 4y "

��

�-

�%�I �

� x "

�� F

�FI� x

y

E2

,F�FI

"�,

�� �!

"��

q-ji

��

j� "

%�I �

co-s

pecr

rum

V,<

! �,! 4

E2

��:��

quad

ratu

re sp

ectr

um

&���

. '��

� #��0

� �

���

I�

:

>��W

�: �

A(

��O

J��>

��U

"��

( �

�O

�6��1

� "

�� �!�

/ �%�

W1 B

��� (

��O

J��>

�� �

�c 4

1

1(

)(

)(

)(

)(

)(

)(

)M

Est

st

Rss

ts

tRs

kMRs

M�

��

��

��

��

�,

: �,�c

�,�

�,� B

&,�+

E��,+

,� 3

����

�8��

6� �!

���)

#��

�! �� (

��O

J��>

�� �:

��

��� �

� �!

"��

�!�/

4 B�

�� 3

����

Page 11: Ljung, System Identification: Second Edition, 1999

B?)

2 :;

A '�

���

�4��

- ��

>�1�

&:��

-#�

Wc&�

�&���

2-7

1

0(

)(

)(

)(

)M

jj

jlm

Pj

lMs

sRs

eRs

lme

ee

��

��

��

��

��

��

��

��

��

����

���

��

��

F+ �!

\�

�!�/

�! �A2

�j��

�!�/

5��?

! ( �

�O J

��>��

��c

�-��

�6��1

�:

����

�!"

�� .

��M

"��

��O

. #�

&� 3:

#�&�

:W

'��

���

: "

�� �!�

/ 4

B���

E2 �

�c 4

"��

( �

�O 3

����

#�

&� 4:

#�&�

:+�

���"

��X #

��0�

"�

<� �

��:

J��>

��s(

t)=u(

t)+v(

t)

�� 4�

4 �!

4

��,*

��>1�

,�� �,

! #

����c

� u 4� v

&��>

! �G1

� ��

. �

�cs

�! "��

�!��!

#�

&� 5:

()

()

()

()

()

()

()

()

Est

st

Eut

ut

Evt

vt

RuRv

��

��

��

��

�>1���

��

��c

4

&2

� "�&

!.

#�&�

6:#�

&�:

&��! �

&� �

� E2

q1��

��� ��

%��>

�� �

�c

��

� �W

��D�

�1�>

��.

�8

% ���

� �

�"�%

���

��&

�O '�

���

&���

y �)

y=H

u �!

u E

2 ��c

��� u

��c

5��?

�� �

��

(�D

+ "��

y �! "

�� �!��

!

B?)

2 :;

A '�

���

�4��

- ��

>�1�

&:��

-#�

Wc&�

�&���

2-8

� u

y(ej�

)=H

(ej�

)�u(e

j�)

'���

� #��!

�6��1

��

v=H

e

��e ��

��� @

��D1� �

! &���

0�1

� &2

� "

�&! "

��.

()

max

(0,

)m

ax(0

,)

()

.(

)(

)(

)(

)j

jk

jk

kk

ve

hk

hk

hk

eh

ke

��

��

��

��

��

��

��

��

��

���

����

���

��

��

2)

()

(j

vH

e�

��

��

'���

� #��!

�6��1

�!

�6��

� �

�$ M

!�4�

22

()

()

()

()

jj

vu

Ge

He

��

��

��

��

()

()

()

jvu

uG

e�

��

��

#�&�

7: #

�&�:

��c

'�

���

#��!

y(

t)-ay

(t-1)

+e(t)

�!e q

1���4 4

&���

�2

�! "��

�!��!

J

��>��

��c

B-�

�>

J�X�

� +e

(t)+0

.5e(

t-1)

v=

1.5v

(t-1)

-0.7

v(t-2

)

&:

� E��

1 ��.

Page 12: Ljung, System Identification: Second Edition, 1999

B?)

2 :;

A '�

���

�4��

- ��

>�1�

&:��

-#�

Wc&�

�&���

2-9

���

*���

H �

�"�%

���

��Sp

ectr

al F

acto

riza

tion

,�

,� � �

&,�!

J�,?

) �

�,!

,O J&

,� �,!

�,�c

$� E��

,+ ,

� �,2

�,� J

��� �

� �! n

��O

. #

��,!

'�,�

��v(

t)=H

(q)e

(t)

��4

�&�

��j�)

0�1 �

�c� v

(�)

"

�� 3

��� �

4e

&��,�

0�1

��,

��� @

��,D1�

�,!

� "

,��

��� �

� ��

� �

� E

��1

$�

�!�+

4eiw

&��!

&

1��+

�H

(z)

��

�� �

&�O ��

Mon

ic

4 \

;� 4

"��

&��

� R&*

�$ �

;!�� �

4 ��

��&1 &

I�4 ��

� #

4� #�

�*.

�c

MF)

certa

in a

spec

ts

#4�,

I +

��,W8

�! &�

� � ~

��+ ��

J��>

��se

cond

-ord

er p

rope

rtie

s

J��>

�,�"�

� .

��

��� ��

��

� �

�4� (

%H��

);

A '�

���

( ��

$��1

5�8K

c� ��

�: �!

0�1

) J

&� $�

) 5�8K

c� �

�c ��

&1 ��

(

2-4 +�

�'E

�0�

��<.

?��F

"�'��

� ")

���

( #

��0�

#'�

N

2-4-1+��

'E

�"�S

� #'�

#��0

� +�

�'E

: '

�1�����

MF)

�� B�

8 �

�! �

$ ���

�+ �!

�6��

�� '

��� ��

� 4&

D� J

�c J

��>��

��

�.

��

�!�+

�O �!

����

�O2�

"��

E

�z �-

�� �)�]

�u

�!�

,+ "

,��

F�FI

L4 0

,�E�

�F��

"

��

��

�+ :

#4� �

6�� �

#���

M��

�� 1

/��

��

&1 �

�4

j*� J

���) �

�� "

�� �&

� 7�6

1� .

,%4ID

FT

\�,

/1/

N

��

��4

. D

FT D

FT

�&�

����

�D

TFT

�� "

��N

#��

�! �1�

�1 �;

F1 �

� �

.

B?)

2 :;

A '�

���

�4��

- ��

>�1�

&:��

-#�

Wc&�

�&���

2-10

��

�� �

! ��c

����

� �W�

�D�

fft

� �

7�61�

. ��

J�

c ��

�N

"��

&�!

v�F1

B��&I

N ��

���O

��c

�+ &�

�! ��

��� �

�c $�

&��! #

$��$�!

B!��

. ID

FT

$� "��

5��W8

J��>

�� �

��) q

-8

2-4-2 �

��-

#��0

� ?�

�F"�

'���

) �

�� ��

N �"

�S�

( J

��>��

7���

4 ��O

E

2 ���

�� 4

"

�� .

7���

4 ��

O �

�,

�%�� E

��,+

K ��

7�&:

� E

��1

.

Pars

eval

's r

elat

ions

hip.

I��'

��� #

��0�

?��F

"�'��

4 �

�O ��

�� ]�

��8� �

�'�% '

�S4 +

�� ^J

���

� ���

I���

'��� #

��0��

?��

F .

KX,�

O 3

���,�

7���

4 �,�

��O

�!N

&2

� "�&

! �1�>

�� )

�W��

D�N

-DFT

(

� �!

�/ 4

B���

�� "

��2�

/N

"��

Page 13: Ljung, System Identification: Second Edition, 1999

B?)

2 :;

A '�

���

�4��

- ��

>�1�

&:��

-#�

Wc&�

�&���

2-11

�� S

�W;+ �

�c �!

�6��1

��

. B

-� �!

%��>

�� �

�c $�

��1

3

�����

��%��

&:

� E��

1

�-

�+��*

� M

>N

�;F1

DFT

!�+ �!�

/ #�

D! �

� �W

��D�

sinc

� �

�&

. #�

&� 8:

#�&�

: I

��'���

#��0

� ?�

�F"�

'���

Exa

mpl

e 2.

2 :

(,

��O J

��>�,�

q1�,�

�) �,!

f E

��,+

,� 3

����

d��6

� 5��?

! q

1���)

�!r*

f

"��

1 )

���)

#��

(. �8

��6�

( �

�O J

��>��

7���

4 ��O

\�+�

+ �� �

! $�

#�2r

#���

1���)

� �!�

/r/N

"��

.

�E

��G� #

��0�

?��F

"�'��

7���

4 ��

O ���

#��0

��E

��G� �

���

er

ratic

"

�� .

��c

J�X�

#��!

v '

����

��4

e �!

\��

��� "

�� &�

�� 0

�1|H

|2

4 #0

�,1 E

2 7���

4 �,�

O �,��

"��

erra

tic

",�

� .

V�0

,)�N

�� #

�,W�!

&��

�1 B*

�I .

B-�

d�

/�� �

&:

� E��

1 ��.

��

� w

�;� &

�! J�

?) �

E2 B

�% .

B?)

2 :;

A '�

���

�4��

- ��

>�1�

&:��

-#�

Wc&�

�&���

2-12

`

�����

���

" ?��F

"�'��

� *��

��c

�! 7�

��4 �

�O

/��&

���w

eakl

y

&��

� B��

�;

!�� �

�2.

75

"��

���� �

!

Lem

ma

2.1.

&���

y�)

s J

��>��

� �

�c �!

E���

� �W

� s(�

) 4

�(�

)

�!�+

#���

�A�

)��j

�) (

���)

\��

/ �!

� t

��

&��!

Pr

oof;

�-��

y�)

�!s

L��A

[1,N

]

'��

�1 �

"��

��*

$�

'��

��! '

�1��+

� )�c

Page 14: Ljung, System Identification: Second Edition, 1999

B?)

2 :;

A '�

���

�4��

- ��

>�1�

&:��

-#�

Wc&�

�&���

2-13

�! "��

�!��! 4

�� �

&1���

��!

�!

�;!��

"���

"��

��N

� �

��*. )

\�/

B�%

�! 74

7�+

4 ���

� �W�

y�)

�6��1

� J

4� 7�+

� (

2-4-3 #

��0�

���

�� #�

� *��

� �"

�S� #

'���

"�% "

��"

�"

\�F

+ �� &

:

� E��

1 �$

M!�4�

G '�

���

y=G

(q)u

��

# 4�4

�!

|u|�

C

3��

� �!

�� (

�D+

J�c

���)

# 4�4

4&D

�-

�;!��

�! �6

�� E2

#�:

�4�A

&:

� E��

1 ��

��

� �W

��D�

�! ���

�:"

�� \

�F+

Pr

oof

��

-1 :

q1��

�) E2

� U&

�� (

��O

# 4�

4 ���

RN(�

)=0

��

�.

#�&�

9:J�

X�

# 4�

4 E���

���

3 ��

�&

�+ 4

100

&

��!

'�,�

�� #

��! ��

�1���

) n��

O �W�

�D� �

E���

�c� 7

&8&�

�� �W

��D�

�$

�W

��D�

K B

&W+ M

!�4� 3

��� �

!z

&2

� "�&

!

B?)

2 :;

A '�

���

�4��

- ��

>�1�

&:��

-#�

Wc&�

�&���

2-14

2-5

SIN

GL

E R

EA

LIZ

AT

ION

BE

HA

VIO

R A

ND

ER

GO

DIC

ITY

RE

SUL

TS

&�

�! ����

J��>

�� ��

E� f(t)

�!

�� �

A #�

&:

. &,

���) #

��,! �&

,�2 "

,�&!

#��,�

2 5�,8

Kc� �,

2 �� &

1�� �

��!

J���

��

) �?+

J��>

�� �!

�;!��

� "

�� J�

W� B!

�� )

�?+

. �j

r�� �

�er

godi

city

"��

T

heor

em 2

.3:

&���

y�)

s �!

E���

� �W�

J��>

�� (

E

s(t)

= m

(t)

5�)��

D1� 4

��e

q1��

�4 4 ��

* ��

>1���

�! &���

0�1

� 4

&,��!

4&,

D� 7�

��z 7�

����

Ht

��&

,�O #

�,: �,

�j�) $

� #� �

��1�,A

J���

I� �! "

��12 &

��! "

A���-

1 �!N

��

&2

� "

�&! �

$ M!

�4�.

�6

��1 :

$�,�

��W,�

( $

� �&�2

"�&

! #���

2 5�?

<�� "

��12 U&

��! �

&� ��

j�) &

��� 0

�1 $�

��1 B

A�&+ �

�� �

# �!

&I&�

� � S

�W;+

2-6

SUM

MA

RY

J

&�y=

G(q

)u+H

(q)e

&�

)��

� '��

�� #

��!

��e q

1�,��4

4 ��*

��>

1��� �!

&���

0�1

� "

,��

. �

,� #�

�,!�! "

�� �!��

! �4

�A �

�c '

����

"

�� �1�

>�� �

;!��

4&D�

J�c

J��>

�� �

��) �!

�;!��

Page 15: Ljung, System Identification: Second Edition, 1999

�N

ON

PARA

MET

RIC

SI: I

mpu

lse

and

freq

uenc

y re

spon

ses

Lj

ung

Cha

pter

6

��o

�����

��&1

J&� �

! $��1

(��

����O

'

�� 5�

8Kc�

$� -

4��� $

� $�

�1 ��

� ��

%4� ,�

@HI

�,�

.

#�,�

�,!

1��$

J��>

�� �%

�W1 (

J&�

(g(k

)) )

�!�/

n��O B

X� (

�1

���) �

(G

(ej�

))

'���

&,��

)��� ��

�,

! �,�

��

)��� �

1��1

�!����

�&�

+ � ��

��1

. . �

p4�

��

���

'��

��LT

I J

K�A�

4 # 4�

4 4 $�

! �FjI

Uu 4v

BF��

�"

�� � �

���� B

!��.

�!���

$� -

��

�4� �

����

�!

!�

�,�%4

� 5�8K

c� ���

,� � �

��,��

��,�

(,�

�����O

�,

����

� �,

+ ",�

� J&,

� �

��.

&�1��

+�8K

c�

j� B-

� 4 '

�� �

1���)

&1�!

G(�

)

J&� �

�� 3

&I #

��!

3-1

Impu

lse

resp

onse

3-1-1���

� ��

� ��

����

����

� ��

'���

� �!�

/ n�

�O

�! "

���!��!

(

z�� 0

�1 ~

;� ��

� ��

&��!

U �

��<+

�! '�

���

�!�/

n��O

� ��

&2

� "�&

!

00

()

()

()

()

()

yt

vt

yt

gt

gt

αα

α=

+�

=�

���

<+ #

�;A

��v/

"��

.�

�� ���

��� ��

����

� ����

� ����

� �� ���

��� �

����

��

�.

����

��A

���

<+ #

��!�

"��

1 �-�

� �$

Be

�! ��

&��! �

�0! &

�!:

� �

"��

1 $�6

� ���

4 #���

����

�! �

�0! �!

�/ J

��8�

���� \

jo�.

� �

-�� �

�0! ��

�� ;

A ��o

���)�

"��

&�

� (�D

+ �� '

����

. ��

�� 1.

+ ��

���

�!D

��� �

;F1 "

=0.5

ssu "

�� �&

� J�

�8� &

I�4 �!

�/ �!

�/ n

��O

��12

&�10!

���<

+ .

(��

����O �

�o

�����

3-2

0()

t TK

gt

eT

−=

���

'���

� ��

� %4

"��

1 �!�/

n��

O J���

) E �4

2 "�&

! ���

<+ $�

��G��

1 E

��,+

,� 0,�

1 �� ��

,� �

� &��

! �

7�61�

. �

�>1���

$�11

��1 ��&

F� ���

&1�� �

1��1

�W

��D�

��

�+K

��

� $ �

��<+

.

"

)� E��$

$� 4

0.38

&2

� "

�&!

1��$ "

!�C

$�

'���

� B

&�+ �

�+ J�

I"

�� ���

F��

"��

1 �W��

� J&�

�1��

4 ��

"�)

#&�!

n��O �

&�!

�&�2

"�&

! J&�

.

3-1-2�!

���

�� �

��� �

��

�� �

��

�� �! �

jO n��

O�

�! "��

�!��! '

����

Page 16: Ljung, System Identification: Second Edition, 1999

(��

����O �

�o

�����

3-3 ��

g o(k

) ��

$ ��

�<+ E

��+

� �1�>

��

�;

A ��

[v(t)

- v(

t - 1

) ]/�

.

"��

�"

#$�

j/

��+ �;

!�� $� �

!�/ n

��O �

W��D

�6.

6

0�1

��)��

�G1 �

�!

,�

\,�

��� �,

1 ��12 �

� ��

O �

��0!

#�;

A&�

� �

���,�

� ���

,* J

�,���

� � �

��� �

�;! '

����

\%�o

1��$

"!�C

4 ���

! U��A

�+ ����

+ #��!

p4�

�� (

%H��

�� 0%�

-�1 �

j>$ p

4� �!

�%����

'�G

�+ �

E2 #

�� �

� ��

��

�!� .

3-1-3���

� ��

� ��

� ��

% ��

&� '�

�� (

��)�

*���

Co

rrel

atio

n

4&12 �

�! "

:�W�

$� #���

�� J�

�>��

4

>��W

�:"

� .

E��,

�� �

W� #

4�4 �

! �$

'���

� ��

�u

",D

+ 4 (

,�D+

# 4�

4 $� B

F��� J

K�A�

��C�+

v &�

�!

�! "��

�!��!

�4�A

4 #

4�4 �

�! >�

�W�:

�!�+

#

��! ��

"��

�$ 5

��?!

4&D�

J�c

#��

&���

0�1

# 4�4

��

� J�I

�44 #

0

�1 �

� y

�) &�

��

&

2 � "

�&!

"

�� �!�

/ n�

�O ���

<+ ��

. �

# 4�

4 ��

o&�

��

� +��1:

>�

�W�:

�A

u �W

��D�

B!�F

�� >

��W�

: $� q

i� 4

y 4u J

�c �!

�!�/

n��

OM

��

� $ �

��<+

(��

����O �

�o

�����

3-4

�� �

� ��

<�1�

4�4

E�-�

� 5��*

� �

R�) 5

�W��D

��

��

�+ �

. �

��

��4 #

��6+ 5

��?! p

4� �

� �! �

!�/ n

��O �

��<+

4 #

4�4 J

��8� #

��! B

��4

. �

,%�

2: ��

j�) 5

��?! '

����

��)�

� �G1�

FI

R

4&D

� ���

�!

n 4cu

rve

fittin

g

p4�

�!Le

ast s

quar

es

,%�

3 : J

�,��)

$� � ��

�,�� q

i,� 4

��

# 4�4

E&�

&���

\��

� �� #

��j�)

$� �4

�A 4

# 4�4

E �

��W8

&���

# 4�

4 �! v

�!��

. p

4� �

� �!

"inp

ut p

re-w

hite

ning

"

&���

��j�)

&���

y�)

L ��

Lu &�

�! 7�j�

� &��

� &�

�� ��

. �

� E

��1 E

��+

� ��

D� �

$ �;!�

� E �

� B��&

I �! @

&: �

,�

� SF

.) �

�,! #

�,;A

�,!��

uf 4e B

��&,I

&��,�

��

(

5�

�?��

��/�

�cr

a

p4�

$� � ��

��� �!

����

��

inpu

t pre

-whi

teni

ng

&1$

� ���

<+ ��

�!�/

n��O

>��W

�: �

!�+ 4

. ��

�,� �

,! ��

� E��

+ �

�G1

��� ��

j�)pr

e-w

hite

ning

': �

�.

�! "

��1 �

�* #

4�4 �

�>1���

���

dete

rend

� �

@HI

E2 �

�>1���

�&���

&��,�

�,�j�

) $� ��

,� �

,A ��

,;! �,

+ ��

����H

� %�A

����

7��

"���

���2 "

��1 &

��� 0

�1 #

�4 ��

�&�

� � ��

���

��

�� 2.

&�10!

���<

+ �4

�A #

4�4 #

�� 3

��� �

! �� �

$ '��

�� �!

�/ n

��O

Page 17: Ljung, System Identification: Second Edition, 1999

(��

����O �

�o

�����

3-5

�!

N=4

096,

T=1

, fs=

1Hz

'�

���

�!�/

n��O

G0

(exa

ct)

cra

(n=1

) cr

a (n

=10)

��

�� 3.

J�X�

�>

��

���

�4�A

4 #

4�4)

&���

0�1

# 4�4

(

J

�c �!

�!�/

n��

O �$

����

�!M

��

� �

$ ���

<+

>��W

�: p

4� �!

�!�

/ n�

�O ���

<+ 4

��%��>

��

>��W

�: ��

��1

(��

����O �

�o

�����

3-6

6

�� ��

W�8�

�4�A

4 #

4�4

3-2 0

4��5�

6 ���

��

3-2-1 7�

8/4�

����

04��5

�6 ��

&,:

� E

��1 ��

��

��� J

��>��

�! ��

���� �

'��

�� ��

�)� ��

"��

q-ji

��

�!�+

�1���

) n��

O .

J�,�

8� �,!

E2 �

,�

1���)

n,��

O ���&

1�� "

%�I �

# 4�

4 �!

�4�A

����

"W�

1 ����

+ 4 �G

1 ���

#���

1���)

� J�

�>��

���

�! ���

1���)

"��

����+

B!��

"%

. u(

t)=�

cos �

t

Page 18: Ljung, System Identification: Second Edition, 1999

(��

����O �

�o

�����

3-7

��

Go(e

iw):

"

�� �

1���)

n��O

. ��

&��! 0

�1 y

��� �

�4

�A

��4

n,�

�O �� �

�1 E2

�W+

�! 4

�4�A

����

"��

1 �W��

� �1

���)

.0�

1 E4&

! 4 #

0�1 "

%�I �

# 4�

4 \�I

�!

�4�A

"

�� �&

� � �

E��

1 B-�

3-2-2

��

� ��

04��5

�6 ��

��� 0

9/4;

�< e

-j� t

�!

>��

W�: $

� � ���

��e-j�

t

q1��

�) �

�1��

�) n�

�O ����

$�

!�A �

��<+

�=�

0

JK�A

� ��]I

&:

�.

'

�,��

,� ��

,�I

�� �,$

>�

,�W�

: �!�+

4 #

4�4 J

��>��

E �

! 7�j�

� �!

) 4

3���

,� �,

! ,�

4�A

>�,�

W�:

3���

��(

�!

�6��

����

�� �j

�� �!

>��

W�:

(��

����O �

�o

�����

3-8

�!

74 �j

�� ��

��

�N

��

��4 7�

� �j�

� 4

v #

4�4 $

� BF��

�)

q1��

�) ��

%���

&��! �

���&1

(

,� ��*

&1��

. �

#��!

��� �

� �!��

� ��;

!

���

D+ �+

&�)�

� R��+

�G

&2

� "�&

! JK�

A� ��]

I �

.

&,2

,� "

,�&!

�G1

��� #

���1��

�) �

�1��

�) n�

�O ���<

% #�

��1��

�) �

V��

$2 ���

-+ �!

. �,

! �� ��

,� �,

�7�6

1� E��+

� 0

�1 ���

1���)

�8��

6� J

��8� �!

���W-

� . �

&1��

��4

V��

$2 �

� 7�6

1� b�?

<� 5

�0��6

+.

���

� �!

����

� J�

�>��

J��8

� "��

�-��

�� "

�� �

� p4�

��

���

&��W1

$�6� #

�8 ��

� J�I

� '�

.

�=">

p4�

U &:

� �

_���

�1���

) n��

O $� 3

��! E

4&! �

��<+

. �

"W�

1 �! �

��<+

q1��

�41/

N

&��

� ")�

. �

��

� �

�����

���<

+ #��!

( �

�O #

4�4 E

�zR

N(�

)

"��

��*) .

#��r

+2.

1(

3-2-3���

�6 ?�

�;� �

�#!��

: ��

09/4

;�< ��

�@���

e-j�

t

J��>

�� �

��)y(

n)

B&W

+ �!�+

4

'��

���! &

1�!��!

:

����

# 4�4

>�,�

W�: p

4� �,!

�,�c

��,�

<+ E

��:

�4�A

���)

�� �

� �

�&

"%��

� �!

"��

����

� #

4�4

��4 "��

.

&�

�! 3���

�� #

4�4

��4 ��

Page 19: Ljung, System Identification: Second Edition, 1999

(��

����O �

�o

�����

3-9

&2

� "�&

!

3-2-4 B

�C

�� �

)04

��5�6

�EF

( �

���6 �

�Em

piri

cal T

rans

fer-

func

tion

Est

imat

e

$ ��

�<+ E

��+

� �$

\�+�

+ �! �

��) �

! �� �

�c �

��!��!

E

2 �! �

�em

piric

al tr

ansf

er-f

unct

ion

estim

ate

(ETF

E)

��

� ��

�� .

B,!��

��

,�1��

�) #�

�! R�

) �;!�

� ��

"��

� ����

� #

��!��1

2

UN(�

)#0

��

* #

4�4 ��

��

�1���

) � 5

��?��

��o �

&��

!

,�1��

�) n,

��O "

��un

defin

ed

"��

. q

1���)

�:

;A '

����

� ��

$ &�

� �1

(��

�>

q1��

�) �!

q1��

�) (

� �

�%�� �

���

4�

� �� �

A BF

��� �

���

. �

��

J�c

���

N �

�c &�

�!N

��c

� E

��F+ B

�% �!

�� �

� ��

%��N

/2

��%��

; "

�� )

�� �

� �W

��D�

.

��

� H����

�% % I

����

G : Le

mm

a 6.

1

�$ S

j;� �

�&�O '

����

���

� JK�

A� ��C

�+ "D+

��v(

t)

��c

�!� v

(�)

>��W

�: �

!�+ 4

Rv(t

)

��

$�

BF��

� # 4�

4 4v

��&1���

|u|�

C

&�

�>! �

G1 �

�� "��

. I

����

#��r

+ $�

2. 1

'�

���

$� ��

J�c

E&�

4&D

� J�?

D� �

�!N

"��

(

��O

��o #

4�4

��

�612 $

/��

&���

V/U

"

�� ��*

) �

�>1���

v �G

1 � �

�*�

"��

�&�

��)�

(. '�

(��

����O �

�o

�����

3-10

� �

� �!

\�+�

+ �

��<+

( �

�O ��

o # 4�

4 �!

3��!

'��

�! ��

��

&��

� ")�

(

��O

# 4�

4

� ��

�u(

t)

&��

! ( �

�O #

��r+ S

Wc2.1 U

"��1

2

#��,

�1���

) �

�,

6��1 �

4C

1=0.

"

�� .

"��

( �

�O #

4�4

��4 ��

���

�� �

! #

���1��

�) �

���<

+ 3��!

#��!

N 4

&,D�

0�1

"��

��*. �

� � H

�����%

�! "

�� �!��

! ���

<+ q

1���4 �

� ��

� �

� E

��1

( �

�O #

4�4 #

��!C

1=0

&�

��>!

�G1 �

.

N 4

�: �1�

�1 �&

�+2

K/N

#

���1��

�)D

FT

",�

� .

E�,�

1 �,;

!��"

�� 54

����

�1���

) ��! 4

���1

���) �

� � �

��<+

q1��

�4 &:

��

� H����

�% % I

����

H :Le

mm

a 6.

2.

: �$

'��

�� �

v(

t) =

H(q

)e(t)

��e

&���

0�1

)(

��O

��o

( q

1���4 �

!λ 4

four

th m

omen

t μ2

�� H

"��

Sj;�

��&�O

��j�)

��4

# 4�

4&�

�W1 � &

��! (

��O

�� �

�&1 .

J�I

�� �

4

3�,

�! #���

��,�

<+ U

�,�

,� � $

��,�

<+ �

��) �!

��c

��4

"��

�$ q

1���4

. I

����

B�C

��

��

� H����

�%

Page 20: Ljung, System Identification: Second Edition, 1999

(��

����O �

�o

�����

3-11

�=">

,

%�1 :

(���

�� �

�%�%

"

�� ���

"�4

�� "

�� q

1���)

�! q

1���)

����

� J�

�>��

J��8

� ��c

���

<+ \

����

��� .

E��,

+ ,�

y�8

� J�

�8� '

����

�! E

��0�:

�� ��K

8 ���

#���

1���)

$� W��

�+ J�

�>��

$

���<

+ �� �

�c 4

.

� ��&

F�

��

� �

� "

�� ��)

� B�-

�+ ��

1� $� #

4�4 �

� ��

�1���

) � M

F)

� 4�4

�! (

��O

#

� 1 "

�� ��*

0�1 3

��! 4

��* ��

�1���

) E2 �

���

�<+ q

1���4

�;!��

� U

�!

\��

��� (

��O

# 4�

4 "%�I

� ��

"��

L�<�

� N

"��

. �!

���!�

�! V

�0)�

N 4�

� �

�* "

�� �!

���

<+ q

1���4

.1/

N

,

%�2 :

06���

� ��%

�%

�ET

FE

W1�6

� ��;

!N

��

3

��! E

4&! �

��<+

&:

�1���

��� V

�0)� �

! ���

<+ q

1���4

N 0

�,1 �,

! J��>

�� "

W�1 �

!��! 4

&!�

�1 V

:��SN

R

4 "

,��

ETFE

j�8

����

�X��

crud

e es

timat

e

&��

� �_���

��.

"��

���F�

� $� &

!� �

1 V:��

���

<+ q

1���4

) �?

+ # 4�

4 �! �

-�� B

�%

�� �

j�<� #

���1��

�) �

���<

+>&

- $�

�as

ympt

otic

ally

unc

orre

late

d

&���

: 4

�>

� ��

�<+ �

! -�

� �j�<

� #���

1���)

� 5�

8Kc�

&��

�1 ���

1���)

.

��

� uD!

&�! V

<! �

�� �

� �

��+�

� #$��

����:

�! B-

�� �

����

4.

J�X�

q1��

�4 ��

e . 4

N =

100

00

"��

. � '

���

�! (

� �!

�����

\���

+ E

��+ 4

�:0.

5

(��

����O �

�o

�����

3-12

�! ��!

( 4

#0�

1 �

� �

(�D

+ E��+

���

: �!

��

��

� �&

U

�����

&�z

# 4�

4 �! "

%�I�

�,�c

���

<+ �

30 �

,�c #

4� #

4�4 q

1�,��)

,��

�4 ���

,�"

�� ��

)��

#

0�1 #

4�4 "

%�I �

%4

"��

1 \%��

q1��

�4 ��

�� ��

1 �

"��

�&�

� � E

��1 �

$

�!

���<

+ q1��

�4 ( �

�O #

4�4 "

%�I �

�� &�

� �

KW� n

��O

1/N

&�

� � "

)�

�6��1

� 4

�!

��1/

N

&��

� ")�

.&�

�� "

� #

4�4 J

��>��

��c

�! E

&� �

�4� #

��!

�!

��N

Ak2

"

�� \

�����

. #

0�1 #

4�4 "

%�I �

%4

q1��

�4 �!

��!

Page 21: Ljung, System Identification: Second Edition, 1999

(��

����O �

�o

�����

3-13

V�0

)� �! �

�N

0�1

�! J�

�>��

�!

&��

� B��

.

�!

q1��

�4 ")� �

�1/

N

�!�+

�-j!

��&1

;!�

�,�

,��� �

� �! "

�� ��

q1�,

��4 #

4�4 0

�,1 E

��,+ V

�0,)�

&:

� V:��

. � �

� &�!

�z &

��! �

���&1

��4

# 4�

4 q1��

�4 V�0

)� E�-�

� ���

J�I

V

,<! �

�� "

�� �

�c #

$�����

�: n

��O

��

� u

D! &�

!.

� ��

/�im

puls

eest

impu

lsee

st(i

d)

&1$

� ���

<+ �

�c �

��<+

$� �� �

!�/ n

��O �

��� �

�.

�����

#��!

�4�A

4 #

4�4

(��

����O �

�o

�����

3-14

6��

��W�8

� #��!

�4�A

4 #

4�4

3-3SP

ECTR

AL A

NAL

YSIS

:B

�C �

������

�<

q

1���4 V

:��

#0�

1 # 4�

4 �! �

�c �

��<+

�! �

� �

7�61�

�&���

����:

��j�)

J��8

3-3-1 ��

�4�<

J�8�

���

K �9

����

)�

v

L�!��

( �

,� � �

��,��

�,�c

��,�

<+ q

1�,��4

V:�,

� #��!

E��+

� �� "

�� #$

�� ���

�: p

4�-

jD� #

��� �

�>1���

. V

�0)� �

! ��

- "

�� �j�

� 4

#���

���

<+ q

1���4

N "

�� J�

�>��

�! 0

�1 "

W�1 �

� #�>

4

��

� ��*

.

,�c

%�,��I

� �A

��,�-

7&,

8 �+ �

& ��

��/

0�1 0

�1 �!

J��>

�� "

W�1 �

��c

U�$

jD�

#���

��>

1��� �

��

|�D

% 0�1 #

4�4 J

K�A�

Page 22: Ljung, System Identification: Second Edition, 1999

(��

����O �

�o

�����

3-15

���

G0

J

�I� 0

&��W1

����:

�A

�&

�: E

$4 �!�

+ "��

\��

��W

γ(�0)

� � �

����

γ

�!�+

�?<�

� ����

��O"s

hape

par

amet

er:'

"

�� .

&:

� E��

1 �� �

!�+ �

� $� #

� �1��

1 B-�

.

J�I

#���

1���)

��� 0

%4

&1��

� �

� "

�����

E$�%

� #4��

� ��;

!e�

���

$� ��

6�O

Ham

min

g

,�

� ����

� #

��! E2

B-�

�� �

� #

�&�+

E

��1

"��

�&�

� �

.

�! ��

��6�

O y�8

γ &2

"�&

! ���

<+ q

1���4 4

3��!

����!

�� &�

�! #� �

1�� �!

&�!

��

� ����

+.

�&!�

�1

V:��

q1��

�4 &��

! (��

! j�A

��6�

O ���

��

� '

����

(���

� @

HI 4

3��!

�! �6

�� &�

�! ��O

j�A

��6�

O ���

��<

�1� �

��!��!

γ �!

G0(

ω)

� ��

�� �

$� �

����

��6�

O=

10

E2 �

�j;� �

1 �6�

�1 4

(��

����O �

�o

�����

3-16

� #

�>

p4�

�;A

4 ��

�! �4

K8 0�

1 �

���+ #

��!

��

��4

3-3-2 M

��� L

�!����

�v(

�)

0�1

��c

���

� v(�

)

"��

'� E

2 5���

�^+ ��

6�O y

�8 �!��

! �G1

��� �

$�! �

�� �

� y�)

E���!4

&��W1

7�j��

E

� ���

� �!

E �

� X�A

�! �6

�� ��

,� "

,�&!

�$ �

��<+

�;!��

��

�&2.

&��W1

J��8

� B!��

0�1 �

�c '

� 5���

�^+ y

�) ��

�,�c

qi,�

4 ��

,�<+

0�,1

��c

�&�!�

�� "

�� ���

! j�A

��

� $ �

��<+

'��

��.

3-3-3γ %

���

$�

H��5

�6 M��

�� �

�< +�

NE

w

γ(ξ)

:

fr

eque

ncy

win

dow

"

�� ���

� �� $

� ��6�

O 5�?

<��

��6�O

�$ ~

;� 1

��

* ��

>1���

E

2 q1��

�4M

(γ)

5�?

<�� �

> 4

��6�

O

V

�0)� �

�(��

! ��6�

OM

(γ)

4

V:��

W�(γ

)

&!�

� V�0

)�

Page 23: Ljung, System Identification: Second Edition, 1999

(��

����O �

�o

�����

3-17

�! W�

F+ �;

!��

#��!

q1��

�4 4γ�

5

"��

���F�

� $�

��

�� 5.

Exam

ple

6.1

A S

imul

ated

Sys

tem

'

����

y(

t)-1.

5y(t

- 1)+

0.7y

(t-2)

=u(t-

1)+0

.5u(

t - 2

)+e(

t) (6

.67)

y

��� �

e(

t)

q1��

�4 �! &

���1

"��

. #

�4u

J��>

�� �!

PRB

S

",�

� �&�

(�D

+ .

1000

J

��>�,�

$� �,1

��1

"��

�& �

� � ��

��� �

�c �

��<+

#��!

. ��

6�O

Parz

en �!

γ=10

, 50

&20

0

E�,�

1 ��j-,

� "

�� �&

�� �

����

���

�� ��&

F� ��

&�:

&��

� �G1

�! \

γ=50

&�

�!

(��

����O �

�o

�����

3-18

3-3-4

��

� 0;��

N� H

�����% %

I���

��� 0

P��

��

�����

�< "

�� �C�

� �$

w��

�! ��

�<+ q

1���4 4

3��!

#4�

��6�O

5�?<

��

Bia

s:

&1�

�$ 4 '

�O �;

!�� �

� �

�! "

W�1 7

4 4 J

4� S��

��

#��,

! W1�,

6� ��

;! �A

2 �j��

4 4

&���

:O

#�,:

��,6

� �&

� � �

&�

��: �

�* .

M(

)

"��

��6�O

q1��

�4

"

�� �$

���� �

! ���

+ SWc

0�1

V

aria

nce:

#

4�4 #

��! M!

�4� �

�u

#0�

1 �%�W1

4 ��

�� �

W�v

"��

. W�

&1� �&

� �

��+ K

W� ��

&���

: ��6

�O �?

<��

. q

1���4

W�F+

�;!��

q1��

�4 #��!

W�

F+ �;

!�� �

$ "

�� ���

� �� $

� 3��!

�;!��

$� � ��

��� �!

MSE

3-3-5 ���

8� Q

��E�

� �

B�8

� γ=

N/2

0

�6��1

4 ��

<�1�

��

� '��

. V

�0)� �

! qi�

�,�<+

�,�W%

� 4 V

:�� 3

��! �

� �

#0�

1 .

��

� �

���� &

�2 "

�&! \

����

����

��4

��� �

�.

Page 24: Ljung, System Identification: Second Edition, 1999

(��

����O �

�o

�����

3-19

� t

��1 q

1���)

�! ��

�!�4 �

�6�O

�� �

�1 p

����)

�� J

�W1 �!

#���

!

� V

�0)� �

!N

(��

! ��6

�O E��

+ �

) �

�0! (

��&F�

0�%�12

�� ��

�� �

�<�1�

��

&,:

,�

W1�6

� "%�I

� . $�

�;!��

6.60

'

: ���

<+ q

1���4 V

:�� #

��! ��

��

� �6

��1M 4

W� �,

-�� �

�,/

&���

! (z�

� &�!

��6�O

�!�+

4 �:

&�

��:

. �

���

4

��0!

N�

&,��

! �,W�

�� q

1�,��4

W1�,

6� M

,!�4� �

,+ �

,� ��

)�� �G

1 �

, y

�,) �,

! 4

�;

!�� $�

6.60

��

��! ��&

F�

&2

� "�&

!.

%4 "

��1 �

����

� B!��

E� �

J��6

� #�:�

�����O

��4

j�%

�! �z

���

V�0

,)� �,!

�� "

)�� �6

��1 E

��+

�N

�� �

�<�1�

(��

! ��6�

O E��+

.

3-3-6 0

��;��

)� ,

%�B

�C �

��� ���

�< :

M���

M����

�� +�

NE �

����

H

��5�6

M����

��:

"��

7�61� B

!�� "

%���

�! �&

� � �

M!�4�

SWc

�1

���) �

�6�O

J��8

� p4�

M�

�� M��

�� ��

: q

1���)

E�&��

� ��6

�O J�

�8�

���!

�! ,

p4�

� B

lack

man

-Tuk

ey

,�

",�

&! E�

�$ E�&

�� �

J ���

��9�

O&2 .

��c

': �

�6�O

y�8

�$�! �

��

�� y

�) E��

�! ��

� ��G�

� �� #

��G

��c

': 4

� u(�

) �C!

#��!

&���

: " �

�cu

"��

'�:�

�A

0(

)N uϕ

ω=

\

�+�+ �

��: �

! 4 �

�c #

��! B

!�F��

>��

W�:

�4

�Ay 4u

"��

#

��! �

0>��

J���

) �6�

�1 �

ETFE

&2

� "

�&!

.

"

��� ��

F�� $�

v�W+

�� �� E

��! �>

d�

1

(��

����O �

�o

�����

3-20

�1�>�

� �

7�61� E

��$ E

�&�� �

��%�

�>��

>�

�W�:

�!�+

� ��6

�O ��

/ �! �

� #$��

����:

E��+

� J

�I

E

��1

1��$ ��

6�O #

�&�+

4 #0�

1 B!�F

�� >

��W�

: �!�+

�$ B

-� �

&1� �&

� � �

! &:��

A #0

�1 0�

1 ��c

4 &�

� �1

B�� �

�* �!

B!�F

�� >

��W�

: �!�+

"��

#0�1

# 4�

4 ��4

E

��$ �+

��� J

�I10

0

'�

�� @H

I ��6

�O J�

�8� �!

�� ��

F! 4 '

��>!

�G1 �

��

=10

0

,�

� $ �

�,�<+

�,$

��c

"��

��)��

����

j*� �

�c #

4� ��

��

���/�

�M

AT

LA

B

����

ET

FE

�;!��

3��

� �! ��

��c

Page 25: Ljung, System Identification: Second Edition, 1999

(��

����O �

�o

�����

3-21

&1

0�� �

��<+

�G1

��� v

�F1 �

&�+ �

.

E2 y

�8 4 �

�6�O

d�1 �

�<�1�

E�-�

� M

��

��4

��

��

SPA

&1$

� �

��<+

�$ �

;!�� 3

��� �

! �� �

�c

v�F1

�&�+

��<�

1� E�-�

� 0�1 �

6�� �

,

��

��4 �

�6�O

d�1 4

y�8

�j� �

�c

��4 K

X� ��

>�

�! �

�c d�

1 �! "

��z

\��

�� p

4� �-

��pe

ak

�� ~

/�4ET

FE

,�

B�8 �

��!&�

� ��

��

spaf

dr

�$

&: 7

�61� &

1��+

� �� q

1���)

�! ��

�!�4 �

�6�O

J��8

� �! �

�c �

��<+

. g

= sp

afdr

(dat

a)

3-3-

7W

elch

met

hod:

Ano

ther

Way

or

Smoo

thin

g th

e ET

FE

p

4� �

� � �!

��L

J�c

�! E

���i�

: ��;

�N

��

� '

��F+

B-�

S!�;

#

4� #�

�� ��

>1���

J�I

L ��

%�� �W

��D�

k=1,

2,..,

M

��

� 7�

61�

� �

|�D

% 0�1 q

1���4 3

�-��

E2 �

�� #

� �W�

�D� �

��/�

�M

ATLA

b

[Pxx

,w] =

pw

elch

(x,w

indo

w)

3-4 �

"/>�

B�C

��

�v

3-4-1 +�

���� ?

��S �"

/>�

���K

J

K�A�

���

v "

��1 E

��+

� &��

! '�F�

�� #

��� �$

�&1� B

!��

(��

����O �

�o

�����

3-22

"

�� BW

� V<!

B�jD

+ �!��

� t��

1 ��

.

3-4-2��

�K +��

��� ?

��S ��

T �"/

>�

The

Resi

dual

Spe

ct1r

um

"��

1 �4

�A 4

# 4�4

\�I

�! E

��+

� &��

W1 #���

�$�&1

� B!��

���F��

� JK�

A� ��

E

2 �&�

����:

��c

�6��1

� 4

\

�F+ E

�� |

�D% �!

� �

E2 �

�&F� �

!�

"��

1 E��+

� ��

�$ \

�F+

�6

��1 �

4

�!

�� ��

;1��:

N�

� 4

�;!��

SWc

6.60

���

<+

\,�+

�+ ��

,�: �

,! &,�)

� � R

��+�

���

<+ #

��!

&�)�

� R��+

� 0�1

. �

��<+

���/

�!

"W�

1

"��

���W

�: ��

o

�����

Cohe

renc

y Sp

ectr

um

q1��

�) �!

���!

�4 ����

� ��

U ��>

�� "

W�1 �

�J

��

� �

��+ �

1�>��

&:

� E��

1 �� 0

�1 �!

�5 0

4��5�

6 ��

k(ω

)=1

��

��,!

MF)

v�W+�

� �� "

�� �

�� �

� �!

y 4u q

1�,��)

E2 �

0�,1

4 ��

�,�

4 ��

&1 j

A�&+

. ��

'��� B

�C

�� �

MA

TL

AB

����

sp

a

0�1

��c

v �!

�4K8

��G

&10��

���<

+ 0�1

Page 26: Ljung, System Identification: Second Edition, 1999

(��

����O �

�o

�����

3-23

3-5

SUM

MAR

Y ET

FE

"��

�$

W1�6� q

1���4 �

! 4 3

��! E

4&!

W1�6� �

�;!

��

� �

� V

:�� #

$�� ���

�: �!

���<

+ q1��

�4

4-1

4 P

RE

DIC

TIO

N

Lj

ung

chap

ter 3

4-11-

step

ahe

ad p

redi

ctio

n

'���

� #�

�!

�4�A

��! V

�O)

3��

� �! M

F)u 4y (

"��

�1�>�

�� L

&1 ��

��<

�1� W

����

�D1 �

! &�!

�: .

"��

�-��

�j��

$� E

�� B

��&I

$� �

$ ����

�&2

"�&

!

'�

��1

� ��

�;

!�� 3

��� �

!! 4

�! ��

�+ �

"

�� '

�:��A

�!

��

� �!��!

�����

�6��1

� :

�!

��&F

� ���

�� �

�z=

0

�! �H

% &2

� "

�&!

4

�! �

� �

� �

SFD

� ����

�&�

�61�

� �$

�>���

<+

�>

���<+

�=H

-1G

u+(1

-H-1

)y

$� ���

�� &�

� � �

��W+

�4�A

4 #

4�4 3

��� �

! �� '

����

�4

�A ��

%&�

U '

����

J&�

$� dK

c�y=

Gu+

He

"

��

�����

��!

V�O

J&� V

F1

"��

'���

� J&

� $� �

����

Page 27: Ljung, System Identification: Second Edition, 1999

B?)

2 :;

A '�

���

�4��

-&:

�� ��

>�1�

-#�

Wc&�

�&���

4-2

?"� a

"�

�&�!�

p4�

�� �

v q

i� 4

��! V

�O�

&2

� "�&

!

���� b

��

v� : �;

!�� �

�! V�O

�� #

��!v=

He

��e

4 &���

0�1

h(0)

=1

�&�

����

1 �$

5��?

! "��

�!

�6��

��

#

��H���

�! �

� �

e=H

-1v

&2

� "

�&!

��! V

�O J�

��) R

�) �;

!�� �

3.

15

3.16

One�step�ahead�Prediction�of�y

��<+

#��!

J�I

y '�

��1

us

ing

(3.1

5) a

nd (3

.19)

, res

pect

ivel

y. C

olle

ctin

g th

e te

rms g

ives

or

#�

&� 1:

'��

��M

A

Exam

ple

3.2

3

��� #

��!3,1

6

'��

&:

� �

6��1 �

3

��� �

! 43.

15

B?)

2 :;

A '�

���

�4��

-&:

�� ��

>�1�

-#�

Wc&�

�&���

4-3

��<+

$� �

4 ��

"��

E2 �

J���

) 4 5

4��+

v &�

� � �

����

� 0�1

. #�

&� 2:

'��

�� J

�X�A

R

Exam

ple

3.

Con

side

r a p

roce

ss

Th

en

and

the

pred

icto

r, ac

cord

ing

to (3

.15)

,

Unknown�Initial�Conditions

*�

<M� #

'��E �

�! v

�!�� �

� B

�8 �

(-

,1]

"

��1

����

. �

� ��

��H� �

�* ��

12 #�6

! �� "

�� �

� ��� �

�+ �

��.

&:

� J

�W� B

!�� ��

�� �

��� �X

�� �

��W%� �

� "��

W�F

+ J���

) ( �

� ��

�� "

� .

��&�O

#�:�

�j�) #

�: �%�

W1 ��

"�4

�12 $�

��

&14

� � �

�* "

�� �!

j��

1�1�i�

��

*�<M

� ��8

%�

The�Prediction�Error

� �

��<+

#�;

A

��

�%�I

� G 4

H �

��! &�

��: S

�� e

�&

� #�:

�� �

! #� �

;!�� &

:

� E��

1 �� &

2 � "

�&! &

��� 0

�1 ��

&1 .

�;A

�� �

!in

nova

tion

E

��$ �

t &�

��

�.

4-2k

-ste

p-ah

ead

Pred

ictio

n of

y

'�

���

�� ��

��4

��! V

�O &�

� &�%�

+k

step

ahe

ad )

3��

� �!

u �+t+

k 4y �+t (

"��

1 E��+

� �

1�>��

��

$�

'��

)�c

Page 28: Ljung, System Identification: Second Edition, 1999

B?)

2 :;

A '�

���

�4��

-&:

�� ��

>�1�

-#�

Wc&�

�&���

4-4

��<+

"���

"��

J4� �

j�� E

�W1 3

��� �

�! �

��+ �!

��v

&2

� "�&

!

��<+

�;!��

� �;

!�� �

� E �

���� �

!y

'��

E

�� |

�D% �!

&2

� "

�&!

#�

&� 3:

J�X�

: #

��! '

����

��!

V�O

�$2

&���

�W��

D� �j

� �!

7��

4-3 �

0��"�

�� ��

"�% �

��� b

��O

BSE

RV

ER

S

J����

#��r

+ � #

�$

���� �

U

��!

V�O

��

� 7�

61� 0

�1 $� #

�$ J

&� E

�� |

�D% E

4&! J

��>��

J

&� $�

4"

�� #0

�1

�4�A

�-�%�I

� �

$ J&�

BX�

��

� ��

)�� ��

�! ��

��

y(t)=

G(q

)u(t)

5��?

! '��

�� J

&� &�

�� y

�)

p

4�1 :

?�� �

J&

� 5��

�! V�O

:�! "

�� �!��

! 4&

D� #

�:����

��O �!

���

$�! 5�

�?!

:

B?)

2 :;

A '�

���

�4��

-&:

�� ��

>�1�

-#�

Wc&�

�&���

4-5

p

4�2 :

�� �

�����

0�1 4

&D� �

1 #�:�

�����O

�!�$

J&� $

� E��+

)�c $�

�1 &

��! ~

�D*

�� �

��&�

��: �

!��� J

&� 4

�: t

� .

#��1

��$ #

��! ��

���

(%H�

�s<

0

4 4

p4�

&,��

W1 �,�

�� p

4� &�

�! #0�

1 �4

�A ��

�1

"��

��W��

�� �<�1�

�!

��

� �! �

>�4�

J&�

��<

�1� �

��!��!

���4 �

�8% ^

�� ��

�� " �

�'4 +�

6�

��) *

�� c

� �;

A $�

��%4� M

���

��

j�) �

��+ �!

�� �

�! V�O

p4�

w �

�� �!

� �� �

��4�

��: �

+ ��

�%���

) E��+

.

'��

�� �%

��� @

�c 4

� �

w J

���) �

+ �&�

��/

��!

V�O

&2 "

�&!

. ��

� J�I

w=1

#��%

&� ��

��

� �

�����

�>��

4� 3

��� �

! ��! V

�O �

2 41 &:

&! &1�

�+ �

��.

� ��

��! �>

���<+

� w

=H-1

"

��.

�W

�+ &

��� �

�<�1�

#�D1

�! ��

WG

&�

�! �&1�

� ���

� ���

� M

���

�C� �+

Mjo �

�%4�

4�

��! $

� ����

W

�� &�

�� ��

<�1� #

�D1 �

! ��

�4�A

0�1

E2

���4 J

&� '

o��j8

��

���]

+.

4-4*<

!�7 ��

5�E

�� �

4�A ��

��! �

��<+

��%�

� ��j�

) y4��

� M��

� �

&:

� �_���

�� "

%�I #

�]) J

&� #

��!

E� �

��v 4

w >1�

�� �!

��� B

F��� #

�:0�1

� #

��,�1

�����

4 ��*

�R

1 U

R2

B

,!�F��

4R

12

��,�

<+ &

��,�:

y �

� �

����

1 �1�>

��

��

K ��

%�� ��

�!

Page 29: Ljung, System Identification: Second Edition, 1999

B?)

2 :;

A '�

���

�4��

-&:

�� ��

>�1�

-#�

Wc&�

�&���

4-6 4

P (�)

��

�<+ #

�;A

q1��

��� q

�+��

+�-�

J���)

BI

$�R

icca

ti

&2

� "�&

! �$

4-5+=

$% �

�! V�O

J���)

��

��! "

%�I �

��W

=H-1

"

�� .

$� d

Kc� 7

&8 5

��* �

H ��

&��

! #�D

1 �! &

�!W

G

4 �&

1�� ��

�� ��

��W

&�� �

�j�) ��

�4

�A 0

�1

"%�I

� k-

step

$�

E2 ��&

F�

&2

� "�&

!

5#�

��.

����

b��

L

jung

Cha

pter

4

5 -1 #

�� +N

'<��

��.

����

b��

�"�S

� ����

����8

% ���

� �

���

J&�

;A

'��

��j

"

�� E

2 � �

�g

���4

'��

�� �!

�/ n

��O

4h �,

! �,�

",�

� JK�

A� &%�

� J&�

�!�/

n��

Oe

�,�

,�

(,�

D+ .

#��%

��>��

g 4h ��

����� 6

��B���

" ��

5� #'�

d'<

&1��

. #

$�� ��

W� #

��!g,

h 4

PDF

J

��>��

e (f

e)

&�!

&��! l

<��

. f e

��

� l<�

� E2 q

1���4 4

��>

1��� �!

�� "

�� )

�?+ e

����

.N

(0, �

)

*

��2��

#��

mod

el st

ruct

ure

:M

J&�

��W�

�O

(��

����O

j�

;A '

����

,M

(�)

$� "

�� 5�

�W8:

6

��4 #

�� I

� �E�=

*��

�-

j! ��

�A��

�! ��%

&� �8

��6�

"!�C

4 � "

�� 54

����

. #$

�� ��

W� �

�-�%�I

'���

� J&

� e

3��

� �!

PDF

U �

� � &

�%�+ E

2 ,

�4�A

J��>

�,� �

�W,�

J&,

)

j*�

+0�

1+

JK�A

� (

# 4�

4 4)

j*

�+

0�1

( �

� �

�:�}

. �

,� ��

,��1

5�&:

��� 3

��� �

! �)�*

J���

) ���

! ��!

�! ��

f e(x,

�) �4

"��

1 ���

!

����

\jo�

#�:

�%�W1

g(k)

, (h

(k)

J

�c&�

���1 �

����

� B!��

K�8 �

� &���

: &�j!

. �,

! &,�

! ��,z

�1 �,! 4

��

&1��

����

1 4&

D� �

�!� �! "

%�I #

�]) �

#��

� �

4&D�

�%�W1

3��

�.

J&�

j�

"%�I

� ���

� �W

��

;A

'���

�! "��

�!��!

)

()

()

()

()

()

()

()

(t

eq

Dq

Ct

uq

Fq

Bt

yq

A

Page 30: Ljung, System Identification: Second Edition, 1999

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-2

&1��+

� �

� "��

32 ��

�� L

��<��

� E2 $

� 54��

�� ���

A��

6 &1�

�� �

���� �

����

� ���

����

! E2 "

��) .

FIR

A=F

=D=1

, C=0

A

RX

F=C

=D=1

O

E

A=C

=D=1

A

RM

AX

F=

D=1

B

ox Je

nkin

s A

=1

Stat

espa

ce

x(k)

=Ax(

k-1)

+Bu(

k-1)

"

�� ���

� �� $

� J&�

�� �

>���

<+

�(

t)=�’

�(k,

�)

5 -2� #

���8

% ^'�

�F� �

��� b

&2

� �

;A E

�����

� 5��?

! '��

�� #

��%&�

$� ]

�! ��

W��O

J&�

.

;A J

&� �

����!

÷ J

&� #

����&

�9

"��

��j;

� ����

! J&�

�� �

G1 �

� $� �

�&1 ��

;A

��o .

$� &�+�

�W8 ��

%&� �

�:

5 -2-1A

RX

: Equ

atio

n E

rror

Mod

el

J

&�A

RX

"

�� �1�

>��

)

()

()

()

()

(t

et

uq

Bt

yq

A

A

R p

art:

auto

regr

essi

ve p

art A

(q)y

(t),

x pa

rt: e

xtra

inpu

t B(q

)u(t)

(cal

led

the

exog

eneo

us v

aria

ble)

E

�ze(

t)

��� E

2 �!

��

� �:�}

q1��

�%

��� �;

!�� �

���F

equa

tion

erro

r mod

el

���'F

��

M,�

�+ 0�

,1 �,�

,�

y�)

J&� �

��$

��&1

S!�;

+ -0

�) "

����4 �

! ���A

�� �

� 0�1

J&�

1/A

�,

! 4 �,

�j�)

��

� J

��8� '

����

. �

V%&�

;A

E���

��� 7

�) B�

% �!

(%H�

�;

��

� �

� E�

�1 K

m ��

"��

�%&� �

����

� $� (

.

�� �

>���

<+ J

&�

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-3 ��

;A

E���

��� 5

��?!

Li

near

regr

essi

on �

���1

�1�>�

� �

E2

� ��

�&�

�&:��

� #��

#4�I

E���

��� �

� �!

4� "

�� J&

� #�:�

�����O

�� �!

. �! "

�� �!��

! ���

<+ #

�;A

�:

������O

$� �

<! ��

�μ

"��

1 E��+

� �

1�>��

�� �;!�

� &��

�! 7�j�

5 -2-2FI

R

J&�

FIR

"

�� �1�

>��

)

()

()

()

(t

et

uq

Bt

y

� ��

��1 E

2 �!�/

n��

O �! J

&� ��

. "

�� ;

A E�

����

� ': J

&� �

�)

b�A

"%�I

AR

X (

b�,A

"%�I

4O

E

�����

�O ��

��

� � �

E��

1 �&�!

�-��

��/

U"��

effic

ient

ly e

stim

ated

4ro

bust

aga

inst

noi

se

"��

. �1

������

#���

���

4 '��

�� ��

� &

I�4 ��

� (

01 \

;� &

��!

��0!

E2 �

!�/ n

��O J

�c "

�� \

�+�+ �

��: �

! 4 �:

������O

�&�

+

��

� &���

��o p

4� 4

�$ ��

��!

B�%

�!

;A E

�����

� "0�

��!�:�

�����O

�&�

+ B-�

� BI

#

(��-

+

��

� �_

��� �$

.

E

2 � �

"

�� .�

��&F�

\

;� $�

���

<+ ��

��

����

BW�

$�(

01

&

I�4 ��

� "

��.

#� �

,j��

&,�z

$� ,

j� "

,%�I �

Lagu

erre

��

� ���

�� "�

� �-�

5 -3 #

�� *

��2��

Ps

eudo

linea

r re

gres

sion

"

�� ;

A �W

� E�

����

� 5��?

! '��

�� #

��%&�

�>

��W�

�O J&

� .

Page 31: Ljung, System Identification: Second Edition, 1999

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-4 5 -3-1

Out

put E

rror

Mod

el S

truc

ture

\�/

J&�

�� �

y 4e

�H% "

�� �!��

!ou

tput

err

or (O

E) m

odel

4

��

� �&1�

�Aw

(t)

"��

�1�>�

�.

J&� '

����

�� �

>���

<+

w(t)

���1

#���

�$�&1�

0��:

� �

#$��

��W�

���

<+ #

�:����

��O 3

��� �

! �-j!

J

&� �

� �

w �

� �

�W��

D� �1

�>��

5 -3-2A

RM

AX

Mod

el S

truc

ture

� �

���

+ 0�1

#��!

b�A

��j�)

�! %

&� U0

�1 �

�c "

4&D

� B-�

� BI

#��!

.F=

D=1

)(

)(

)(

)(

)(

)(

te

qC

tu

qB

ty

qA

MA

psr

t: M

ovin

g av

erag

e (M

A) p

art C

(q)e

(t),

�A

RM

AX

"

�� �?

��� 4 J

���� �

��&

1���� J

&�

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-5

J&�

�� �

>���

<+

��

"��

.

�6

��1 �

&,

2 � "

�&!

. �,!

��,�

��� ��

�,! �

,�

,� �&

, �,

-1��9

�: �

E2 �

,! 4�,�

� $� "

,�� �

�,�!�4

Pseu

dolin

ear

Reg

ress

ions

&�

��

�.

d4��

� t=

0

#���

��<+

&��$

��1 ��

�<+

t<0

� �

� �

��* �

�F� �

�12 �!

E �

W1 �

��� 5

��* �

�� "

�� .

A �C�

�+ &�

�1 "�&

! ���

4 ���

<+ �

� �

u8�!

B�8

�� �

�W%�

��

���� E

2 #�;

. �

")��

�G1 �

��*

�� ��1

2 E��+

� �

� ��

$ ��1

��%4� M

���

� �F�

�! '

���>

%� ��

. �,

! �,�%

4� ��&,

F� �

�,;A

�C� "

W�1

cμ ��

��

� ��

��μ

��*

����

�0! ��&

F�C

(z)

"

��

� $�

��

��� ��

"��

�� �

> ���

max

(n*,

nb)

&�

�! ���

�&1 $�

�1 J��

6� ��

%4� M

��� �!

�+ �

� d4

��

5 -3-3 #

��A

RIM

A(X

) #

�6! �

��y(

t) 4

u(t)

J

&� �

AR

MA

X

��

� ����

� ��12 q

1��

$��y

=y(t)

-y(t-

1)

J&�

AR

IMA

X

�,��

4u=

0

&��

!A

RIM

A

&2

� "�&

! .

5eK

�,A� E

�,�

J&� #

��! ��

��

��4

J&�

� 0

�1 J��

>�1� J

&� �

� �

�"

�� \

����

&�

5 -3-4A

RA

RX

Page 32: Ljung, System Identification: Second Edition, 1999

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-6 5 -3-5

AR

AR

MA

X

'

����

#��!

j� �

>���

<+ J

&�B

J

�! "���

!��!

5

��?! �

�PL

R

��

� ��

��1 �

1�>��

#��1

��%�

PLR

$� &

�+��W8

:

(�D4

1 :

��4

�I

'��

��

"��

��&�O�

1)

�,�

�A

&,I�4

��,�

L��,

A(

",�

� ��&,

�O E2

�,>�

��<+

2 : y

�! "

W�1 &

�!�

�!�

+sm

ooth

&�

�! S��

� #���

&�! �

� ���

�� �

! &��

! .

"��

���� �

� $� �

�� �� 5

��W+

.

�>

���<+

#�:�

�����O

�6

��1 �

G 4H

�! "

W�1 &

�!�

4 �H

O S��

�H

-1

&��! �

�&�O

."

��1 $

��1 ��

� M��

� 7��

+ �� �

�W%�

.

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-7

��� ��

%�� �

���

��

����

� J&

�n k

"��

�!��!

�� ��

A�+ &

I�4

j� �

�! V�O

J&� �

! ��

y �

� �

� $ �

��<+

5 -4

+� 6

!�) �

�eE #

��A

RM

AX

#

4�4 J

&� #

���0�

$� � �

���� #

��! %

4 ��

��4

"%�I

#�]

) J&�

��

��� #

��! '�

��>%�

- E

��,+

� U�

4�A J

&� �!

�� "

%�I #

�]) J

&�A

RM

AX

� B&W

+ .

B&W

+ �� �

3

"��

��?��

"%�I

1 ( 0

�,1 E

4&,! '

����

2 ( #

��� �$

�&1� &

��� 0

�13 (

#���

�$�&1�

': 4

&���

) 0�1

':

1 : ^

"�� �

���

��'4

�����

E

! "%�I

#�]

) '��

��

�4�A

0�1

MF) �

# 4�4

J&�

�! "

%���

�!-

��

� B

&W+

�4�A

�=A(

�)x(

t)+B(

�)u(

t) y=

Hx(

t)+v(

t) 2

�! ��

1 �

��7

��� +�

'��

���7

�� V

����

. )p "

�� S�

�� ��

+��O�

( &2

� "

�&! E

2 ���

�� J

&� �W

�����

��

y=H

(pI-

A(�

))-1

B(�

)u(t)

=G(p

,�)u

(t)+v

(t)

��O

�! #0

�1

�4�A

����

� #���

�$�&1

�T

���

� 7�

61�.

��

jW� 5

�/4��

� SWc

�: �j

*�) �

# 4�

4T

3�,�

� �,! �

�,���

J&,

� U �

,� �,

�)�� �

G1 �

"!�C

�W�F+

step

in

varia

nce

"

�� �W

��D�

B!��

. #�

&� 1:

�'�'�

����

��

�� #�

&�

# 4�4

J&�

�$ "

%�I #

�]) 5

e ���

�!-

&��

��!

�4�A

Exam

ple

4.1

D .

&���

y�)

u �6

��1 �

��

� J

��8� ��

+�� �!

#� �

jO

/(

)(

)(

)(

1/)

ys

ut

vt

ss�

��

y=[1

0]x(

t)+v(

t)

Page 33: Ljung, System Identification: Second Edition, 1999

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-8

����

� J&�

G �! "

�� �!��

!

1/

1

1/

1(1

)(

)(

)(

1/)

11

T

TTz

ez

Gs

Gz

ss

ze

z�

��

��

���

��

��

��

��

��

��

�;!��

�! �6

�� ��

y(kT

)=G

(q)u

(kT)

+v(k

T)

� �

. y

�) �! e

�I

��! V

�O J&

�v(

t)

&���

0�1

G(q

)u(t)

� �! �

� ��

����O 4

�! M

F) #$

�� J

&� ��

&� �&

/

�� 0�

%�12� "�

����

���4

.

2 : ��

g��'

4 "

�����

E��

�F /��

�4�

"��

�1�>�

� '��

�� �

� "%�I

#�]

) J&�

�� v 4

w &�

��: �

$ #�

��1��

��� 4

��* �

�>1���

�! BF

��� #

�:0�1

� y

�) E��

�1 ��

� ��

��

v 4w

��12 #

��! &�

! &���

: &���

0�1

�G1 �

J&�

��

",%�I

#�,]

) �,�

� �,�

",)�

�&:

� V

�0)�

. ��"

�% *

�<M�

�� *<

!�7 ��

5�E:

#'��

E1

&:

� �_���

�� �

4�A ��

��! �

��<+

��%�

� ��j�

) y4��

� M��

� �

��

K ��

%�� ��

�!

4

P (�)

��

�<+ #

�;A

q1��

��� q

�+��

��

$�

+�-

� J�

��) B

IR

icca

ti

�$

&2

� "�&

!

&2

� "�&

! �4

�A �

��<+

3��

� �� �

!.

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-9

E2 J

&� ��

AR

MA

X

"��

.

W�

� �� �

��� #

'��E

e(t)

In

nova

tions

: #

'��E

2 J�

��) 4

.48

&�

�� 0

�1 (

\�I

�! E

��+

� ��e

"��

1 �1�>

��

&���

0�1

E2 �

��e

q1��

��� #

���

J

&� #

&�! J

���) �

� �!

AR

MA

X

&2

� "�&

! �$

7�) �

! "%�I

#�]

)

#

��! �&

� �

��+ 5

�?<�

� �! �

$ �&

� ��j

�) 0�

1 J&�

�� �

e

��

��4 J

&� �

v(t)=

H(q

)e(t)

��

���S

� ^���

4�� �'

�B�

: K

�!�+

A,C

,R1,R

12

"��

. ��

�F�,�

� �,�

",�

� ��W�

���

+�W��

D� �G

1 $�

K �

!�,+�

��

����

1.

#�&�

2: #

�� V

����

com

pani

on II

+�

AR

MA

X :

7�) "

%�I #

�]) '

����

com

pani

on

�! "

%���

�! �$

J&�

AR

MA

X

��

� B

&W+

.

-

B&W

+ �!�+

\�+�

+ �&!

G

G�

B

&W+ �

!�+H

&2

� "�&

!.

H�

� �� �

��

��

� 7�

) �! "

%�I #

�]) B

&W+ �!

���

!��!co

mpa

nion

II

J&�

AR

MA

X

&2

� "�&

! "%��

� �!

.

Page 34: Ljung, System Identification: Second Edition, 1999

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-10

5 -55��;

`"�

�6

^�'�

���

���

�8% #

��1(

"%��

� #�

�! '

����

y=G

(q, �

)u+H

(q,�

)e

"��

1 E��+

� �

1�>��

��

V

�O J&

��! E2

2(

��� &

�% ���

J&�

4

3(

V�O

J&�

��!

&��! �

�&�O &

1��+

� ��&

�O�1 '

����

(

��&

�O�1 '

����

#��!

��(|a

|>1)

"

�� ��&

�O �

�! V�O

J&�

�=

H-1

Gu+

(1-H

-1)y

4(

4 &�

�! ���

� �

�4 �

$ S��

� ��

&��! �

���: &

�! V

�:���

���O �!

"W�

1 J&�

� &�

�! ��&

�O

����

#�

&�A

RX

and

5(

Iden

tifia

bilit

y Pr

oper

ties

�&

,�2 "

,�&!

J&,�

�2 4 "

�� �

�! �?

D�� J

&�

�����

B*�

I �2

True

"

�� '�

���

. �

� �

���W

+ �1�>

�� /

�� �G

1 $� d

�/��

��

a m

odel

stru

ctur

e is

glo

bally

iden

tifia

ble

at �

* if

and

only

if

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-11

(z=a

ej� )

6( �

�O ��

��'

24 c

�M�4�

6�

� ����

�� +4'

<4

&2

� &&O

J&�

� 7�

�!�.

7("

�� B-

�� ��

��! l

<�� #

�����

�� �

�� �

06! E

�!

�����

B!��

���]

+

8(T

heor

em 4

.1.

: '

����

BJ

�����

B!��

"��

��

i. Th

ere

is n

o co

mm

on fa

ctor

to a

ll

ii. T

here

is n

o co

mm

on fa

ctor

to

iii

. The

re is

no

com

mon

fact

or to

iv. I

f na�

1, t

hen

ther

e m

ust b

e no

com

mon

fact

or to

v. If

nd�

1, t

hen

ther

e m

ust b

e no

com

mon

fact

or to

vi. I

f nf�

1, t

hen

ther

e m

ust b

e no

com

mon

fact

or

Th

e st

arre

d po

lyno

mia

ls c

orre

spon

d to

�*

. C

orol

lary

. The

mod

el st

ruct

ure

give

n by

(4.1

42) i

s glo

bally

iden

tifia

ble.

9(

The

orem

4.2

.

���

���T

rue

syst

em :

'��

��Tr

ue

�,j��

&,�z

�,��

�,��

��

�����

&��!

���4 '

����

#� �

j�� &�

z 5�

�� $

� ����

0! J&

� #��

Page 35: Ljung, System Identification: Second Edition, 1999

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-12

10(6

!�) �

�eE #

�� ^

�'� �

�����

V��;

`��

: #

��,�

�+�� #

�,�1��

%� 7�,�

+ &,1��

���1 �

,� "

,�� ~

/�4A

,B,C

,K

J&�

��$

&���

! ����

��O4.

92

MF)

3n ��

�HO

� �

� ����

��On

q�+

�� &�

!A

&��!

. 4�

�� $�

&�! '

����

J&�

com

pani

on

&��!

"�K

8 �! #

��1��%

� MF)

4x

&��,�

: '�,�

�����

���O .

J&,

� �,�

",�

� E2 J

&,� �

,� E

�,!

�,��

�� B

,!�� v

�,�A

RM

AX

#

��r+ v

4�� E

2 ��G

14.

1

�Hi

! ��.

4 �H

,O J�

,��� "

,%�I #

�,]) J

&,�

��4 �

A �!�

1 �! v

�� �

� �

� �

����

+ "��

�HO "

4�.

���A

�� �

v��

��

com

pani

on I

I

J�,�

�� v�

,� �,

! "��

�HO "

4� �

A ��

#�H

O #

4�4 4

'��

��{A

(�*)

, [B

(�*)

K (�

*)]}

&!�

� B

�jF+

5-6

SUM

MA

RY

"

�� �$

7�) �

! ;A

'��

��

��! V

�O J&

�!

��e

&2

� "�&

! �1�>

�� J&

� &���

0�1

E����!

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-13

5-7

MO

DE

LS

FOR

TIM

E-V

AR

YIN

G A

ND

NO

NL

INE

AR

SY

STE

MS

Lju

ng C

hapt

er 5

� J

&� &

�+ E

4&!

LTI

"

�� -

����

#���

����

#$��

%&� p

4� �

�+ �

��8

. #

�4�/

� 4 &

��� \

jo� (

%H��

��

��)��

�G1 �

0�1 E

��$ �!

���!

�4 4

;A ��

o &�1��

��%&�

�>

�� "

��.

�5�

�*4

�! #$

��%&�

� G

rey

box

p

4�4 �

!Ph

ysic

al in

sigh

t

� 4

som

e ph

ysic

al in

sigh

t

� ��

blac

k-bo

x ty

pe

� "��

�-��

��

7�61

. d�

1bl

ack

box

&�

1����

�E " 6

!'�" h

��GN

+D��

5 -7-1L

INE

AR

TIM

E-V

AR

YIN

G M

OD

EL

S

&���

: ��^�

� E��$

�! ��

�!�4 '

����

#�:�

�����O

. �

J&�

5��?

! �� ��

����

� �

� E

��$ �!

���!

�4#

4�4-

�4

�A

�� g

t

E��$

�! ��

�!�4

W

eigh

ting

Func

tion

"

��

�"

��1 E

��+

� "%�I

#�]

) 4

"��

���F�

� $� E

2 ��!

V�O

J&�

"

%�I &�

1�� ��

LTI

#

4�4 5

��?!

- �

� ���

�1 &1�

�+ �

�$

�4�A

.

Page 36: Ljung, System Identification: Second Edition, 1999

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-14

���

� i

�% ��

'� "�

LTV

1(6

%�'�D

� ��X

�����

� +4'<

4:

'���

LTI

�,

!no

nequ

al s

ampl

ing

inte

rval

s

#���

�,���

�,! �

,6��

LTV

&1�

� �

2(

;A

���

� J�I

#$��

: ��

�!�4 '

����

�! �6

�� &1�

�+ �

��

;A

���� J

�I

;A ��

o ��

���

��4

��

E��$

�! .

�$ '

����

(

z�� J

��>��

#�:�

�^�� �

�)�� �

G1 �

�! ��

;A

��4

$�

� �

�� �$

E��$

�! ��

�!�4 '

����

Th

is m

odel

is

now

a L

TV a

ppro

xim

ate

desc

riptio

n of

(5.

8) i

n a

vici

nity

of

the

nom

inal

tra

ject

ory.

5-7-

2M

OD

EL

S W

ITH

NO

NL

INE

AR

ITIE

S

�8% �

�X ��

B!�� 6

�<.�

�����

&�! �

$ ;

A ��o

'��

��

��4 &,

�� J&

� ��

�4�A

# 4�

4 v�W+

�� &1��+

� �

���

;A ��

o J&�

. ��

��

��

��� &

�! �� #

� �D�

* B-

�&:

� E

��1

.

y(

k)=y

(k-1

)-0.

5 ta

nh[y

(k-1

)+u(

k-1)

3 ]

"��

�&�9

�O ���

�! 4

"��

d����

4 �

$ #��

�&�

+ &��$

��1 e�!

��!�

� ;

A ��o

w�;

�����

.

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-15

#� �

jr,��

&��W1

�$ E

2 #�:�

�����O

�&�

+ ': &

��! "

����4

�! (

01 '

: �� B

_��� �

� E �

� �0�

�����O

>1�

>z! �

� "��

��

��4�

&�.

#�&�

3:���

����

"��

� �� &

�%�+

;A ��

o '��

�� (

��

"��

�1�>�

� ;A

J&�

#���

��-!

�! ��

��� �6

��1

;

A ��o

J&�

#���

��-!

�! ���

&2

� "�&

! .

���!

��<�

1� �!

"��

�&�

� � E

��1 0

�1 ��

��� 0�

z�1 #

�;A

�� &

2 � "

�&! �

$ �6

��1 J

&�

Page 37: Ljung, System Identification: Second Edition, 1999

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-16

E��

+ �

�I

�� E

�D���

0�1 ��

�>

#�:��

����

5 -7-3Ph

ysic

al m

odel

ing

(

,���

(,

��� �

�� &

2 �

"�&

! '��

�� (

��r+

0�%�12

$� J&�

U#$��

%&� d�

1 �� �

B

��,�

10 U#

4�4

5 4

�4�A

15

��

� ����

��O

5 -7-4 W

�� �

� #��

crud

e ph

ysic

al in

sigh

t

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-17

#�6

! p4�

�� �

#�,�

J&,

� � 4

��,�

�+ ���

o 4 ��

��D�

4 ���

� ���

)� &�

1�� ;

A ��o

l<�

� B���

8 J&�

B�

��

� �

� .

Wie

ner

and

Ham

mer

stei

n M

odel

s ��

����

4 �:

� �

4�A �

# 4�4

;A ��

o E��%

� &�2

� "

�&! �

1�>��

��

��%&�

�H

amm

erst

ein

mod

el

#

4�4 �

;A

��o B

��8 �!

Wie

ner m

odel

�!

B��8

4�A �

;A

��o

Wie

ner-

Ham

mer

stei

n m

odel

.

Oth

er m

odel

s

�0

��<M�

�B!

��

"��

�1�>�

� &���

�1 0�1 �

&�9�

O �� �

�%&� �

� �>�

��<+

��

� ��

��1 �

1�>��

#���

��� J

&� "

%�I �

� �

.

"

��1 E

��+

� p4�

&�z

�! �� J

&� �

� ���

��� �

� �!

!� (

j��

Bla

ck b

ox :

��

����1

#� �j

�� &�

z 5�

�?!

;A ��

o 7�+

�� .

J&�

� K

X�H

amm

erst

ein

• �

� �

�$

;A E

�����

� �! �

6�� �

� ��

����

1

Page 38: Ljung, System Identification: Second Edition, 1999

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-18

c ( U

se p

hysi

cal i

nsig

ht.

: 4

�&,�O

E2 #

��,! #

0���

J&� E

��+

� -0

�) ��

1��� 4

;A

��o B

��8 0�

%�12 �!

"��

1 .

p4�

�� �

!se

mip

hysi

cal m

odel

ing

���

!# $

%

��� K

X�6

� ^�'

� ��"

�%

E2 �!

��� 4

"��

E���

� Q�

�%4 �

�]j*

�I

;A ��

o 7�+

�� "

�� 7�

j��

&��

!'��

MA

TLA

B

m =

nlh

w(d

ata,

[nb

nf n

k],In

putN

L,O

utpu

tNL)

sp

ecifi

es i

nput

non

linea

rity

Inpu

tNL

and

outp

ut n

onlin

earit

y O

utpu

tNL,

as

a no

nlin

earit

y es

timat

or o

bjec

t or s

tring

repr

esen

ting

the

nonl

inea

rity

estim

ator

type

.#�

&� 4:

����

�'% b

����F

�� +4�

% #�&�

Exa

mpl

e 5.

1 :

�,1�A

5���

,I �,

�� �

$ #&

����A

�1�A

� y

�,!

&���

�A V

!�+ 5&

�I

N�O

"8��

4u

"��

���!

�4 .

J&�

"��

�-��

E2

-0�)

"���

�4 �! �

��+ E

4&!

Bla

ck b

ox

� "

W�1 E

2 �! ��

�$

;I

"��

1 ���

4 J&�

��

� 7�

j�� "

� h

&1� �!

. R

�) J&

� ��

�� ��

�Am #

Q�1� &

�W1 "

�� p

���A

N�O

��4

KX�

&�)�

�1 R�

�+� ��

�4 � �

-�%�I

� J

��8� ��

12.

^

��7 +

E�H�

Phsi

cal i

nsig

ht

&���

�A $�

�)��

#Q�1

� U#Q�1

� �F! E

�1�� J

��8� �!

d 2.I

�!

�6��

���

-j� �

#Q�1

� ���A

m ���

^+ x

(t +

1) –

x(t)

M�D

� �! 5

��j+

d 3. x

(t)

��

� N

�O S

�c $�

$�� ��

�Am �

! J�F�

1� 4d o

. x(

t) . u

(I)

� #

Q�1� �

��^+ �

! �6�

� N�O

S�c

$� �

)�� #

Q�1� \

�+�+ �

��: �

! ��

�Am �

W�y(

t + 1

) - y

(t)

�,! �,

��� J

�,F�1�

4 �

� �

R�+�

.y(

t + 1

) - y

(t)

M

!�4� �

� �

d &1�

�����

&�! �

� &���

: �:

������O

�:.

E�z

x @

H,I

&,�!

M!�4�

$� �

� �

1 #���

�$�&1

��.

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-19

#�,:

������O

4�,�

� $� "

�� �&

�9�O

-0�

) #�:�

�����O

4 J&

� ��! v

�W+��

�,+

�,�

,�

,)���

,W��

�+ &,

&� �

� 7�6

1� ���!

��

��� .

�� �

���+ ��

-0

�) #�

:����

��O E

��+

� "�<

1 �

.

� �

��

��� '

����

4 ��

��1

;A E

�����

� 5��?

! ��

.

#�

&� 5:

�8% �

�X ��

��

&�

���!

;A

E���

��� 5

��?! ��

�$

#�

&� 6:

�8% �

�X ��

��

&�

���!

;A

E���

��� 5

��?! ��

�$

5-7-

5N

ON

LIN

EA

R G

rey

box

STA

TE

-SPA

CE

"

�� "

%�I #

�]) 5

��?!

;A ��

o '��

��

j� J&

Page 39: Ljung, System Identification: Second Edition, 1999

;A

��o 4

;A

E���

���

- ��

>�1�

&:��

-

�Wc&�

�&���

5-20

��

w 4v 4

) �?

+ ��^�

��

"��

:����

��O ��

�! ��

�� �

$ 7�)

J�I

�: �

'��

�� �

� �>�

��<+

H

ere,

for e

asie

r not

atio

n, w

e in

trodu

ced

�! "

�� �!��

! ���

<+ #

�;A

4

#�<N

� /��

/��b

��

����

(

0�

1 $� y

��o� �

��<+

J&�

#��!

� ��

���

"��

�$ �>

���<+

$� � �

���� 4

��! V

�O J&

� �� �

!si

mul

atio

n m

odel

��

$ &�

��

�(t|�

)

J�,�

8� 4 0

�,1 E

4&,! J

&,� #

$�,�

��W,�

�!&2

� "

�&!

���4 #

4�4

. #�

&� 7:

#�&�

Exam

ple

5.2

Del

igni

ficat

ion

: �%

��� �

! �$

'���

� �

��

4�4

��u

#�:�

�����O

4

���

<+x?

$��!

�� ;

A ���

��� J

&� �

+ &�

� "�&

!

#

�� 4

�4 ��

)�� �G

1 � �

!u

���

<+ #

���!�C

4x?

&�

� "�&

!.

� �&

� #$

�� ��

W�

�4�A

�6��

� )

��! V

�O (

���

4 �4

�A �!

)�&

� #�

�� �$�

&1� (

��

� �

��F�

.

5-7-

6SU

MM

AR

Y

E2

,-0�

) J�,�

�) �,

#� �

,j��

&,��

M,�

�+ ���

,� �,

W�� 5

��,?!

",�

� �-�

� ;A

��o B

���8 J

&�"s

emi-

phys

ical

mod

elin

g"

�!@

���Q

Y�% �

&��! J

4&�

5��?

! &1��+

� �

-j! &�

�! ���

! J���

) 5��?

! ;A

��o B

�j8 J

&� ��

��&1

��0

%�.

6Pa

ram

etri

c SI

: Lin

ear

opti

miz

atio

n ca

ses

Ljun

g C

hapt

er 7

�,�

o #$�,

� �,�

��! �j

r,��

���,�

��F! �

"��

J�?I

B!��

���! 5

��?!

;���

"D+

�����

�O 3��!

E4&

! ���

<+ �

,�

,� 7�,

61� ���

,-+ 5

��?! 4

;A

. �,

6�� �

Pred

ictio

n Er

ror

Met

hod(

PEM

)

b�,A

4In

stru

men

tal

varia

ble

met

hods

(IV

)

��

��� #

��! (

�����

�O&1�

� �

��

�! .

�� �

PE

M

��W-

LS

� 4

IV ��,

! �,�

�,+

LS &2

� "

�&! n

��O

. 7/

4��

(��/

���� 0

����EP

#

��!

;A '

����

��

���

�%

� L�K

: l

�?<+

��!

V�O

J&�

)�>

���<+

( �

$ ;A

J�X�

&�1��

�4�A

4 #

4�4 3

��� �

!

;A

��o �

E2

� ��

Z "

�� �&

� #�

�� �$�

&1� #

�� �

8��6�

. � �

&� u

D! KW

� ��%&

� ���A

�� �!

�;!�

. L%

� L�K

:

�,� B

��&I

��! V

�O #�

;A E

2 \��

� �! �

� #$��

����!

8�1

J��8

� .

�,6�

� �

M(�

)

�,8��

6�

$� #�

�� "

���%&

� ��

12 ��! �

M(�

* )

�� "

�� %

&� 0

E�� U

� ��

@>pr

edic

tion

erro

r

ε(t,θ

*)=y(

t)-�(

t|θ*)

&1�

��

� B��&

I �!

�� .

�;!��

�� �

4

�:����

��O��

��4

+��

j�8 4

(��

r+ '�

� 5e��

�1

&,1��

� ���,

� �,�

�+ ��

,� &,

�! �,�

& .

5�,G

IK�

&1���F

�� $�

!�<�1�

J&� b

�?A

� (

��r+

: �.

�! �6

�� !

�<�1�

J&� �

2I

���� M

%��

�� �

��

� ����

��O��

�� *

.��

� u

DW� �

� �6

��

� u

D!

�. &I

q1��

�4V�

�2 4

"��

�&Fz

!�<

�1� J&

�V

N�

V�

&��

� B��

)

��>�:

( B

?) �

8 �

� �

uD!

. �.

�����

�O ���

<+ q

1���4

� i "

�� �1�

>z '

����

#��!

!�<

�1� J&

� �! �

;!�� �

.

B?)

� 9

��

� u

D!.

��,G�

��1

B-�

� �

��<+

q1��

�4 4 3

��! $�

�"

�� �&

� � �

E

Page 40: Ljung, System Identification: Second Edition, 1999

��

���:

;A

#$��

����!

6-2

�.

�/4�

V��W

: "

,��

��,�!

����!

����

E��+

%&� d�

1 �z

#��!

. ,

;A E

��,��

�� J&

,� �,;

!�� �,

� �

4su

bspa

ce

� ��1�

A $�

PEM

&�

�� 0

�1 y

�) �!

4IV

>1�

0�1

4 ;A

E���

��� y

�)�!

��,�

! J���

) �! �

6��

&1��

� �

� ~�

/�+ �6

�� ��

&1��

� �

�����O

���

<+ #

��!.

#���

4� U��

�4� �

> $�

! ���

-+ite

rativ

e

&��,�

:B,

?) �

4 &1�

� ��

jD� 7

�����

� 4 5

�W��D

� '6I

&�1��

#$��

����!

5K-

�� 4

&1��

��%4�

M���

�! $�

�1 �� 10

&1��

� w

��.

6-1 ,

%�M

INIM

IZIN

G PR

EDIC

TIO

N E

RRO

RS (P

EM)

���

��

���

8 �

���

<+PE

M

"��

���F�

� $�

E2 �

��

L(q)

a st

able

line

ar fi

lter f

ilter

ing

the

pred

ictio

n-er

ror

��(

.) is

a sc

alar

-val

ued

(typi

cally

pos

itive

) fun

ctio

n.

J&�

���

�!��

"��

%&�

���

<+

&�� B

��&I

�� ����

�.

#

���4�

PEM

�<�1�

�G1 $

�L 4�

&1��

54��+

': �

!.

&,�

&,�:�

�A u

D! &�

! #���

<! �

������O

4 �

� VF1

.� �6

��L=

1

���

7��1 4

2 (Q

uadr

atic

)

(�ε)

=1/2

ε2

�� "

�!�H,�

+�W

,��D

� �,G

1 $� �

,�p

4� 4

Lea

st s

quar

es

4su

bspa

ce

u,D

! &1�

,�

,�.

��,�

4��,>

O

ptim

izat

ion

&���

�GIK

� &�1��

+ � �

c�!��

#���

�� �

��.

���

/����

L���

: �

� �

��+ #

������O

"��

�-��

7��1

7��,1 �

,� "

�� J�

F�� "

��1 7

�j�� B

W� $� 7

��1 E

���! E

�z �

� #�

�����O

0�1

E�

�$ �!

���!�4

7��1

: �

� �

����

1 �$

#����

) �! �

"��

�C��

1��$E�

�$ �!�

+ 0�1

�C� �

&��!

.&�

�! �+�W

���

�: �$

�! � #

��� �$

�&1� �

� ���

�� �

!

��

���:

;A

#$��

����!

6-3 6-1-1

?X

0���

�EP ��

0@> M

����K

�Le

ast S

quar

es (L

S)

'���

� #�

�!

y=G

u+e

J

&� &�

�� y

�)

;A E

�����

��$

�!

#��

��

����O 4

� &�

�! �&�

��)��

�G1 �

.

U"��/

4 ��

�K� �

<� 0

� �/4

� ���

�� I

���� M

%��

�� �

e %

��&�

e %u

�EP�

� ?8/4

�.

q�+

�� �;

!�� �

�� �

q�+

�� � �

����

�D

esig

n

��

� �&

1��A .y

�� �!

��

^��re

gres

sed

�re

gres

sand

"

�� .

"��

1 �

� 7�

1 �! �

� "��

:����

��O ��

�!re

gres

sion

coe

ffic

ient

s

&1�,�

,�

�&,1��

A 0,�

1.

'���

� �

KX�

��

�!�

#�:

��%��

#4�I

h(0)

�+h(

M-1

) 4

q�+

�� �

&1���F

�� $�

.

E

���&

�O @&

:�=

�-1y

"

�� .

��

#�+ �

$ �&

�+ �!

J��>

�� E

�! #

0�1 B

�% �!

N J

&,� �

�� �

! "W�

1n )

0�,�

� ( "

�� $��

1 .

5e

��� '

����

( �

6��1$

ov

erde

term

ined

��

��

��4

y=

�’�

�’ is

N*n

N�

n #

$�� B

��&I

�! "

��Li

near

Lea

st S

quar

es

��

� B

��&I

�����

.

#

$�� B

��&I

J ���

��||ε

||2

"��

. "

%�I �

� �

VN

�!

"W�

1�

B!��

� ��

�! ��

"��

7���

��� (

�! (

�+�� ��

�"

�� BI

. #

��%&�

AR

X 4

FIR

&�

��: �

1�>��

j�jD+

n��

O �jr�

� �� B

I �

� ���

! �

� �

B*�

I �1�

>�� �

ε=y-

�’�

�V=

ε’ε/

2�dV

/dθ=

0 dV

/dθ=

d(y-

�’�

)’(y-

�’�

)/2d

θ=-�

’y+�

’��=

0 ��=

(�’�

)-1�

’y

Page 41: Ljung, System Identification: Second Edition, 1999

��

���:

;A

#$��

����!

6-4

�>

5��W8

�! �

5��?

! ��

��=R

-1f

E

2 � �

� "��

1 E��+

R q

�+��

(

d*d

4f

1��,�

�� �,!

(

d*1

"

,��

�,

�d

�&,�+

"��

J��6

� #�:�

�����O

R $� �

� �

�W��

D� �

$ J���

).

q

�+��

�� �6

12 $�

R q

1�����

y 4u "

��)

Ryu

( L

S

���

<+LS �!

corr

elat

ion

� �

MW+�

� .

6.1

��

�� 1(

�-j�

8 V��

1LS

(���

� E

4&! #

$�� J

&� �

:

Poly

nom

ial f

ittin

g

�D

�� �

��4 ��

� n=

3

"��

�&�

�)�/�

0�1 E

2 �! �

� "��

. �!

�D�

� ��

�!n=

1 U

n=3

4n=

10

�,� �&

,� "

�)"

�� �&

� � �

E��

1 B-�

6-1-2

0��

E< ��

4&�

LS #

$�� B

��&I

� �!

���

(||��

-y||2 )

��&

F�||A

x-y|

|

�� �!

�j*�)

y $� ~

;�

"

%�I �

�� "

��2

#&�

!)

#����

��O 4

("

�� �&

� � �

E��

1 B-�

� .

#��!

a 1

"���

��[1

1 0

]’ 4

a 2=[

-1 2

0]’

"

�� .

��?+

(P

roje

ctio

n) y

�D�*

#4�

a 1-a

2

�� �!

Ax l

s=[1

4 0

]’

",�

�.

��&F�

J�I

x1 4x2

�;!��

$�a 1

x 1+a

2x2=

Ax l

s

�� &

2 � "

�&!

x 1=2

4x 2

=1

"��

.

��

���:

;A

#$��

����!

6-5

��

� E

��1 E

��+

�A

x ls=

Py

q�+

�� ��

"��

P "

�� �$

b��A

#���

,

P=P*

,

P2 =P,

, I-

P�0

6-1-3�

� � I

����

��

��

� �

� E�

�1 R

�) J�

X� �

���<

+ 3��!

��%��>

�� ��

quas

i sta

tione

ry

&���

:�!

�! "���

!�

��<+

3��!

E&�

��*

#��!

) �

��]+

cons

iste

ncy

( &

�!)

#��r

+ SWc

2.3

( �.

R*

��� ��

o :

# 4�

4 ���

��

� �

���+ v

�� �

�u

J��>

��pe

rsis

tent

ly e

xciti

ng(P

E)

�W+��

nb &�

�!

�. f*

=0

: v

�� �

�5�

�* �

$ ���

� $� (

�:"

�� SF

D�

BY�

( ov ��

&� '�

����*

��>

1��� �!

&���

0�1

&��!

v 0=e

q

1���4 �

!�

�! "��

�!��! �

��<+

q1��

�4 ��>1

2:

V (B

est l

inea

r un

bias

ed e

stim

ator

(BL

UE

)

���

u 4v 0 )

��* �

�>1���

�! (

BF��

� 4

n a=0

&�

�!

�,+

,! #

�,���+

M,F)

E��,

����

�� �

u &

,��) 4

��,�

� y

�,+ &

,��!

.

��

'

����

BX�

y=B

u+v

.

,;A

���<

+ ����

���

�� �

��=B�

=Ay

,

� �,�)

�� �,

G1 �

��

.A

�+

��

� B��&

I��=

AU

��

��

AU

=I .

�-12 E

4&! &

2 � "

�&! 3

��! E

4&! �

��<+

\�+�

+ �� �

!PD

F

E2 q

1�����

���+

��

�����A

0�1

C "

�� $��

1 ���

. �

���

<+ J

�I �

()

()

11

1

11

ˆ'

'

ˆco

v()

'

CC

y

C

θϕ

ϕϕ

θϕ

ϕ

−−

−−

=

=

�����

�9��

Page 42: Ljung, System Identification: Second Edition, 1999

��

���:

;A

#$��

����!

6-6 �

� �

��� �>

��<+

cons

iste

nt

�4�

��$

��4n a

>0

"��

� #

����+

#���

y E

�,z 4

"��

v 0 &�

�,� 0,

�1e�

��� "

��1

! &:��

A ���

��! �

��<+

3��!

4 �&

�.

Wei

ghte

d L

east

Squ

ares

"��

�-��

� LS

7�1 �

! ��

�� ��

)�� �G

1 �

1��$ E

$4W

LS

��

� �&

1��A.

�!

��� E

2 ����

��LS

&2

� "�&

!

��

�� 2(

'��

�� #

�:����

��OA

RX

&�

10! ��

�<+ ��

. #$

�� ��

W� J

&�

5

��?! �

� "��

y=�’

�+e

"

��1 E

��+

E

� � �

��

4 E�

����

� �� �

!�

"��

:����

��O ��

�! .

'��

�� �

� ���

<+ J

&��=

�’�

�,!

��! ��

,�<+

#�,;

A 4 "

,��

�! "

��ε=

y-�

. ��

� ���

�� ��

)�� �G

1 � �

!2

&2

� "�&

!

��

�! "��

�!��! �

�����O

���

<+

���/�

�M

AT

LA

B

��

���:

;A

#$��

����!

6-7

Ass

umin

g th

e sy

stem

is se

cond

-ord

er w

ith n

o tim

e de

lay,

we

take

na

= 2,

nb

= 1,

nk

= 1.

�4�A

4 #

4�4 J

�I6

�� ��

W�8� #

��!

"

��1 �

�A �&

�2 "

�&! t

��1 �

B

ette

r ide

a: tr

y m

any

diff

eren

t stru

ctur

es a

nd c

hoos

e th

e be

st o

ne.

Na

= 1:

15; N

b =

1:15

; Nk

= 1:

5;

NN

= st

ruc(

Na,

Nb,

Nk)

; V

= a

rxst

ruc(

id, v

al, N

N);

To c

hoos

e th

e st

ruct

ure

with

the

smal

lest

MSE

: N

= se

lstru

c(V

, 0);

For o

ur d

ata,

N=

[8,7

,1].

Alte

rnat

ivel

y, g

raph

ical

sele

ctio

n: N

= se

lstru

c(V

, ’pl

ot’)

; m

odel

= a

rx(id

, N);

com

pare

(mod

el, v

al);

Page 43: Ljung, System Identification: Second Edition, 1999

��

���:

;A

#$��

����!

6-8

J

&� �

���+

AR

MA

X

mA

RM

AX

= a

rmax

(id, [

na, n

b, n

c, n

k]);

Con

side

ring

the

syst

em is

2nd

ord

er w

ith n

o tim

e de

lay,

take

na

= 2,

nb

= 2

, nc

= 2,

nk

= 1.

Val

idat

ion:

com

pare

(val

, mA

RM

AX

);

6-1-409

�� '���

?#$

� :v

��&�

��T

B-�

LS "

�� >

1� 0�

1 �! .

'��

�� �

Ay=

Bu+

v

��v B-

,�� �

,)� #

��,! "

�� ��

3��!

���

<+ &

��W1

&���

"��

3��!

E4&

! ���

<+ E

��+

� $�! �

$ v�

� 4

"D+

�.

E �

! l<�

� 5��*

� H

E��+

E �

� ��j�

) �!

y 4u �!H

-1

"

��

;A E

�����

� J&�

�! %

���)

��

j�) V

�O $� �

����

� J ��

� ��

L=H

-1

"��

���<

+ ����

� �

�.

e�! ��

� J&

�re

peal

ed le

ast s

quar

es :

&���

y�)

H=1

/D

&��!

� �

�$

;A E

�����

� �! J

&� �!

�6��

��

��

���:

;A

#$��

����!

6-9

3

��! E

4&! �

��<+

��A

D 4

BD

"

��1 �

��

��

O � �

�G

��

� �

$ ���

<+

���

�!

6-1-5Re

gula

riza

tion

� ���

�1 �$

J���

) �! �

��<+

�����

��

5�4�/

&1��

� E

���8 K

m ��

je

�!

.

��

�# "

,�� �

,�%4�

5�8K

c� 3

��� �

! #� �

;F1 �

�&W�

�� "

�:���

���O #

�]) �

"!�C

�;F1

(

.���

,F�� $

� E2 B

,�%

"��

�.

���

� #

$�� B

��&I

&��! �

���

# �$

#�:�

�����O

VN

+�W��D

� �G1

$�

",��

�,-�

�ill

con

ditio

ned

�,

�)��

�!$

%<ill

-con

ditio

ned

�� (

E ��

�)�/

��I

#�,��

! q�+

�,�

+�W,��D

� �G1

$� ��12

q�+

�� �

� �!

$��

� .

E2 �

! 4� �

��: $�

regu

lari

zatio

n

?@!JY

\^

. �.

&�1��

&��!

�$ �:

������O

�&�

+ ���

(Non

linea

r bla

ck b

ox)

,��

�,! ��

�,:���

���O 7�

,�+ E

���1 "

�� �-

�� $

���

<+�+ �

� �:

������O

����

! 7�+

�� E

�� �

)�/� �!

�!

�� ��

CVN

�&

,� �

� ",

!�C �,;

F1 #��

�! &1

�� &�

�&��

�&14

� �1

�&���

\�<

+ � �

F� "�

� �! 4

� .�

�&,�+

�,�

")��

�G1 �

#���

���O E

����! E

��+ �

�� #

�� �!

��

�:���

���O�#

&��

� J���

� �� &

14���

. �!� �&

,�+ 4

�&,�

� �

�,;F1 #

�� �!

����

! �&�

+ ��0!

�� �!

����

&14���

�A �

���! �

�F�

# .

6-1-6 '�

Y��ZPE

M

7/4�

� ��

��LT

I

H��5

�6 M��

�� ��

'

����

���

y=G

u+H

e

#��!

&��!

w

=Gu

'

�� 4

&D� #

�� "

%�I �

) #

��r+

2.1

(

DFT

#�

;A

�! "��

�!��!

'��

J���

��O �;

!�� SW

c

Page 44: Ljung, System Identification: Second Edition, 1999

��

���:

;A

#$��

����!

6-10

�;

A ��

�) E

�� |

�D% �!

4

"

�� '

�:��A

E

�� |

�D% �!

y=_

u

6.24

�;

!��

� �

� �

�6��1

. \

�+�+ �

� �!

PEM

��

��� ��

V $�

� �

B��&

I ��

$� �

� "��

��c

�>���

<+ (

�>

5��W

8 �!

$���

���: �

!�+Q

&��

� � ��

���

. '

% SWc

�� �6

12 $�

6.1

W1�6� q

1���4

v(k)

�! E2

S�W;

+ $� "

��Q

�� �

� �

�&

Q �

��<+

q1��

�4 3�-

��v

�! 0�

1 7�j�

� �1 �

�c

��4 "

��|H

|2

y�,8

��

. �

�)�� �

G1 �

E4&!

R�N

�;

!�� �

�W

eigh

ted

LS

J&� #

��!

& E

��+

� �$

�N

�/�

p

4�PE

M

�! B

&W+ �

!�+ (

E �

� "�)

p4�

ETFE

1

$4 �!�

+ �!

S!�;

�si

gnal

-to-n

oise

ratio

"��

. �

��4�

5��?

! �� �;

!'�

���!

%��>

�1�

��<+

5��?

! �

�cEF

TE

$���

���: �

!�+ �!

Q

��

��

��4�

����! 4

�� �

�! ":�W

� �+

. �

p4�

�>

5��W8

�!PE

M

�&���

����:

�!�+

�! ��c

�>���

<+Q

"��

.6.

4

� ��

�G

=0

&��!

)1

��$ #

����

( p

4�PE

M

B,�4

�,>�

��<+

7�,1 �

,! �,�

&,��

,� B

��&I

�� �$

�!�+

Whi

ttle

��

� ��

A���

.

��

���:

;A

#$��

����!

6-11

6-1-7�

Y�X �

�\6 �

�� 0

����EP

Subs

pace

Met

hods

:

# 4�4

J&�

�! "

%�I #

�]) J

&� ��

"��

��4

E�-�

� ��

- �

�� ���

� ��

��� �

�� 4 B

&W+

�4�A

.�,6

�� �

���

��

� ��

��� "

%�I #

�]) J

&� ��

�F���

. E

2 � �

,� �,

$ J&�

�! E��

+ � �

� ;A

'��

��v 4

w �,1

&��,�

0"

��1 &

���:

p

4��

0>��

E

2 � �

� "��

v "

�� >

1� .

���F

� ( �

0�

J&�

7.54

$�

��-z�

�7.

55

,>1�

0�1

E ��

J&�

#��!

�$ "

�� �

�)�� �

G1 �

�!ex

tra st

ate

"

�� $��

1.

� "

%�I #

�]) J

&� ��

$� "

�� �-

��ph

ysic

al in

sigh

t �

blac

k bo

x

5��?

!ca

noni

cal

"

)�� �G

1 �

. �

���

v��

cano

nica

l

��

���� �

!

# 4�4

�! "

%�I #

�]) J

&� "

����!

E�z

-"

,��

&:��A

��4

E��

- �

4�A 7�

�ex ��

&�!

l<�

� �

� �

� �

) �! �

?D��

J&� �

+.

M,F)

�� &�

�� "

� u 4y

4 &1�,

� ,

� #�,�

� �$�&

,1� �

�F�

x &

�! �:

�� �

$ ���

<+ \

����

�D1 �

!&1 .

� ��

&���

y�)

���

x &�

��:

����

�:J&

'��

��!

��+�

� �4

�A #

4�4 5

��?! ��

5

��?!

;A E

�����

&2

� �

�W

�����

�� "

��� �!

LS �

$ ���

<+ �

� �

. p

4� 5�

?<��

&�� �

�LS

�� �

� ���

<+ E

�! 3

��! E

4&! 4

����

E �

! ���

! �G1

$�.

� '

����

#��!

���^+

E4&!

uI�

W� �

� &���

"�

MIM

O

"��

J��8

� B!��

�� �

p

4� q

1�����

q�+

�� ��

�<+ E

�-��

E(t)

��

��

4 0�1

.

���� +

�)�

x : �

�< 0E

�� U�

1 ��n x

�: #

�: �

�! V�O

1 �+n

�4�A

�(t|t

-r)

E

2 �&�

��j�)

�&1�

� �

��)��

�G1 �

.

,� �

,$ J

&� '

����

#��!

��

����

1 &1��+

��! V

�O J&

� ��

k

��! V

�O �j�

�! 7�

�)

0�1 �

�)�� �

G1 E4

&! �)�

* (

Page 45: Ljung, System Identification: Second Edition, 1999

��

���:

;A

#$��

����!

6-12

&��!

E��$

�: #

��! J�

I

�� �!

`r(t

)

#���

��! V

�O B�

��1 �+r

��

� ��

A��

#

��! ��

�! &�

%�+ �!

t=1…

N

q�+

��`

&2 "

�&!

"%�I

� '

����

#��!

"��

���� �

! �$

#�: �

��0�

W1�6�

�.

'��

�� ��

� n

7��+

#��!

��� "

��r�

n

q�+

�� (

1� �:

` �!

��!n

&��!

�.

�� �!

x �G

1 ���

;A

\���

+ 5��?

!`

r(t)

"

)�� �G

1 � E

��+

��L

q�+

�� (

n*

pr

�� "

��p

"��

���4�A

�&�

+ �!��!

�.

L

+�W��

D� �G

1 $� �&

�2 "

�&! J

&� ��

��

� �

�<�1�

#�D1

�!w

ell

cond

ition

ed

�,-�

� (%H,

�� &,

��!

"%�I

#�]

) #�+�

� ��

�� �

�<�1�

#�D1

�! "

��ca

noni

cal

� .

�. B

?) �

E2

+�W��

D�

j�8 p

4�10

��

� �_

���.

{. �

��<+

relia

ble

&:

� �

_��� �

�A "

���� �

!.

}. p

4� 4

�� �

�����

��%4� �

�&F� E

����!

E��+

� ���

<+ J

&� $�

PEM

#

4�4-

�,��!

��,�

<+ #

��,! ��

,�

4�A �

� J��8

�.

����

��

���:

;A

#$��

����!

6-13

��

�� $

� � ���

�� �!

n4si

d

��

� �

$ ���

<+ �1

�>��

z

= id

data

(y,u

,0.1

); m

1 =

n4si

d(z,

[1:1

0],’s

sp’,’

free

’,’ts

’,0);

#��!

n=2

�� �$

7�) �

! ����

"

� |�D

% ���A

�� �

�� &�

��: 7

4��� B

W� $� �

� q�+

�� �]

8� $�

]�!

�$2 q

�+��

#�6!

E��+

q�+

�� ��

�<+ #

��! ��

���A

��st

ruct

ured

��

�� $

�pe

m

�,�

� ���,

�� E��

,+ �

. ��

�,�

pem

$�n4

sid

#�

�,!&�

� � �

����

� ��%4

� ���

<+ E

�42 "

�&!

. m

2 =

pem

(z,m

s,’d

ispl

ay’,’

on’);

��

�� �

E��+

� 0

�1 �� �

G1 ��

� ���

pe

m

��

��4

m3

= pe

m(z

,’nx’

,1:5

,’ssp

’,’fr

ee’)

; co

mpa

re(z

,m1,

m2)

;

Page 46: Ljung, System Identification: Second Edition, 1999

��

���:

;A

#$��

����!

6-14

6-2In

stru

men

tal v

aria

ble

met

hod

��!

V�O

#��%&

� �

OE,

BJ,

AR

MA

X

�! "

W�1 �

��<+

J&�

�;!��

� "

�� ;

A ��8

E

2 �!��

� 4 "

%�I �

� �

#��!

#$��

B��&

I

����

���!

��&1

��4

$�! #�

��4�

J��8

� BI

����

"��

+�W�

�D� �

�! �!

��

�&1�

� 0�1

�� j

D� 7�

�����

5K-

�� e

����

B_��

� �1��

�� �

-�� �

�/ .

�?X

+��

IV 0

��;��

)� 7N

X ��

LS

/�

��.

6-2 -1 IN

STRU

MEN

TAL-

VARI

ABLE

MET

HO

DS

#

��!;

A E�

����

�! #$��

B��&

ILS

#��!

L=1

4ζ=

ϕ

��

� �

$ M!�4�

�! �6

��

�! �

��<+

� 0 &:

� E

��1 �

� &��

� B

��ε 4�

&���

�1 ���

!�4 '�

! .

J� �&

,� "

%�I �

��

,�<+

#�,;

A ε

(t,θ)

�A J

&� #

��!)

�&�

� $ �

��<+

"��

(

$� BF

��� &

�!Zt-

1

&��!

. �

'���

� �

���

B

�% �!

��!

>��!

�4� )

��%��

B�%

�!y( 4

v o &2

�1

"�&

! 3��!

E4&

! ���

<+) .

3�,

�! E4&

,! ���

<+ v

4��LS

��

� �

F1 (�

1 "%�I

��

>1�

0�

"��

. �

�A �

��<+

#��!

B��&

I 4

&D� #

�� #

��!

��

���:

;A

#$��

����!

6-15

� ���

��! &

�!E2

� ��

$� �:

�1��

1 Z

t-1

4� (

tra

nsfo

rmat

ion

&,

1��+

,� �,�

"��

α(ε)

&,��

!.

��j�)

V�O

E ��

|�D

% �! �&

� �� #

&�! J

���)

L �-

�� 4

� �!�

&��! �

��!�4

�1�>

��"

��

4 �

�! ��

�!�4 e

���I�

���H�

#��

$� #

�� �!

� &�

�!

&�-�

� R&*

�$ �

;!�� �

��A

���

<+ \

�+�+ �

&!

����

3( Ps

eudo

line

ar R

egre

ssio

ns

J�X�

� PL

R

V�O

J���)

��!

���

�!� "

�� ��

�!�4

. �&

1�����

! &�!

������O

���

<+ �

ε $�

BF��

��

"��

�$ �;

!�� �

�� �!

�� �

� �

1 SFD

� �� &

� ��

�� KW

� ��

. p

4� $� 3

��! E

4&! �

��<+

#��!

4��� $

�IV

�� �

����

� E��+

4���

$�� B

-�� �

)� #�

�! E

���! �

� #

�6!

� $�ζ )in

stru

men

ts o

r ins

trum

enta

l var

iabl

es (

� ���

�� �

3��!

E4&

! W1�6

� ���

<+�

�;!��

�!���

�;!��

�� "

�� �&

�2 "

�&!

LS &�

�! ���

� �

�4 3

�-��

��� "

��

\

�+�+ �

� �!

�� �!

� 0 4

B��

W1�6� 5

��?!

4�

� �

�* "

�� �!

.�,

$ v��

4 ��

G�� �

� #��!

��

�����!

&�!

.

�!

4 ���

W�: �

� �!

&�! "

��4���

�� ��

"��

E2 v

�� 4

��

���v

&��! �

��W�

: ��o

V

� /��

Inst

rum

ent

:��

%�% M

��5 �

/!�6

$ '��

�� �

#

�� �!

�� "

�� �

� �&�

y �&

� ��j

�) $�

u 7�

1 �!

x ��

�! �

��

� ����

� ����

�� .

Page 47: Ljung, System Identification: Second Edition, 1999

��

���:

;A

#$��

����!

6-16

�+

��!

>��!

�4 7&8

v 4ζ �

� ��

��+.

�;!��

�� �

K "

�� ;

A ��j

�) (

.

� "

��4���

�� \

�+�+ �

� �!

� $�

�� "

�� #

4�4 �&

� ��j

�)v

"��

BF��

�.

�/

!�6 V

� /��

,

%�1 :

+���

V�

/��:

�� �!

��<�

1� (

ξ E

2 J�c

�� "

�� ���

� �� $

�n

= na

+ n

b

"��

. ξ(k)

=

�� �!

�-�%�I

� �

"��

�1�>�

,

%�2: �

J��8

LS ��

3��!

���

<+ �-

�� 'o

��j8

4 &�

� � &

�%�+

E �4

2 "�&

! 4

B� #�

�,! 4

�� $

� � ���

�� 4

&�%�+

x . N

=Â &

M=B

,%�

3 : #

��! ��

��! ��

j�)IV :

�$

'���

� #�

�!

E���

���

<+ ��

��! q

1���4

Cra

mer

Rao

"

�� �$

)&�

&�:��

A � �

E��

1 #&�

! #���

<! �

(

"

�� .

����!

��&F�

P CR

$ M!�4�

�! �6

�� �

� �

&���

: J��

6� ��

12 � �

F� ��

W%� ��

. �!

B-��

��

Ada

ptiv

e IV

��

� ��+�

7��

1 : �!

�$ J

&� �

��<+

LS

���+ 4

_ 4 θ

� &:

� �

� 3

��! �6

��1 ��

.

7�

�2 :

�� �!

&�%�+

ξ �!

# 4�4

E �

� ��j�

) �!

_ �

��<+

4_

2

J��8

� �!IV

��

���:

;A

#$��

����!

6-17

7�

�3 :

&�%�+

w

��<+

4L �!

LS

7��

4 : ���

-+15

.22

�!

��! �

�_

2

&�%�+

4ξ(2

)

�� �

! J��

ξ 4L $�

� ����

� �!IV

��

� $ ��

����O

��1 �

��<+

.

Con

side

ratio

ns

� 4

q1��

�4M

SE

"��4

�����

d�1 �

!�+

!�<�1�

"��

#��&

�OIV

"��

1 ���

]+

�&�

� &�%�

+ J�W�

B!��

��o #

��<��

O "��

�-��

� ��

��j�)

$� � �

����

���

��

� p4&

<� 3

��! E

4&! �

��<+

v 4� &

���! �

��W�

:)

3��

� �! "

��4���

�� &�

%�+u

���! �

FjI �

.( 3

��� �

! "��4

�����

���! �

FjI �

r &,

�%�+

��

J&� �

�� E

�! "

�� �

1

� "

��4���

�� ��j

�)&�

� @HI

�� '�

���

(���

� ��

&��! #

�D1 �

!

� &�

�W1 ��%

&� �8

��6�

�0�

���

4 '��

��)

&��! �

G1 &�

W�

F+ J&

�(

����

4(J�

X� :

�-j�

8 ��

�F�A

RX

4IV

mod

el =

iv(id

, [na

, nb,

nk]

, C, D

); ��

�� 5(

� ��

��j�)

�!

Page 48: Ljung, System Identification: Second Edition, 1999

��

���:

;A

#$��

����!

6-18

��

�� 6(

�:����

��O �

��<+

�! ��j

�)

U0

�1 E

�!

>1� B

�% �!

IV $�

���!

�-j�8

AR

X

��

��

�� 7(

IV

�!��

��! ��

j�)

mod

el =

iv4(

id, [

na, n

b, n

k]);

C

oncl

usio

n: W

orks

slig

htly

bet

ter t

han

just

AR

X in

stru

men

ts

��

���:

;A

#$��

����!

6-19

6-304

��5�6

��� I

��� �

� �/�

�� 7/

4��

��

$ ��

�<+ ��

����

�O J&

� E��+

� �

� "��

�� q

1���)

E�&��

� ��

�<+ \

%�� b

��A $�

.'�

���

#

�:��

4y(

t) 4

u(t)

&�

�>! �

G1 �

�� .

�&�

#���

�$�&1�

#��%

��>��

���)

) �!

B�8 �

D

FT (

"��

�W��

D� B

!��

� �

��

��� #

�� �

8��6�

�! �6

�� ��

F�FI

4 ��:

�� �

�F� �

� �

� $ �

��<+

�612

G "

�� q

1���)

# �&�

+ �

� B�

�&I &

�! �$

�����

J�I

�!

S�W;

+ B!��

�� �

$ 5��?

! �ET

FE

&��!

��

�H

&��

� ���

!�<

! p4�

&��! "

!�C 4 7

�j��

.%

�,���

y�,)

q1�,�

�) E�&

�� �

�� �

! �: �

!��� �

y�)

��

"��

. $�

%�F�

� ���

<+ p

$� �O

V�O

�! E��+

� 0

�1 "��

( �

�O #

4�4 �

� �:

�!���

� H

"��

��.

��/�

�M

AT

LA

B

����

M

ATL

AB

"

�� ���

� �� $

� ��

��� d�

1 �� #

��!.

sys =

tfes

t(dat

a,np

,nz,

iode

lay)

��

np 4nz

&���

: �:�

�* 4

��W;�

�&�

+ \�+�

+ �!

. ���'

���

+���

M��

5 �/!�

6:

��

� 7�

61� �

���j�

) �1

���) #

�: ��

%�� �!

�G1

��� E

$4 ��

/ �!

. �

�� 7N

X U<�5

�/ :#�

�� �$�

&1� #

�� '

6I

��4

'�,�

�� �

� ��,

�� �

�,F�

�,! 1

��$ "

!�C �

�4 B

�% �!

�&�

&1��

� �

��)

q1��

�) E�&

�� �!

J�F�1

� �! U"

�� �

$)

&1��

� 7�

o � '

: �

( �

��$�

���Z ]

��/� L

�T��

: �

#��

U&��

�! V��

$2 (

$�

��1 &

�! �

j�<� #

���1��

�) �

�� �

� &��

�1

t��1

&1��+

� �

j�<� #

���1��

�)&1�

�&�

\���

+ q1��

�) E�&

�� �

�� &�

�! 54��

�� 5�

���$

2 $�

(���

�� �

�%�%

: "

,�� \

,����

���,�

! &2�

� "�&

! S�c

�� $

� ��

�����

&��

! ( �

�O #

4�4 �

�� .

��,$ &:

� E

��1 ��

���&

1�� "

%�I �

�4

�A 4

( �

�O #

4�4 �

�!���&

1�� v�

W+�� q

1���)

E�&��

� 5�

8Kc�

.

Page 49: Ljung, System Identification: Second Edition, 1999

��

���:

;A

#$��

����!

6-20

� �

��

�% �� '

��� (

��/���

� ��T

%(

�����

��

: '

����

���

y=G

u+v

,�O �,

! (,

��O #

4�4 4

� �!

M

&��!

Gu

"

�� (

��O

���&

1�� "

%�I �

0�1

$ ��

�<+ ��

0�1

E��+

� 4

�B

and-

Lim

ited

Sign

als

: �,�

3

�,�� �

,! ��,1

2 E��$

����

�O ��

�) B

&W+ &

��!

4&D�

&1�! #

4�4 J

��>��

���

�� $

���

<+ ��

'���

� J&

� # 4�

4 �!

�4�A

����

�O �

�c '

��F+

�! 4 �

� �W�

�D� E

��+

� ���

Con

tinuo

us-T

Ime

Mod

els.

��,

���O

#�,�

3�,�

� �,! E

��,+

� �� ��

���O

'���

� ��

� E

��1 R

�) u

I�W�

��

�����

"%��

�!.

� :

Tra

de-o

ff N

oise

\ Fre

quen

cy R

esol

utio

n &,

1�� 3

�-��

�;!��

��c

0�1

~;�

4 �1

���) �

��%4$

� .�

"��

�;!��

#4� q

1���)

�! ��

�!�4 4

'�F�

�� J

���� E

��+

� ��

��

6-4 �4

��8�

PEM

%IV

PEM

&��

� J&�

�� 0�

1v=

He

"��

� ����

� B!��

���o 4

;A

��o

;A #

��%&�

7��+

#��!

�! �W

�F+ ��

�! 4

$�! �

FjI �

� ���

�� B!

���!�

�� ��

�1�! #

�:&�

7�,�

���� 4

+�W

��D�

'6I

5K-

�� ��

��

� 7�

61� ���

>+$�! p

4� �! E

2 BI

;A

E���

��� "

%�I #

��X��

� �!

�� �

� jD

�.

� "

%�I �

S∈M

&:

� 3

��! E

4&! �

��<+

$�! �

FjI.

� &�

�! W�

F+ J&

� ���

S ∉

M

�1�>

z &:

E��

1 �� B

�jD+

M*

'

����

S �

�4 &1

$ � \

�F+ ��

��

4 q

1���4 �

�! �/�4

�;!��

desi

gn v

aria

bles

��

��

4 #$��

����!

#��!

PEM

�!v &:

� �

� 3

��! �

��<+

>1�

. &

�! B-�

� �)�

#��!

H �

� � $

���

<+ �-

�� � &

��! 7

�j��

� ��1�

A �

# �$

d��+

PEM

&1�

��� �

� $� ��

����

>%� $�

]�!

�� �

� �

�4:

do

not u

se in

form

atio

n ab

out t

he n

oise

Leas

t-squ

ares

est

imat

e (L

S)

use

info

rmat

ion

abou

t the

noi

se (G

uass

ian

dist

ribut

ion,

)

– A

ssum

e θ

is a

fixe

d pa

ram

eter

_

Wei

ghte

d le

ast-s

quar

es e

stim

ate

(WLS

) _

Bes

t lin

ear u

nbia

sed

estim

ate

(BLU

E)

_ M

axim

um li

kelih

ood

estim

ate

(ML)

Ass

ume

θ is

rand

om a

nd

_

Leas

t mea

n sq

uare

est

imat

e (L

MS)

��

���:

;A

#$��

����!

6-21

_ M

axim

um a

pos

terio

ri es

timat

e (M

AP)

IV

M�

��

� ����

� \��

�� "

��4���

�� �-

12�! v

4��� &

:

� 3��!

E4&

! ���

<+

>1� 0

�1 E

�� J

&� E

4&!

. �

�� "

�����

�� ��

<�1� �

!�+ �&

&� J

&� "

����

" �

�*�?

A ;

A #�

�%&� #

��! ���

�8A

RX

� �

� ���

��

� ��

���

! J���

) 5�W�

�D�

$�! �

FjI "

%�I �

SεM

&:

� 3

��! E

4&! �

��<+

. �

W�

F+ J&

� "%�I

� S

∉M

"

��1 ~

/�4

j�A �

-j�8

��

��4 p

4� #�

:����

��O 4

���<

+ q1��

�4 ��! ~

/�4 �;

!��

� p

4�le

ss ro

bust

4st

atis

tical

ly le

ss e

ffec

tive

$�PE

M

"��

su

bspa

ce

�"

�� �&

� I

��c

;A "

%�I #

�]) #

��! b

�A ��

;!

� $�

! �FjI

"%�I

� Sε

M

&:

� 3��!

E4&

! ���

<+.

W�F+

J&� "

%�I �

S ∉

M

"��

1 ~/�4

j�A

�-j�

8

� ��

���

! 7�)

5�W�

�D�

Page 50: Ljung, System Identification: Second Edition, 1999

7 *

�<M� 6

�g�7

: "

�8% �

) T4���

�"

T4���

�"�.�

������

+�

5� *

�� k!�8

�MA

q1��

�4 (��

r+ �W�

�D�

V

��>�

: v4��

VN�

V

�:����

��O �

��<+

q1��

�4

�B

&W+ �

!�+ ��

�<+ q

1���4

*�<M

� �����

��

��

���!

E��+

� p4�

4 �!

�� ���

<+ ��

�)�.

�Si

mul

atio

n:

�,�

�,�

�F� '

: �! ��

����

4�A 4

� 5

4����

#�: #

4�4

���4 '

����

4 �&

�����

J&�

�!.

! "

��9�:

p4�

�� �

����

6��B

4)

��4��

� 6!�)

(��

7 ��

�� �� �

�4���

6!�)

^�'�

� +7 �

���4 �

'�"

. �

Ana

lysi

s:

#��

"��

��! (

��r+

5��?

!Z

&��

! ����

A� �

) "

,��1

�,-�

� B,�

8 � �

,� (4

#��,�

2 b��,

A �

� �

uD!

W1�6

� ���

<+ .

S,��

"��

�-��

E�z

��

"�

&�! UB

�8 �

j�j

D+ u

D! t

��1 $� �

����

� � &�

�W1.

o '

����

#��!

d�/�

�LT

I

��

� �

� '�

��+

���8 '

����

�! q

i� 4

��

� u

D!.

o �;

A (

��r+

q1��

�4 �&�

!� �;!�

� �� �

V

W1�6

� B��

qi�

4 &2

� "

�&!

VN�

V

� �

uD!

. o

#��!

uD!

�� �

!���

IV 4f 4

f N "

�� w�

c B!

�� 0�1

.

7-1�8

% �) T

4����"

7-1-1 �)

T4���

�"�

�� �8

%PEM

:I

��'l�

���

���Ljung�chapter�8

�;

A q

1���4

� �W�

�D� &

1�� y

�) 7�

j�� B

W� $� 5

�?<�

� BW�

$� �� J

&� 4

'���

� (

#��!

E��+

� ��

."

,����

��&,F�

��

J&�

4 p

4� "

%�I �

���!

� &�

� � l

<�� (

��r+

��;! ��

. &�

:

� E��

1 �� �W

��D�

��D1

�$ #

��%�X�

.

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-2

#�&�

1.

������ �������������������������

� ��

�$ '

����

#��!

&���

y�)

u 4e q

1���4 �

! &���

0�1

BF��

�� 4�

�!��!

4 �:

4 \

�+�+ �

!1

&���

:

�! V�O

J&�

� ��)

�� �G

1 � �

$ 7�

j���1 �

�����O

�!

"

�� (

��r+

�W��D

� B!��

�;A

q1��

�4 "��/

4 ���

�! �

M���

�� "

D+ .

�;A

q1��

�4PE

M

�! "��

�!��!

��

��

��

����

��

22

00

02

12

12

0y

yu

yyu

yuR

aR

bR

aRbR

abR

��

"��

$��1 �

�F�

�� �

! 5�W�

�D� �

� #��!

��

�0

00

00

00

(0)

[(

)(

)][

().

(1)

(1)

()

(1)

0(1

)[

()

(1)

][

(1)

.(

1)(

1)(

)(

1)yu yuR

Ey

tu

tE

ut

ay

tb

ut

et

ce

tR

Ey

tu

tE

ut

ay

tb

ut

et

ce

tb�

��

��

��

��

��

��

��

��

�0

00

00

00

0

(0)

[(

)(

)][

().

(1)

(1)

()

(1)

(1)

[(

)(

1)]

[(

1).

(1)

(1)

()

(1)

()

ye yeRE

yt

et

Ee

ta

yt

bu

te

tc

et

RE

yt

et

Ee

ta

yt

bu

te

tc

et

ca

��

��

��

��

��

��

��

��

���/

�20

00

22

20

00

00

00

22

00

00

2 0

(0)

[(

)(

)][

(1)

(1)

()

(1)

](0

)2

(0)

2(0

)2

(0)

1

y

yyu

ye

yRE

yt

yt

Ea

yt

bu

te

tc

et

aR

ab

Ra

cR

bc

ac

bc

Ra

��

��

��

��

��

��

��

��

��

00

0

00

00

02

22

00

00

00

00

2 0

(1)

[(

)(

1)]

[(

1)(

1)(

)(

1)(

1)]

(0)

(0)

(0)

(0)

(1)

1

y

yyu

yey

yRE

yt

yt

Ea

yt

bu

te

tc

et

yt

aR

bR

cR

aR

ca

ca

ba

ac

cR

a

��

��

��

��

��

��

��

��

q

1���4 J

�I�;

A

�! "��

�!��!

���

���

22

00

0(

)0

20

22

1y

yV

Rb

aaR

bbac

a�

��

�)�� �

G1 �

�!�=

μ=1

&2

� "

�&!

�� �

�2

20

00

()

02

21

2y

VR

bbb

aca

aa�

��

S

��� E

�� �

�* �!

V &

2 � "

�&! �:

������O

�!)

r 0=R

y(0)

(

�� #

�$� �!

�! "��

�!��! �;

A q

1���4 �

�F�

���4 �

�F�

�! q1��

�4 $���

�� �;

A q

1���4 U

�� 3

��! �

��<+

'o�

�j8

"��

.

Page 51: Ljung, System Identification: Second Edition, 1999

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-3

�6

��1 �

PEM

#

�:����

��O 4

A ��

��! �

�F� �

!

a* 4b=

b 0

&��

� B��

. �,

� �,�

,�

�&,

�� 3

��!

���<+

"

�� .

S��

���

<+ $�

���! �

� &:

� #

���� q

1���4 �

� 3

��! �

��<+

��

%4

"��

. V

�0)� �

��/

μ V

�0)�

r 0 ��

J�W1&

! �� 3

��! V

:�� �W

�����

4.

#�&�

2.

��������

������� ��� �!�"�

�'�

�� �

��

�! �� J

�X� �

� J�I

E� �

��v 4

w q

1���4 �

! &���

0�1

1 &�

��:

. ~

�D*

��A�+ �

! ���

<+ J

&�

��4

� ��)

�� �G

1 � .

�! "��

�!��! �;

A q

1���4

�� B

��&I

q1��

�4 ��

��

� � $

���<

+ #�D

1 �! �

�����O

. �!

"W�

1 S��

� E �

� ��*

�!b

&2

� "�&

!.

&:

� ��

��!

V�O

#�;A

B��&

I ��

���

<+ ��&

F� �

� �!b

�,>�

��<+

4 #

�,;A

q1�,

��4

�,! �

,��F

� �

1 #�

�,! "

�� "

%�I �

���!

) &1

��+

� �;A

q1��

�4 B��&

I1

��

.( �

&��! J

�W� B

!�� �

-j�8 �

+ ��

�1�>

�� &�

! �� "

�� �

4�A q

1���4 $

� ���

� �;A

q1��

�4 �-�

� �>

��-1

.

j5

X ��%

��

�e�I�

�� J

&��=

bu(t)

M

jo ��A

�+ �!

����)

�� �G

1 �

q

1�,��4

�! �6

�� �

� ���

-+ J&

� �� �

! 5�W�

�D� 4

��

#�;

A

�4

�A q

1���4

�-�%�I

�>��

�!

"��

E2 $��

���

� �,!

�&,�

) ,!

���<

+ ��

��� �

�"

��

7-1-2 �

���0<

.V N�V��

��

PEM

� ��

� � E

��1 �

� "��

�� �

> d�

/��

;

��� �z

"D+

���

<+

W1�6� �

�;!

&,I

�����

�!V

&,��

,� B

,��.

)

��>�:

( . ��

��

4 ��

4&D

��1 �%�

W1 �

� �

y�)

��G��

�� #

��!

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-4

����

��"

�S� �

4

D1

�"

���

4&D

� �1 �

%�W1 �

! $��1 '

����

�-j�

8 ��

�! #�

�! .�

%4

"��

1 �-�

� ��

��

j�8 #

�42 �

�,

� y�)

�� �

4�A 4

# 4�4

�%�W1

�� �

�&1�

� ��

&�%�+

�$ '

����

4 .

r(t)

"

�� ��&

1��� �

���

���A

(�D

+ J��>

��)

���-+

B!��

.( &

�! J�

�>��

��

info

rmat

ive

&�

�! .

E�,�!

d�1 (

in

form

ativ

e

E �

!� z

(w)>

0 is

pos

itive

def

inite

"

�� ��

.

e(t)

�+

��&1���

"��

� 4 ��

* ��

>1���

�! ) �

?+ J

��>��

4+�

(�

>0)

#�:�

�j�) �

��1�A

(dt(i)

(k)}

00

, i =

1-4

; t =

1,2

, ...

��&

�O

"A��

�-

&���

: .

",�

� E��$

�! ��

�!�4 �

�j�) E

�z"

�� E�

�$ �!

���!�4

0�1 E

2 #�:

�!�/

n��O

.&1�

Hi! ��

�$ v

�� ��

12 7��+

�� &:

��A

� �;!�

�.

y 4u #

��%��>

��jo

intly

qua

si-s

tatio

nary

(

, �� �

,�12 �

,>

5��,W

8 �! �

&���

: ,

;A ��&

,�O '

�,���

�,!"

�� � �

� &�%�

+ ��&1

��� #

�� 4�

4.

*���

�D1

I

���E �

���

k!�;

��:

S1 �

�� "

�� E2

�>

��W�+

�! R�

) v4��

'��

��

;A ��

�! �F

jI)

$�! �

( �

$ J

��>��

y 4u "

�� � �

� &�%�

+ ��.

"%�I

� $�

! �FjI

u=w

� �

��)��

�G1 �

. �

H �

�! 4 "

�� ��&

�O 3

�-��

4 (�1�

�G 4F

��

��4 �

�A�+ &

I�4 (

B��&

I

� $�

B&W

+ �!��+

e 4r �!y 4u

&���

! ��&

�O .

#��&

�O b

�A ��

;!G 4F

&:��<

��1 ��

.R�

,) '�

,���

�,�

� y

�)&�

�! ;A

.E

�! ;

A �&

��� 4

&D� v

��

�� @

HI E

��+

� �+ �

&�9�

O B�jD

+ B!�F

� � �

�.

Page 52: Ljung, System Identification: Second Edition, 1999

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-5

����0

<.�

#��!

PEM

��

��� �!

quad

ratic

�! "

�� �!��

! �;A

q1��

�4

�! ��

���

J�I

D1

#

��H>�

� �! &

��! �&

� &�

%�+&2

� "

�&!

L

emm

a 8.

2.

���0<

.V

N

� M

���

"D+

;A

J&�

v

�� S

Wc "

A���-

��&

�OD

1�;

A �;

!�� U

8,1

8

0�1

"��

"A��

�- �

�&�O

�6��1

� d(5

) 4

d(6)

"

�� "

A���-

��&

�O ':

4� J

��>��

"��

E���

� �W�

.

��

��

��� �

� �!

�;

!�� �

� � V

N

��

#&�%�

+D

1 4

V "

�� (

��r+

�6��1

J�?

D� .

\�+�

+ �� �

!

�!�,+

�! "

A���-

��;

! &I

&�

� � B

��

Theorem�8.2.

���0<

.����

�� R

�) M

��� "

D+V

N�

V

\�+�

+ ���

: �!

�? N�

�8%

����

`�

� ^"

�� ��

��0<.

D1

E

��+

� ��12

�! �� �

��<+

"���

� ��

;!�4�

j� "

%�I �

!��

��

&���

: �$

���� �

!

L

S� +�

��4

� �

�4 ��

%&� �8

��6�

� ��

J&�

\�F

+ ���

�! �!

���<

+ �� "

�� �

� �6�

�1&�

� � B

�� ��

.

��&,F�

V ��,

���"

�� \

�F+ E

�! �

�A

�V

"��

���!

�4 ��%�

�>��

5�?

<�� 4

J&�

Uj*

� '��

�� �!

':

. �

#��r

+ $�

2,2 &

�! # 4�

4In

form

ativ

e

&��!

�z(w

)>0

in (8

.13)

.

� ��

� 5�

?<��

2 #

4�4 J

��>��

)���

1���4

( &1�

� "

%�A '

���>

%� ��

>�: �

.

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-6 7-1-3

+� �

���0<

. `"�

�True�value

:CONSISTENCY�AND�IDENTIFIABILITY��*=�

0�

�'l�

8.3

: c

'% *

�<M�

G "H�

� ��

Z

S!�;

� 5

�/4��

�D

1 4

S1 ��

J&�

���A

�� �!

"W�

1M

#��

In

form

ativ

e

"��

��A�

+ ( B

��&I

(!&�

) "%�I

� G �

G0

&�

�! 4 �

: �

�����

Q

uadr

atic

S�M

)

':

��G

': 4

H &�

��! �

��<+

#��%

&� �8

��6�

� (

��'

l�8.4

: c

'% *

�<M�

G �

�;"H

6��

4 +N'

<�� �

� ��

Z

S!�;

� 5

�/4��

�D

1 4

S1 ��

J&�

���A

�� �!

"W�

1M

#��

In

form

ativ

e

"��

� ��

A�+ (

B��&

I (

!&�) "

%�I �

G �G

0

&��! 4

�: �

�e 4u B

F���

)$�!

�FjI

( �

G 4H

J&�

#�:�

�����O

&���

! ���

� BF

���

� Q

uadr

atic

Crit

eria

Go �

G:

J&�

OE

y=

B/F

u+e

4y=

Gu+

H*

e

��H

"��

l<�

� 4 "

!�C)

� �,

+1/

H

4 ��

,/O

E

�,�

(�,

� �

���

� #

�� ��

� J

&�B

J

���

4 ���

<+ E

�-�� �

� "��

� � �

� � 0

�1G

�42

� ':��

) ��

y=B

/F u

+C/D

e

#�&�

3.#�$���#��������!��%!$�

������ �&�'�����

�'�

���

J

&� ��

��

�! V�O

5

��?! ��

OE

��

H

%4 "

��1 J

&� �

G ��

��

4 "��

���A

�� �!

'�

�>! �

G1 �

U S

Wc8.

4

���

<+ �!

&�

� B��

� E

��+ ��

o ����

� #��!

2 �;

A �!

E&�

��

;���

"D+

true

valu

e

��

� S

FD� 0

�1.

7-1 -4 �

�4�7�

E ��!�

4J�8

% T4���

�"

'��

J���

��O �;

!�� �!

Page 53: Ljung, System Identification: Second Edition, 1999

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-7

5�/

4��� "

D+SI

q1��

�4 4�o

#��!

e o "

�� ���

F�� $�

E �

� ���

+ �!

�;

A �

�c�! "

�� �!��

!

PE

M

&��

� B��&

I �� �

!�+ �

� J��>

�1�

� �-

��%�I

� J

4� 7�+

4

��8.

69

��

B��&

I �+ &

1��

� ��*

� ��

&:

� E��

1 �;!�

�PE

M

�!��+

4

�!

&��

� B��

. #�

&� 4.

4

$�! �F

jI '

����

()(*

$�

! �FjI

'��

�� �

)e 4u BF

���

� ue =

0 (

�6��1

� ��

B=0

"

!�C 0�

1 J&�

��� "

��H

=H*

��<+

&��!

G �,!&2

� "

�&! �

$ J��

>�1� E

&� B

��&I

.

� J

�X� �

� �

Lim

iting

mod

el

\

�F+

best

mea

n-sq

uare

�1

���) E

$4 �!

Q*

"

��

#�&�

2 : "

��� +,

5)G "

H V,

��� �

�.����

��� ��

J

��>�1�

��! �

�8.

69

�1�>

��&:

� �

6��1

#�

&� 5.

+!��$�,!!�+���

��

�u

'��

��! �1

�>��

��

"

��1 E

��+

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-8

J���

) e�I

8.69

� �

�1�>

��.

#�

&� 6.

J�X�

'��-�������!����

������� �.���!������!������/�

�!�

( #

��OE

# 4�

4 4 "

��1 J

K�A�

��C�+ "

D+ '

����

PBR

S �!

� u(w

) ^ 1

all

w.

��.

��

�W��O

J&� �

�)�� �

G1 �

�!

#$��

B��&

I $� �

:����

��O

&�

2 � "

�&!

)Q

=1

B�%

�!H

*(q)

= 1

and

�u(w

) ==

1 .(

B-,�

,���4 '

�,���

4 J&

,� �

1���)

n��O

E��

1"

�e�! #

���1��

�) �

&! 4 �

��O #

���1��

�) �

��A

S�W;

+ �&�

: V

��1 �

� "��

�&�

� �

&1��H�

� #

�� �!

�A

$� J��>

�1� �

�� '

�� 4

&�-z

�� �

�F� �

� "�4

��� $�

e�! #

���1��

�) �

�;A

.

c (

#��

ARX

'��

�� ��

� J�I

AR

X

&��!

jW� E

��: J

&� 4

"

�� &!

����!

�6��1

. $�

��12 B

�% 8.

69

")��

E��+

� '

����

�� #

��!

Page 54: Ljung, System Identification: Second Edition, 1999

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-9

1

$4 �!�

+ �1

���) n

��O

�1���

)Q

�� �

��.&:

�$ E

$4 e�!

#���

1���)

�! ��

"��

B-�

S!�;

� �

.

7-1-5

a"�

�� �

���0<

.IV

*�<M

� �)

f� E

�! 7

�j�� y

�) �! �

� ���

<+ &I

E��+

� 0

�1 p4�

�� �

PDF

�4

2 "�&

! �4

�A 4

# 4�4

.

*�

<M� �

���0<

.

� �

� E�

�1 �

��9�:

�����

#��

5�/

4��� "

D+ ��

D1

Uf N

�f

&�

� � B

��.

�.����

��� �

;�" �

��,� *

�<M�

'�

���

#��!

���

0

"��

>1� 0

�1 �!

���4 �

�&F�

� 0 (G

0)

��

� �

$ ���

<+.

���

u 4�

0

&���

! BF��

�)

$�! �F

jI(

�G

o �

G

� J

��>��

# 4�

4in

form

ativ

e

&��!

� u >

0

&��W1

�e�>

��� .

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-10

J&�

���

&�! E

�W1

����

#��!

" �

;�" ��

��

+���

�����

�&7��

)In

stru

men

t

����

�,

� �,

� �

U���

4 '��

�� ��

4 J&

� '��

�� ��

� n n

and

n m

6�

6��"�

�����

(���

�!

�$ E

��! �

7-2��

�<M� �

������

T4���

�"�

Ljun

g ch

apte

r 9

*�<M

� T4���

�" #�&�

��

&���

���+

J�X�

�� �

! d�/

�� E&

� ��

4� #�

�! .

�$ '

����

������O

4 20

t��1

�� "

)�� ���

� ��

��� �

�� ��!

���

4 ��&F

� "��

�&�

� � E

��1 B

-� �

���

4 ��&F

� �! "

W�1

� 0=[

0.3,

0.7

]’

"��

"

�� w�

;� �

��<+

q1��

�4 4 3

��! �j

r�� 4

�6�

� �

."

WD*

KW� 3

��! �

�� �

q

1�,��4

b�,?

A �

�6��

&� �

� �

"WD

* ���

��<+

. ��

������

� *�<M

� T4���

�" m���

4 +=$

%PEM

��'

� ���

��

����O

� #

��!N

"

�� J�

��1

� T

4����"

��4��

'�,�

�� 4

�,�

��� #

�,:��^

�� �,!

4 "

,�� �

W,��D

� B!��

(��

r+ 5�

�?! 4

54��

�� �:�

�����O

"��

���!

�4 .

P �

&:

� E

��1 ��

��

��� &�

� "���

� "��

���<

+ q1��

�4 ��

.4 �

$�,! �

W,��D

� E2 �

> �

!��� ��

��� E

����!

E����

c� ~;

�re

liabi

lity

"

��.

Page 55: Ljung, System Identification: Second Edition, 1999

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-11

� �

� #

��! t

��1 �2

�� &

1�� �

��!

J���

N�

#��!

N �1

� ��

��W�8

� 0�1

4&D�

.�%�

�,� "

,1�� #

$�,�

��W,�

� E

��1

���8 #

�����

�� #

4� 4

&I q

1��j+ �!

W1�6

� t��

1 �� &

:10

%

#

��!N

`300

&�

��: �

W���

. �

��

>�: "

8�� 1

/,

&2

� "

�&!

7-2-1���

���� *

�<M� T

4����" �

7� :

Cram

er�Rao�Bound(CRB)

� V

GE7

A( �0

��<M�

(MLE)

maximum

�likelihood�estim

ator�

%���I

� %�>

z �!�

+PD

F

) �?+

�%�W1

(

��

����O �

� �! �!

� �

� �

����

1 �1�>

��.

�� �

"��

J��6

� .

�: #

�$� �!

yN

�&�

� �

� �

� �

� $ �

��<+

5�&:

��� �

-�� J

���I�

y *N

�,! \

�����

&:

��

likel

ihoo

d fu

nctio

n

"��

�&�

� � 5

�&:��

� #��!

���!�

�!y *N

� �F

��

�,� &1

�,� �

�<�1�

#�D1

�! �

!�+lik

elih

ood

�� '

�0���

�>

���<+

�� �

!m

axim

um li

kelih

ood

estim

ator

(MLE

)

&���

#�

&� 7.

J���1

�$�

+ �!�+

�! %�X�

&���

y�)

y(i),

i =

1, ..

.• N

.

�&�

+N

�! BF

���

) �?+

��^��

PDF

J

�,�6�

��>

1�,�� �

! J���

1 �

0

q1�,

��4 4

7�j��

�i &�

��!

join

t PD

F

&���

)

�W��

D� �!

"��

� ��

jPD

F

���

<+ &�

� '�0

��� ��

� &2

� "

�&!

�!

�6��

��

��

� ��

��>

1���

�� .

�>���

<+ (

#���

��>

1��� �j

r�� M

���

"D+

qO

MLE

"

��

B( ���

'<4 V

��PD

F

��4��

� 6!�)

�� #

���4 +

) �

?+ ��

^�� &�

�� y

�){y

(i)}

4

BF��

�id

entic

ally

dis

trib

uted

$�

~� ��@

��

) �?+

��^��

W1�6

� "%�I

� "

��12

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-12

q1��

��� q

�+��

4 ��*

��>

1��� �!

J���1

�$�

+ �!�+

M-1

��

4

��o

Y

��'��

���

C( *

�<M� T

4����'7

� :Rao�Inequality

�Cram

er

q�+

�� �! �

� ���

<+ "

����

mea

n-sq

uare

err

or

�� E

��! E��

+ �

��&

F� U�

�A �>

���<+

( �

P

"��

(z�

� .

��&F�

�� �

� "��

��

�� w

�;� "

�� �-

�� ��

%���

P (

, #�

�!"

�� �&

Fz 3

��! E

4&! �

>���

<+ .

� �� �

�$

#4��

� �1

Cra

mer

-Rao

&�

� � l

<��

��

7.8

0 �:

������O

�&�

+ ���

d q

�+��

&��!

M q

�+��

d*d

7�

1 �! �

� "��

Fish

er in

form

atio

n m

atrix

� �

�&1��A

.�

^�'

� �'�

'� (�

'=�

0 "

PD

F

6��

4 ?'5

� ^J �

��,� (

�'G�

�� ��X

�� ��

�� �'

�" ^

J +�

�S� ^

�D��

. D(

CRB

����

�<��

��0!

�W��

D�M

M��

� "

D+

��

� J

�W1 �1

�>��

. �

f e 4

7�j��

� "

��1 E

���! �+

&���

: BF��

� �:

�;

!�� �

� �

�� �

E��

1 E��+

� �

W��D

� h&1�

�!M

�! "��

�!��!

J

�IC

R 3

��! E

4&! �

� ���

<+ �:

#��!

�� &

��

�: #

��! ���

�� �

�N

"��

~�D*

���

<+ p

4� �:

4.

��;"

0e T

4����" �

� �'

F0�

����

�! "

�� �!��

! �;!�

Page 56: Ljung, System Identification: Second Edition, 1999

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-13

7-2-2 a

"� ���

���� T

4����" �

�!�4J

PEM

�Theorem�9.1.�

� �!

������O

���

<+Q

uadr

atic

PEM

�! (

!&�) '

����

)$�!

� (

�&�

� � M

���

�!S1

;

�! �6

��

q

1���4 �

! J���

1 �$�

+ �!�+

#���

W1�6

� ��;

! ���

<+ #

�;A

��

P � "

��

#�$�

�! ��

�<+ q

1�����

N �! "

���!��!

+�

�S�

/'S4

�P

�!

����

V’=

0

E �

� ;A

�! &2

� "

�&!

V’

J

�I�*

&2

� "�&

!.

��<+

q1��

�4 �W�

�D� �

!Q

&2

� "�&

! �$

���

8 #���

%�I #

��! t

��1 �

� ��

��

� � �

E��

1

",�

� R �,

* 0,�

1 �,�

�+ .

#��,

! t�,

�1 ��

,�9�:

�(�,�)

�-1� �

! v4��

"�� R

�* 0�

1 &��!

�:��^

�� �!

"W�1

����:

)��

�$�&1

� �!

!� (

j���

� ��

T4���

�"M

�S�

"Quadratic�Criterion

���

���

e o(t)

) �?+

��^��

N(0

,�0)

�! "

�� �!��

! ���

<+ q

1���4 "

��12 &

��!

ˆ

dd

dd

y�

��

���

� �;

!�� E�

�: �;

!�� �

�C

ram

er R

ao

#��!

�� "

���=

log(

f e)

&�2 "

�&!

. �,

z �,:

&:

� E��

1 �;!�

�� 4�

�,! �

� �

� $ �

��<+

���!�

�����O

E2 &

���! �

����

I #�

�����O

.

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-14

� 3

��� �

!N

��

� �W

��D�

�1�>

�� K�

8 q1��

�4 # 4�

4 #��

#�

&� 8.

������0���+!1��������!2�,�����������

� ��

�$ '

����

u q

1���4 �

! &���

0�1

μ 4e q

1���4 �

! &���

0�1

�o.

J

��6�

�����

�O ��

� y

�)a

&��!

�! V�O

J&� 4

��

��� 4

PEM

��

� 2

&��!

.'�

��1

� M

!�4� �!

���+�

! J�I

'��

�6��1

� ��

�W

��D�

#��!

Ry(0

)

�&�!�

9.20

E

���! ��

2 &�

�� ��

�I ��

12 /�

� &�

�� �&1�

��

9.

20

� ��

y(t-1

)

4 ��

/E(

.)

&���

���I

��

�6

��1�

#�

&� 9.

+!1��������!2����%�34�5��������

������0���

� '

����

True

&�

�� 0

�1 �! �

$e

q1��

�4 41

&��>

! �G1

� ��

. J

��6�

�����

�O ���

<+ q

1���4

c &�

42 "

�&! ��

��! V

�O J&

� &���

y�)

&�

�! �&�

��)��

�G1 �

. �!

"W�

1 �;!�

� S��

�c

&:

)

�=-d

�/dc

( (

)(

1)(

1)(

1)(

)(

1)(

1)(

1)dy

tdy

ty

tc

yt

tc

ty

ty

tdc

dc�

��

��

��

��

��

At c

= c

o, w

e ha

ve

Page 57: Ljung, System Identification: Second Edition, 1999

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-15

11

01

11

10

00

00

11

10

00

1(

)(1

)(

),(

)(

),(

)(

)(

)1

11

cq

qc

qc

qq

yt

cq

et

yt

yt

ty

te

tc

qc

qc

q�

��

��

��

��

��

If

is th

e PE

M e

stim

ate

of c

, we

have

, acc

ordi

ng to

(9.1

7),

2 00

00

20

0

(0)

(0)

2(1

)1

1(

)(

1)(

1)(0

)(1

)(0

)0

1R

cR

cR

tc

te

tR

Rc

Rc

��

��

��

��

��

��

��

#�

&� 10.

J�X�

J

��6�

�����

�O 4 �

! �$

'���

�� 4� ��

&�42

"�&

! �� �

��<+

q1��

�4 ��)�

� �G1

� �

,

��

�a�

c

"��1

2P �

) q

�+��

(1�

1 �

� �

( '

����

�� "

�� �

�� E2

�! �

�O

verp

aram

eter

ized

"

�� .

4 \

;� "

%�I �

� �

"��

J&�

4 &�

�� �

X�I

� �>&

�: '

����

��*

y(t)=

e(t)

��

&1 e�

*� %

��6�

�����

�O �� "

��

� ( �

��

� �

�� �

G��

Go+ �

��� V

,��� �

������

G "G�and

� +I

�����

�'7 ��

���

"%�I

�� �

G

0

J&�

%4

��

��4 J

&� �

H

%4 "

�� �&

�1 ��

)�� �G

1 � ��

�0%�H 4

G &,

1��&1 h

���� �

�����O

.�>z

�!�+

"%�I

�� �

%

#�:�

�����O

G

$� &�+�

�W8 $�

�1 ���

#�:�

�^�� 4

&���

: BF��

� W1�6

� ��;

!:

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-16

H (q

, �*)

is th

e lim

iting

noi

se m

odel

, Ho(q

) the

true

one

#�

&� 11.

������0�&�+!1��������!2�#��������!����������

��

"

�� '

�:��A

���

�+ �

� �!

�$ �

;!�� �

!��+ �W

��D�

J�I

f=a 0

&2

� "

�&!

Th

e sp

ectra

are

"

�� '

�:��A

>�

�W�:

�!��+

�W��

D� �!

�;

!�� �!

�6��

�� �

� �

�$

7-2-3T

4�7�E

^���

� �� *

�<M� T

4����" V

�5S�

���

4��� T

4����"

: +�

�� ��

�� h�

�� +,5)

2 h�M

�S��

��

� ����

�� �

! q1��

�) E�&

�� �

1��$

�;!��

UJ���

��O $�

� ����

� �!

.T

= [G

H]

Page 58: Ljung, System Identification: Second Edition, 1999

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-17

7-2-4 T

4����"

����

,�V�

���

���

����

n��

B

&W+ �

!��+ #

��! q

1���4

"��

���F�

� $� J

&�

E

2 � �

�P �

4 W

1�6� J

���1 �

$�+ �

!�+ q

1���4

1/N

P�

"

�� ��

�<+ q

1�����

q�+

��

J&�

���

��)��

�G1 �

�!n�

(Asy

mpt

otic

Bla

ck-B

ox T

heor

y)

q1��

����! "

�� �!��

! �+ �

��

W�F+

n 4

J&� �

��

N "

���

J�c

. V

�0)� �

!n

q1��

��� \

�F+

� �

���!

. �,

�� #

��,! �

,6��1

��

n W

1�,6�

&1��

� J

&� B

F��� 5

4����

#���

1���)

� ��

�<+ �

� "��

�;�

�� �&

F12 J

&� ��

"��

. de

coup

led

�� $�

! �FjI

"%�I

� � u

e = 0

&2

� �

5��?

�� �!

�;!��

"��

.

��4

�Ih

���� �

�����O

&�

��! �

���

�/

�� �

� �$

J�X�

&:

� E��

1 �� d

. #�

&�

12.

W�F+

J���)

�6��1

���F

�9,6

2

'���

� &�

z #�

�! �

��4 �W

��D�

�!�

���

���4

'��

��2

q1��

�4 �! &

��� 0

�1 4

# 4�4

�!1

�����

J&�

4

���

�!n6

2

��

��

� J&

� �! �

�c �

��<+

n "

�� .

'��

��� 4

���

<+ q

1�����

�W��

D� #

��!

a"�

1 : $�

� ����

�9,5

9

�W��D

� 4

#

��!n`

2

�� #

��! �6

��1n=

2

S��

#��!

4N

"��

�&�9

�O E2

�W��

D� ��

W%� 4 "

�� W

1�6�

a

"�2:

$� � �

����

9,63

#

��! ��

n '

: "

�� W

1�6�

) #

��! �

�n�

(

��

Lim

it

"��

�&�

�W��D

�.

��

&�:

� E

��1 ��

j-�P L

V�0

)� �! �

+ � ��

5�W�

�D� �

!n

$� !

�A \

�F+

P n �

�_���

�� �

&�9�

O �W�

�D� �

�&:

. j-�

� &1�

�&�

� � E

��1 &

��� 0

�1 #

4�4 4

������O

d�1 &

�z �!

R�) '

����

#��!

���<

+ �1

���) q

1�����

��.

� P n

]�;�

k��,

� ��

j% �

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-18

�4 q

1�����

W�F+

1/

nPn

"

%�I �

n=2

#

��! 4 h

$�1 MA

�!n=

10

��z

�;F1

�!&1�

�&�

'��

. .

��4

�I

n &

1�����

1 4 "

��1 �

�0!P L

�,��^+

��,D

1 $�

�,��

q,I

&,:

E�,�

1 ",�

� ��

,���4 q

1�,���

� &:

� �j�<

� #���

1���)

� q

1�����

.

7�2�5TH

E�CORR

ELATION�APPRO

ACH�

"��

�$ q

1�����

�! J�

��1 �

$�+ �

!�+ 0�1

"%�I

�� �

,

f

fd

Ldt�

��

��

��

. T

4����"

6!�)

�� ��

����� *

�<M�

L=1

hM

�S#'

) ho�

�� ��)o�

N(0,

#�

&�

13.������0�.�+!1��������!2�5���$!��������"�����!����������

�! V�O

J&� &

��� y

�)

��<+

&���

y�)

c �!IV

"��

�&�

�W��

D�

Page 59: Ljung, System Identification: Second Edition, 1999

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-19

~

here

at

c=c

0 we

have

H

ence

so, a

ccor

ding

to (9

.78)

,

�!

�� �6�

�1 $�

B*�I

�6��1

PEM

��

&���

���F

�|c 0

|<1

��

a"�

IV "G�

Go�

�� ���

+,5)

h) 0�

N(0,

� 0e�

E2 �

��

#�&�

14.

������0�7�+!1��������!2����89���������

�!

���<

+IV

"��4

�����

4

�)�� �

G1 �

�!L=

1

�6

��1 �

������O

���

<+ 4

��! V

�O #�

;A q

1���4

7-20

4

0

*0

*

11

nn

aa

aa

��

*1

()

()*

()

()

()

2j

jjn

yhRn

yt

ht

nY

eH

ee

d�

��

��

��

��

Page 60: Ljung, System Identification: Second Edition, 1999

8-1 8

���

+��B

� ��B<

���'0

!� ����

�S�

��B�

"��

Lj

ung

chap

ter 1

0

+�W��

D� E

��&1��

�! #���

4� �6

�� �

IV, L

S 4

subs

pace

&1�

� �

uD!

&1��

���! n

��O �

� .

#���

4� ���

/���

-+$�!

&1�

� �

w��

�0>

�� #

���4�

4 ��

��� �>

��

�� �

.

8 -1Batch�solution:�

: #

���4 +

5l�� V

)AX=b

� B

ILS 4

IV �!

�6��

J���

1 J���

)no

rmal

equ

atio

n

��

� �

$

E2 �

��

q

�+��

�;!��

�� �

R �

� �

�0! �

�!� �

�4 �*

�?A

ill c

ondi

tione

d .

�jr�

� �� B

I #�

�!3

��

��4 p

4�

a

"�1 :

T���

�� W

'D�

+��

S�R

�� ��

O �

��>

�� 5

�W��D

a"�

2: Cholesky�factorization

�;!��

��)�c

�&�!�

�� �

�� �

5��*

�$ �

D1 �!

�� "

��A

��

c �$

#���

�� q

i� �

� �

��/

A’A

x=A

’b�

Cx=

A’b�

LL’x

=A’b�

Lz=d�

L’x=

z

8-2

#��!

p4�

��

BI

(A is

m

n a

nd le

ft-in

verti

ble)

5

��?! �

�A

x=b

����

1 �

� 4

A "

�� � �

���� B

!�� 0�1

"��

1 �!�

�.

a

"�3 :

QR�factorization

BI

#��!

n

��O

LS 5

��?!

Rx=

f

�!��

�A

x=b

q

�+��

A(m

*n)

A

x=b�

A’A

x=A

’b�

R’Q

’QR

x=R

’Q’b�

R’R

x=R

’Q’b�

Rx=

Q’b

Page 61: Ljung, System Identification: Second Edition, 1999

8-3

�B� 6

���

a"�

*��

1(

�� �6

12 $�

LS ��

&F�

R

(N)=

R’R

"

��co

nditi

onin

g nu

mbe

r

q�+

��R )

�! �

����0!

��!

"W�

1E2

��4

��&F�

���-

z��

( �H

�co

nditi

onin

g nu

mbe

r

q�+

��R

(N)

+�W��

D� "

����

I �G

1 $� 4

"��

"��

���!

2(

q�+

��R

��

� B

I �+

� ��

E��0�

: 5e

��� 4

"��

XjX�

. �

>%� &�

1�� �

� �

�4 J

���1 �

!�+ �W

��D�

#��!

0�1 �>

���

���

Levi

nson

��

�A��

4La

ttice

p4�

QR

#

��� be

tter n

umer

ical

pro

perti

es

"��

�����

-�

%�z p

4� %

4 "��

+�

�S�

R +�

!"� j�

��� V

D2� "

#

��1��%

� �W�

�D� J

���)

R "

�� ���

F��$�

� �F

� �! �

W��D

� �� �

t<

0

��

��4 B

I ���

4 E

2 #��!

�� "

�� $��

1 0�1

3(

#�6

! �-�

� -

t=1

$�t=

n+1

p

4� �

� �! �

� ��

d4��

�W��

D� #

��!co

varia

nce

met

hod

&�

��

� .

��

"��

��Wc

p4�

(

. 4(

#��!

� �F�

�� "

�� �

� �>

BI

���t-i

<0

E2 �

! ��

�� ��

)�� �G

1 � �

�*co

rrel

atio

n

&���

� &

�� .

�� �!

��*

�! ��

J�c

5��*

�� �

N

+n

&!�

� p���

� .

��$

��

+�W��

D� "

0� p

4� �

This

mak

es R

(N) a

blo

ck T

oepl

itz m

atrix

, #

��!N6

n

"��

y��8

� B!��

54��+

8 -2 �

�B�"�

���D��

���

V)

V’=0

�8

% ��X

4

;A

E���

���

��� $�

��o �

IV �!

�����

BI

U4 E

��+ 7�

�1U

E ��

1 B��&

I

�!�+

� "��

#��&F

� #�6

���

&��! "

WX� 74

S��

� 4 ��

* J4

� S��

� .

��

jr�� (

no

nlin

ear

optim

izat

ion

�! ��

"��

sear

ch

��

� �

���+ �

$

��

�>0

4f(

i)

"��

6���

"��

.

8-4

a"�

1 : k

��gradient

��

� �+ �

�j�+ M

�! U7

�����

� �W�

�D� #

��!1

"��

1 E��+

� ��

(

*)

(*)

VV

V ��

���

��

��V�

4 "

�� \

��f=

-V� �

&2

� "

�&!

a

"�2 :

*�'�4

��

� �+ �

�j�+ �!

�!�+

"��

�-��

�!��

� ��;

!2

��

� � M

�!

1 2(

*)

(*)

'V

VV

V�

��

��

��

��

��

���

&:

� �� �

$ #�6

���

"��

��

7�

1 �! p

4� ��

��

�W��D

� W�

F+ 74

S��

� "��

�-��

��

� �

�&1��A

. '

6I ��

�4� �

� � B

-��

�! v

�!��

+�W��

D�V

N

E2 S

��� 4

V’ N

"

��.

8 -2-1 ?�

'4 �� �

���D��

�� ��B�

"� +�

��2

Quadratic

:Nonlinear�LS

� p

4� �

� � V

���

�!�+

2 "

��

5

��?! �

��<+

4���

-+$�!

"

��

�=

d�/d�

��μ �+

"��

�6��

� 7��

J�c

��

a"�

1 :descent�m

ethod

�or�steepest

gradient�

7�

�����

( 0

1 ��

�4�

effic

ient

"

��1

a

"� 2 :

*�'�4

a

"�3 :

Raphson�

�Gauss,�New

ton

�New

ton

:� #

����+

���+

�W��

D��’

��0:

�O ��

��!

+�W��

D� �G

1 $�

"

��

J�I

W�

F+ J�

��) E

2 #��!

%4

� 0 y

�) ��

� �

��(

t, � 0

)=e o

(t)

74 �

j�� ��

"��

1 E��+

�10

.43

"

�� '�

:��A 4

��*

Page 62: Ljung, System Identification: Second Edition, 1999

8-5

"

%�I #

��! 7�1

��

μ=1

"

��

#��!

�%�<

�1 $�

dam

ped

Gau

ss-N

ewto

n

���F

�� /�

�g��

. �

���

E��

�1

�=e

�� |

�D%

��

74

7�+

$� ���

<+10

.43

� ��

)�� �G

1 � &

�! 0�1

regularization

��

W�

F+ J�

��)V

’’

����

q�+

�� �!

( 0

1 "��

�-��

%4

"��

�HO 3

�-��

�� �

� �

� �

E��1

�H% &

��!

p4�

$� +

�W��D

� B-�

� $� 0

�:�O #

��!re

gula

riza

tion

� �

� ���

��

7�+

4�I

��

� �

)�/� E

2 �!

.Le

venb

erg-

Mar

quar

dt p

roce

dure

V

�0)�

� "

�� �!�

+ E�

��� �!

�6��

� �!

"���

4 7��

J�c

V:��

���

�!

Correlation�Equation

: a

"�IV�

�jr�

� BI

#��!

��-��-

+IV

"��

� ����

� B!��

0�1

� +

��S

��

�8% #

�� ��

J

&� #

��!A

RM

AX

�W

��D�

� "

�� ���

F�� $�

��

����

� �

� � �=

-d�/

d�=-

d�/d�

'�

��1

� �H

% "��

&:

� �

6��1 �

= -q

-k y(

t) - q

-k u(

t) -q

-k (y

(t)-�

(t))

�>

5��W8

�! �

�=1

/c �

�&

� ��j

�) �

�� �!

���

"��

+�

�S�

� ��

�8% �

�X #�

$�

W?8 �

-W�

&�1��

;A

��o J

&� �

Bac

k-Pr

opag

atio

n (B

P)

�� �

� �

� ���

�� E�

���

�W�

�D� #

��! �

� �

� ���

�� 7�1

�� 0

�1 '�

��>%�

B� #

��! e�

���

.;

A ��o

J&�

#��!

E

� ���

��

� �W

��D�

�1�>

��.

8-6

��

�!

"W�

1 S��

� $�

��1

� �!

"W�

1 S��

� �W�

�D� �

� &

6��

��

� �

�����

0�1.

8 -2-2 �

�B�"�

TWO�STAGE�AND�MULTISTAGE�

a

"� *�

�0���

���D��

��

#���

4����

-+$�!

&

���: �

�O #�

��4�

&1&�

uD!

�� ��

��.�

� ����

itera

tion

��

��A�'

4�

#��!

�0>

�� #

���4�

"��

�&�

����

�O �

��8

;A '

����

. &�

z � 4

#��

�! '

���>

%� ��

LS &1�

� �

B&W

+

a

"�1 :

Bootstrap�Methods

�;!��

BI #

��!�$

� ��

IV �! [�

(t,�)

,�(t,

�)=�]

p

4� U

PLR

�![�

(t,�)

= �(

t, �)

]

#$��

B��&

I 4

quad

ratic

�![�

(t,�)

=� (t

, �)

]

��

�!���

. �

���

�! J

��8� 4

LS &2

� "

�&! #

&�! �

��<+

�;!��

�!

���1

��>�:

���0%�

'��

�>%� �

a"�

2 : Bilinear�Parametrizations

y

�)���

���O &

���

�={�

, �}

���

�>1 "

!�C �! �

� &��

! �:

&��

! ;A

#�>

�!

"W�

1 �jr�

� (

.J�

I �

� � #$

�� B

��&I

#��!

��Wc

���

4

BI

LS "

�� �$

a

"�3 :

Separable�Least�Squares

�!

"W�

1 J&�

���

� �!

"W�

1 4

;A�

&��!

;A ��

o

Page 63: Ljung, System Identification: Second Edition, 1999

8-7

#

$�� B

��&I

(

�!�

�&�

� �

�! �6

��

���<

+

LS ��

����O

� �

� �

.

��<+

3��

� �!

� &

6� �

��<+

U� �!

LS �

� �

B*�

I

=

5

�W��D

� '��

�>%� �

�w

ell c

ondi

tione

d

$� ��

�! ���0

%� E2

��>�

: "8��

%4

��

dam

ped

gaus

s ne

wto

n

"��

1 a

"�4 :

Order�AR(X)�Models

�High

� '

����

��

��� #

��!�$

J

&�A

RX

�1

;A ��

o �jr�

� �+

��

� � $

���<

+ 4 �&

� ��)

�� �G

1 �

���4 J

&� #

�6! �

$

�!

E��+

�A

RX

��

� M

':

��4M

#��

�&�

+ ': 4

N 4

�! "

����!

"��

�!N6

M

J&

� �� �

�%4� '

����

��

.�6

��1 �

This

mea

ns th

at a

hig

h-or

der

AR

X m

odel

is c

apab

le o

f ap

prox

imat

ing

any

linea

r sy

stem

ar

bitr

arily

wel

l.

� �

� �

7�&�

� �$

#���

4� $�

- �!

���

V:��

#��!

���<

+ $� &

�!

p4�

1 : h

���� #

�:&� @

HI

"A�

� #�

�!G

=B/A

p

4�2 :

#���

4� J�

�8�

�&

� ��

A���

orde

r red

uctio

n

p4�

3 : '

����

(�D

+ �! u

�4

�A &�

%�+ 4

.z J

&� J

��8� q

i�A

RX

�!

���

O ���

u 4z .

���

'

����

J&�

�&1��

���!

���

<+ #

��! �$

J&�

$� &�

�!A

,B 4

C �

� � �

����

8-8

E�z

4 u

�����

&���

: 7�j�

�LS

"��

# 4�4

4 �!

'���

� #�

�!.

p4�

4 : p

4�su

bspa

ce

�� �

����

� E��+

� �

�G��

�� #

��! 0�1

��.

a"�

5 : Separating�Dynam

ics�and�Noise�Models

p

4� �!

���8

;A '

����

� IV

E��+

A UB 4F

&2 "

�&! J

K�A�

���<

+ �+ $

���

<+ ��

�! E��

+ � q

i� ��

���<

+ ��

LS �

��<+

#��!

74 C 4

D J

&� $�

AR

MA

"

)�� ��

-!

8 -2-3

?'<��

�� 6

�H"

V’ +�

!"� j�

��� "

�8% �

�B!��

��

;A

��o #

$�� ��

��! #

�����

�>%�

B-��

&1�

� ��

jD�

B��&

I .

$�! #�

����

�>%� �

����

B��&

I �!

E&��

� #��!

���-+

� ��

<�1� &

�! \

����

��%4� �

�&F�

. #

�����

�� �

SISO

�� ?'

<����

� J&

(B =

= 0,

D =

= F

== 1

)AR

MA

"��

����

7���

���

Ay=

Ce

J&�

� A

RA

RX

(C =

F =

1)

5

��?��

��o �

��&1

��4

jD

� 7��

���� &

��! �

�0! 0

�1 �!

J��>

�� ��

�"

�� &:

��A �

�4.

A

y=B

u+1/

De

���

A=1

4nf

=1

��&1

��4

jD

� 7��

���� &

��!

y

=Bu+

C/D

e

� �

��A

=C=D

=1

# 4�

4 4 &

��!

u ��

&1 �

�4

jD� 7

�����

� &��

! &���

0�1

.7�

�����

�>

#��

4�4 #

��!&�

�! ���

� �

�4 &1

��+

� jD

y=B

/F e

1+e

#��!

AR

MA

X(F

==

D =

= 1)

,

"��

1 ��4

� d�/

�� .

��

� "

)� ��

�� B

��&I

j�8

����

\jo�

� %

4.

� #

��!PL

R

J&�

�!A

RM

AX

��

� E

��1 E

��+

Ay=

B u

+C e

�! #

�O

E

"��

1 J��

�� ��o

����

#��

�!

jD� B

��&I

�! E&

���

y=

B/F

u+e

Initial�Param

eter�Values

��

�� E

2 p$��

\��

�� ��%

4� ��&

F� ��

)� #�

�! p

K+ .

��%4�

� �F�

��)�

#��!

E2 0�

%�12 �

� �

�4

/��

J&� �

��"

�� �

�Wc \

����

.

;A J

&� #

��!bl

ack

box

O�

E��+

� �

�� &�z

")��

V�

$� � �

����

IV ��

%4� �

�F� �

��<+

#��!

B/(A

F)

� �

��<+

v? &�

1��10

.74

� ���

<+C

4

D &�

1��10

.76

Page 64: Ljung, System Identification: Second Edition, 1999

8-9 .

��%4�

��&F�

�! �4K

8�

��%4�

��&F�

� "

�� $��

1 0�1

"

�� �&

� ��

���O

�$ #

���4�

��

��(

0, �

) = 0

��<

�1� �

(0, �

)

�-�D

1 �!

�(t|�)

, t =

1, .

.. , d

im �

�� F �

y(t)

�.

� J

��8�

�(0,

�)=�

��

�� �

E2 �

��<+

4����

��O E

����!

� �

� ���

<+ba

ck fo

reca

st

�(0,

�)

5

��?! \

����

��j�)

J��8

� �! ��

#4

� $�

back

war

ds

8�3

Subspace�State�Space�System�Identification�(4SID�Methods)� &�

�>! �

G1 �

�� �$

'���

�&�!�

C 4A

���

<+ q

i� 4

��

� �

$ ���

<+B 4

D �

�� �

7�6

1� .

'���

�����

E�-�

� p4�

��

MIM

O

�4

�A 4

# 4�4

3��

� �!

) #

��� �$

�&1� E

4&!

Stat

e (

�42

� ':��

) ��.

�W��

D����

-+$�!

# "

��1

4 ��

&1 ��

jD� B

��&I

4 ��

>�: B

-��

��

� �

$ ���

<+

j� 7�

) � "

%�I #

�])

'6I

M��

�� �!

���F

� �

+�W��

D�PE

M .

$� 5�

W��D

� �

QR

4SV

D

&��

� � ��

���

. *

�<M�

C "� A� "

��1 E

��+

� �� �

$ M!�4�

"%�I

#�]

) #� �

� ��

'��

�� �!

�/ n

� �H

a

��

� �:

�}&2

� "

�&! �

1�>��

.

�;

!�� �

� �

� Y

a

q�+

��O

utpu

t blo

ck H

anke

l mat

rix

#��!

�!���

��;!

�� "

��U

a 4

Na

� �

��A�

� 0�1

. �

X St

ate

Sequ

ence

Mat

rix 4

� Ex

tend

ed O

bser

vabi

lity

Mat

rix

��

>n � '

����

���

4 ���

� �

��)�

� �G1

� 4

N �&

�+"

���

. &�

�! 7�j�

� ���

���

�=n

5

��?��

��o �

� "

�� ��

� E��

�H

a

�!�/

n��

O XjX

� q�+

��&�

�! � J

��6�

�� "

��

8-10

��'4 ^

"�� �

���

"

�� ���

� �� $

� �;!�

� &��

! 0�1

E4&

! '��

�� � �

.

-�_�6

12 $

U #

4�4

�+��

"��

7�j��

&

�����

q

��

� ��

/ E�

� �;

!�� 4

&�%�+

E2

�+

&2 "

�&!

. N

z "

�� q

�+��

m*n

�!

p4�

Sing

ular

val

ue d

ecom

posi

tion

(SV

D

�06+

� �

q�+

�� �6

��1 U

(U’U

=1)

m

*m U

q�+

��m

*n

#�;

� S

���

��o �

�F� �

!

q�+

�� 4

V (V

’V=1

)n*

n&�

2 �

"�&

! U .

q�+

�� (

1�

"��

'���

� ��

� ��

�<+

. ��

� ���

�� �

! $�

� �!n

q�+

�� ��

� ��

&!�

� J0�+

"�

.

ran

k re

duct

ion

(mod

el o

rder

est

imat

ion)

)�c $

�<+

�� �

$� �W�

���� �

� '��

��

���

<+ E

2 J4�

� �

C �!

��� �

��F!

$� 4 4

LS �

��<+

A �

"�&

!&.

"��

� ��� �

� $� q

�+��

�06+

�1��

1M

=USV

and�D

�Estimating�B

J

� IB 4

D �!LS

4 �$

�;!��

��)��

�G1 �

�! 4

���<

+

���

C 4 A

&2

� "�&

!.

7�

) �! �

;!�� �

O

E

>1�

0�1

���

�I 4

"��

��<+

&��

! $�! �

FjI '

����

%4

cons

iste

nt

&:&�

� .

\��

�� ��

�<+ �

;!��

LS "

�� �1�

>��

��

 4�

� �F

�Tr

ue

&��

�!B 4

D ��

&F� �

!Tr

ue

��

� 4 &

�����

#

�����

<+co

nsis

tent

#�:�

�����O

ÂN

4�

N

��

� ����

�B?

N 4

D?N

�!

True

&�

���.

���'4

6!�)

U#

0�1 "

%�I �

��

@HI

&�! 0

�1 7

�+ .

q�+

�� 0�

1 @HI

#��!

Han

kel

"

��� 4

�!

�� �

4�A 4

# 4�4

&���

'��F

+ �&�

2 4 ��

�H�

)#�

���A�

(

Page 65: Ljung, System Identification: Second Edition, 1999

8-11

J&�

J� I

J��>

��"

�� ���

F�� $�

�&�2

7�

+ BW�

"%�I

�!��

� 7��

��%4�

� u

��

� @

HI

0

�1 �-

�� y

�) �

N #

4�4 4

U �

-�� 4

���W

�: ��

oU

f 4

Yp

�&

���: �

��W�

: ��o

0�1

U

p 4

Yp

�A #

�:&&1

��IV

&1 ��

�/ �!

J�I

P �C

� �&�2

J&�

��

� @

HI

�! N

z "

�� q

�+��

J�I

SVD

4

'���

� ��

� ��

�<+ �+

��

� �

06+

� &2

"�&

!.

A

ny c

hoic

e of

pos

itive

-def

inite

wei

ghtin

g m

atric

es W

r an

d W

c w

ill r

esul

t in

con

sist

ent

estim

ates

of t

he e

xten

ded

obse

rvab

ility

mat

rix.

#��!

+4��

�� 5�

����

�O ���

���>

%

#���

�+��

posi

tive

defin

ite

Wr

4 W

c

�� &

�:

� #

0�1 "

%�I �

�C� "

���� �

! #� �

GIK�

B! ��

&1��

���<

+

• MO

ESP

(Ver

haeg

en, 1

994)

:

8-12

• CV

A (L

arim

ore,

199

0):

• N

4SID

(Van

Ove

rsch

ee a

nd d

e M

oor,

1994

):

8 -4RECURSIVE�ESTIMATION�METHODS

�Lj

ung

chap

ter 1

1 ��

4�� �

� 7�

�+ ��!

�: #

���-+

#���

4 � �

� &�+4

���� �

G1 �

� $� #

���-+

#���

4� �!

���$�

! #���

4����

� � ��

� �

�� �

����

&&�

p$�

�O ��

� ��

��A

2 ���+

��

�$�! #

���4�

� %

4 ��>

�� .

���

<+ $�

� ���

�� #�

��0�

"��

���F�

� $�

���$ �

�ˆ(t)

$�

� ��

�W�!

�ˆ(t

1)

&2

� "

�&!

"��

$��1 ��

�4� �

� �! "

�� E�

�$ �!

���!�4

'���

� ��

�:

�!���

� .

F)4

J���

� BX�

adap

tive

cont

rol

,

F)4 J

��>��

p$�

�Oad

aptiv

e si

gnal

pro

cess

ing

F)4

��! V

�O 4

adap

tive

pred

ictio

n

��

� #

��&�>

1 # 4&

D� ��&

F� MF

) "��

1 �:��

7��+

���A

m �! #

$��1

��>%�

� #

����

real

-tim

e

��

� J

��8�

� ��

�! 4

"��

$��1

���

� B

_��� �

fa

ult d

etec

tion

&�

� � �

;A 7K

8� 4 �

�� ��

5����

^+ ��

��

�!���

�����

�>%� �

� :

\���

#

���4�

#��!

off l

ine

4

&���

: 0�1

&�:

� �

�� � ��

��

��� �

��9�:

"

� �!

���<

+ �+&�

�! )

��

&�1��

#�>

#���

�1 ���

4� �

� #��!

on-li

ne U

real

-tim

e U

adap

tive

�se

quen

tial

"

�� �&

� � �

���� 0

�1

Page 66: Ljung, System Identification: Second Edition, 1999

8-13

#�&

1.J�

X� :

"��

1 ��

�$�! 7

�) �!

�� #���

M��

�� E��

+ �

� ��

�!

6

�'4 ^

�'� �

� ��2

F��� a

"� +�

�� ���B

��<M�

+Q

���

<+ #

��%���

) �� �

E���

��1 ��

��

�$�! 7

�) �!

&��! �

$ ���

A��

�! �-12

�>� "

��1

�;

!�� "

��� @

�c �

x �

��A�

+ &I��

-x(

t-1)

��

��

4 .

5��?

�� �

� �� 4μ

&���

: ����

��O 4

��

�� c'%

��2

F��� a

"� I

��

��

��>�

:

� �

��<+

cons

iste

nt

�E�

�$ �!

���!

�4 ����

��O E

�� J

�W1 �

�A

go

od tr

acki

ng

� '

6IJ�

F�� 5

�W��D

�� �

�! �;

!�� �

conv

erge

nce

vs tr

acki

ng 4

com

puta

tiona

l com

plex

ity v

s ac

cura

cy

��4

B!�F

+ ��

� B

���

;A E

�����

� �! v

�!�� '

���>

%�R

LS 4

RIV

"

��

;A ��

o E���

��� �

! v�!�

� '��

�>%�

RPL

R

;A

��o �

jr�� �

! v��

� 4R

PEM

&�

��:

8 -4-1TH

E�RECURSIVE�LS�ALGORITH

M�(RLS)

'

���>

%W

eigh

ted

LS(W

LS)

��

� B

&W+

���$�

! �4

� �! �

$ 5�

�* �

.

���$�

! �W�

�D�

R 4f "

�� ���

F�� $�

.

8-14

Now

(��

�S� b

.�71� R� 5�W�

�D� V

:�� #

��!

��

� �

�����

�$ �&

8�� $�

Taki

ng A

= �

(t)R(

t -1)

, B =

DT =

�(t)

, and

C =

1 g

ives

M

oreo

ver,

we

have

"

��1 �

��R

LS

��

� �%

���) �

1�>��

.

e(t)=

y-�’

"��

��! V

�O #�

;A

��(

t)=�

�����

) \�/

7�1 �

! fo

rget

ting

fact

or

��

� �&

1��A.

��?(

0)

"��

��%4� �

��<+

.e�

���

��

* �

� �

��)��

�G1 �

�P(

0)

"��

������O

��%4�

���<

+ #��!

q1��

��� q

�+��

.e�

���

P(0

)=�

I

�� "

���

�� "

�� �

� ���

�! �

�! ��

&1 ��

)��

"�

��%4�

���<

+ .

��

&F� &

:

�1 �$�

�� (

z��

� &�

� ���^

+ )��

�$�&1

� �!

.��

%4� ��

�<+ �

��"

�� !

�A �

�<�1�

�� &

��! "

�� �

�W�1

. �<M

� �� h�

��4 (

�'=

����

7 /��g

�� ^

�'� �

� ��4 �

�� ��B

� +�!"

� ��B�

a

"�1:

���

<+ J

��8� 4

4&D�

��

# �&�

+ $� �

�����

off l

ine

a"�

2: �+

� ��

���P(

0)=P

0= I

�W��

D� 4

Page 67: Ljung, System Identification: Second Edition, 1999

8-15

��

�P 0

� �

�0!t

&��! �

�0!

&�:

� (

01 �

�F�

�;!��

4 �:

. 6

.���

RL

S

*<!�7

��5�E

�� "

�� �1�

>�� �

�%�� �

�j�) M

!�4�

� 4,9

4

"��

�&�

� �

. J

&� ��

� J�I

�=

�’�

'�

���!

�$ "

%�I #

�]) 5

��?! ��

M

��� "

D+ '�

�� J�

�8� ��

��%�

� 4 B

=0

,A=

1 U

C=�’

UR 1

=0=

Ew(t)

w’(

I) U

Ev(t)

v’(I

) = R

2(1)

�;

!��RL

S

�!�(

t) ==

1 4

&2

� "�&

!.

LS�

*�� +

���4

+7 6

� ^J

�;"v

��11

.25

h�

'F �

�g ��

'4�(

t) =

1 "

+�

7 ��'F

�� *

<!�7 �

�5�E 6

��(

t)

�����

*�0

4�����

(t)

T

����� T

4����'7

"P(

t)

6�

#�

&� 2.

��%4�

M���

J�X�

'��

�� #

�:����

��O �

��<+

� u 4

v

&�

��:

) �?+

. �

� �

� ���

�� �$

��%4�

� �F�

$�

� �F

� 3��

� �! '

����

��

���

"��

�&�

� � E

��1 B

-� �

. �! 4

��

�1 �

� ��

! ��%4

� ��&F

� �! �

�0! �

� �

��>�

: ���

�� '

���>

%�.

8-16

8 -4-2

THE�RECURSIVE�IV�METHOD

� "

%�I �!

���

LS �"

��

54��

+ �� �

� #

�� �!

�;!��

$� �<

! � �

��

� �

�4.

8 -4-3 +�

���" �

���

���

���^�

�� +�

E

���� '

����

#� �

forg

ettin

g fa

ctor

) (�

$� ���

� �&

1� 4 "

!�C &1�

�+ �

1 &�

�!

:0.

995>�>

0.98

a

"�1 :

#�<N

��'

���E k

��H��

"��

E��$

�! ��

�!�4

#���

����

#��!

\��

�� �

��$�!

4 F)4

p4�

.��W

�8� �>

&� #

�:��

E��$

"�H

� �!

��

@HI

'���

>%� $�

E��

�C� &

�! 4 &

1�� & .

&�� B

�8 �C

�� &1�

�+ �

��^��

7��

J�c

�H% .

��! �

�<�1�

7�� J

�ctra

ckin

g al

ertn

ess

4 n

oise

sen

sitiv

ity

"��

. d

��4 �!

1��

��1 5

����^+

� �

� � �

V:��

&�!

)j

W� 5�

�C� �+

4�! �

�! $� ��

� � (

��

� � V

�0)�

jW� 4

&I �!

qi�

4 .�

��! �

�&F�

0 41 �

�>��

�A

�! .

��<

�1� �!

�>��

J��8

� E��$

�! ��

�!�4

�����

) \�/

'��

�>%� �

� s

mal

l

"�j!�

� 4 �C

� ! "

8�� �!

�&

� #�:�

� tra

ckin

g

���

<+ q

1���4

4 #0�

1 '��

�>%e�

���

4��� e

�!&!�

� V

�0)�

� cl

ose

to 1

(z�

� ���

<+ q

1���4 4

��A

��

>�:

Page 68: Ljung, System Identification: Second Edition, 1999

8-17

�!��

<�1�

1

��$ "

!�C �! �

+ �&

� #�:�

� :

&�

:

� "�

$� ��

�A ��

C�+) .

$� ���

� �C�

36� "

�� &�

:��A

( . 5

&� #

��! '�

���

���

T 0 �

W��D

� U"

�� "

!�C Bi

���

&2 "

�&! R

�) �;

!�� $�

\��

�� .

1���

�1 ���^

+ 5��*

� &�

1�� U'�

���

'���

���

1 4

&I U

4T0

� � �

#��

J&�

� E

2 �C� �

+ &��

� J

�c.

+7 6

� ���

(�'

G� �0

�� #'

��E�

��D�

� V��

I�

/�

B� ?�

� �� �

��'4

����

� ��

�>%� #

�6��

� 7��

J�c

"��

' .

&��

� �&

�O v�

W+��

�����

) \�/

�! 7

�� J�

c .

4 E

�� J

�W1 "

�j!��

"��

1 E��+

� 0

�1 ���

! 7�+

�! �� '

���>

%� ��

>�:

. q

�+��

� �F�

��0

!R

�!� ��

>�

�! .

�+ "

�� \

����

4��� $

�R �!�

��

�0�%���

1.

�� �

�! "��

�!��!

� &:

� ��

�$ "

!�C ���

! ��H�

E��$

E&�

#�i�

$� &�

! "!�C

.

= 1

- �

���p�

� 6

� ^J

b.�7

Tq

" /�

B� b

���E� R

�����

^J b

���E� T

q "

IQ'

7 ���,

� +�

. �(

t) ~

1/(t

- t0).

&!�

� V

:�� ��

�! #0

�1 #

4�4 �

! 4 �

$ ���

! &�!

"��

5�8K

c� #4

�I #

4�4 �

� ��

1��$ �

� �!

&2

� � �

$ 5�

�?! �

;!�� 5

�&���

+

E

2 � �

� �

�� �

�$ 7

�) �!

�6��

���

"��

6���

7�� J

�c �&

��� �

���+

8-18

c (�E

��G� �

�p�� ^

�'�� �

������

*�E�

F �r4

�� U�

�����O

E �

! E��$

�! ��

�!�4 �

�)���

G1 �

�>

p4 �

� "

�� ��

%�� ��

j�) �!

E2 �

��<+

4 )

�?+ �

�^�� E

����!

y=

�’�+

v �

�)�� �

G1 �

�Ev

2 (t) =

R2(

t) �

�%�� �

�j�) U

&:

� ��

.

�4 J

���) �

� �

R1

&�

� � #

����j�

���!

E&��

�* $�

J&�

"%�I

� lin

ear

regr

essi

on

��!

����!

'�G�

+tra

ckin

g ab

ility

and

noi

se s

ensi

tivity

':��

) ��

�42

��&1

�;�

�-j�

8 ���

� �>

� .

� &

��!

����

'���

� #�

:����

��O 5

����^+

��D1

b�?

A �

5�8K

c� ��

� ���

S�c

$� E��

+R

1

��

��4 �

��<+

� ��

12

#�&

3. �!

�$ '

����

u 4v �

'��

�� ��

&��>

! �G1

� �� #

0�1

t=N

/2

��

� ��

�^+ ��

z .

�C�

� �

,-j�8

�,!

&���

���!

��

:�� V�

��

�]��

5��C�

4�

� ���

4 ��&F

� "��

�! ��

���

���<

+.

�&!�

� V

�0)� 5

�1���1

4 ��

� 3

��I

0�1 �

! '��

�>%�

Page 69: Ljung, System Identification: Second Edition, 1999

8-19

imate

tAsym

ptotic�.Properties�or�the�Es

��<+

RLS

��<+

�!of

fline

&�

��: �

!��� �

�12

W1�6� �

��)�

%4 "

�� 54

���� �

�%4� M

���

B�%

�!

8 -4-4�RECURSIVE�PREDICTION�ERR

OR�METHODS

PE

M

��

� B

I ���

-+ $�!

5��?

! ;A

��o �

jr�� �

! .

�� �

%���)

E��+

� 0�1

���

$�! 5�

�?! ��

p4�

��

.��

� ��

��� �

!�+V

J�I

���?(

t-1)

�!

"W�

1 qi�

4 '�

: ��

j�+ M

�!�?(

t)

�$ M

!�4� �!

��� '

��� ��

* ��)

�� S

���

&2

� "�&

!

J�I

V’

'�

:

� M�!

�� .

�-��

�! "

��8 �

!V

’ t-1

"

�� (

z��

)BW

� E��$

7���

��� (

&�

� "�&

!

\

�F+ �

! J�I

�(t)

^ 4

�(t)^

) ��

>��

! J&�

�! �

�12

���4 �

�&F� �

W��D

� ��

( 7�

1 �! �

� &2

� "�&

!re

curs

ive

Gau

ss-N

ewto

n pr

edic

tion-

erro

r

��

� �&1�

�A

��

� � �

R-1

�;

!�� �!

mat

rix in

vers

ion

� �

��

�$�! 0

�1.

� �

��<+

J&�

�! E

��: '

���>

%� ��

RLS

"

��

���

R=I

����

'��

�>%�

�� ��

)�� �G

1 � 0�

1Le

ast m

ean

squa

res

LMS

&2

� "

�&!

.

w

here

the

gain

�(t)

cou

ld b

e a

give

n se

quen

ce o

r nor

mal

ized

as

#�

&� 4.

Exam

ple

11.1

'

����

AR

MA

X

&��>

! �G1

� ��

��! V

�O J&

E2

8-20

�W�

�D�

=(

t,�)

=d�

/d�

�W

��D�

� #

�� �!

\�F

+ J��8

� �! J

�I "

�� &�

� $��1

��

���+ �

!� $��

'��

�1 �

�&�

w�;�

&2

"�&

! �+

��! V

�O #�

;A�(

t)

�&1��

���!

�(t)

&1�

� 54

��+ '

: �!

. E

��$ �+

�(t+

1)

"��

1 �&1��

���! �

�&F� �

! #$��

1.

MD

Projection�into�

� ��

�up

date

�!

Sj��

�D

M

��>

��1 ��

�� J�

W� ��

� 4 �&

� �

&��W1

#�

&� 5.

�!

�$ '

����

RPE

M U

RIV

4R

LS

"

�� ���

F�� $�

t��

1 �&�

��

���

u 4

v q

1���4 4

��*

��>1�

�� �! 0

�11

&���

: .

#��!

J&�

RLS

4R

IV

#

��!4R

PEM

"

�� .

"��

���F�

� $� V

��$2

t��1

Page 70: Ljung, System Identification: Second Edition, 1999

8-21

RLS

&:

&��1

3��!

E4&

! ���

<+

>1� 0

�1 �!

���

<+R

IV

"��

3��!

E4&

! >1�

0�1

�!

�R

PEM

�W�

�� ��

�<+

a,b

,c

��

>�: "

8��

%4 &:

� ��

c "

�����

�.

8 -4-5 RECURSIVE�PSEUDOLINEAR�REGRESSIONS

;A '

����

j�

J&� #

��! �

��$�!

J&� �

��<

SISO

���

�!�+

� "

�� ���

F�� $�

"��

.

We

then

hav

e th

e re

curs

ive

pseu

dolin

ear r

egre

ssio

n (R

PLR

):

�!��

�R

LS

�� 5

4��+ �

� �! "

���(

t)

"D+

0�1 ��

'��

�>%�

��>�

: �� "

�� j

W� #�

����<

+ 5�8K

c� #4

�I&:

� �

��� ��

C�+.

�!��

�R

PEM

��

"��

� #

�6!

� "

�� ��

��1

8-22

� J

&� #

��! ��1

2 ��+

�����

��

��

�6�

�����

�>%� $

� #� �

��1�A

AR

MA

X

7�1

�!ex

tend

ed l

east

sq

uare

s (EL

S).

� �

�&1��A

.�

d��1� �

>

"��

�&�2

J4&�

Asym

ptotic�Properties

R

PLR

E

��:R

PEM

#

�� �!

E2 �

�� "

���

$�� �

� � �

����

. "

�� ��

�!�4

�� �

! '��

�>%�

��>�

: ���

!��! ���

��A

�&Fz

� &�

� �&

���1

��.

#��

��A

RM

AX

���

���

�� 6�

�����

:

+D

��� `

��E

LS

+7

6�

*�� �

'� ��

0<.

���0<

. `��

RPL

R

#��

"O

E

6�

���; *

�� ��

�B<���

'0!� �

� '��

�� ?�

F c�M

�4�RPEM

"RPLR

"

�� 4

��&F�

�����

�>%� �

� �

y(t)R

-l (t)

�� �

���+ &

�! .

p4�

4 $�

- �!

�6��

� "��

G

auss

-New

ton

��

R q

�+��

\�F

+H

essi

an

"��

�! \

�����

+�W

��D�

'6I

d2 "

�e�! 0

�1 ��

>�: "

8��

%4 "��

"gradient"�direction

"��

���� 5

�W��D

� '6I

) �!

\��

���d (

&!�

� V:��

0�1

��>�

: ��1

\�+�

+ ���

: �! 4

���0��

�1� R�

q�+

�� '�

��>%�

#$��

� ��O

� R

0��

�!d*

d )d

"��

:����

��O

�&�+

( ��

0: �

� ��

3�-

�� 7��

�: �

&�!

+�W�

�D�

! � e

�! ��

. $�

� ����

� �!M

atrix

inve

rsio

n

&2

� "�&

! ��)�

�W�

! �;!�

�.

Page 71: Ljung, System Identification: Second Edition, 1999

8-23

.

q

�+��

�6��

� p*

p )p

����4

�A �

&�+

(&:

� V

:�� 5

&�! ��

5�W�

�D� �

�&F� �

� ��

� 3

�-��

. �

� �

�;!��

� �� �� ��

>�

�!

!�<�1�

p4�

�! ��

"��

J���

) �1��

����

P

+�W��

D� �G

1 $�

soun

d

#�;

A �!

4 "��

1ro

undo

ff

E��+

� �

� "��

3��

IP

"��

��! ��

&��

. �

�! �W�

�D� �

�D1 �

��^+ �!

mat

rix fa

ctor

izat

ion

��

� ��+�

� B-�

� ��

. �

8% ��

X #��

^���

+� +�

���"

�J&

� J��8

� �)�/

� �! �

��! 4

��

���) \

�/ #

��-��-

+ E��$

�! �

��!�4

'���

� #�

�!

� �

����

� �$

������O

#��!

�;!��

� ��

��

11,29

)E�

�$ �!

���!

�4 ;A

J&�

( ��

�!�

�! ��

�A

#��

� &:

.

.

9-1 9

��<�

�_/�

��

<����

� % 0

����EP

��`�

/���9

Y�

��&�

5

OPT

ION

S AN

D O

BJEC

TIVE

S

9-1

���8

"��

�&�

� � E

��1 B

-� �

��

��� 7�

���

h�j!

B�-

�+ ��

��

��� '

���>

%� #�:�

�����O

�8��

6� B

� �

�� &

���:

!�<

�1� #�

:����

��O #

��� �0

�� $�

(�: &�:

.D

(OPT

ION

S) . $�

&���

: j�8

# �&

�+ 4 (

��r+

��^��

# �&�

+ �:��^

�� �

�.

&�! J

�?) �

�:�

�^�� �

�&1�

�� �

���� u

D! ��

Des

ign

expe

rim

ent

�����

7�61�

$��1

��� ��0

)� "<�

#$��

� ��2

D

ata

colle

ctio

n

1. #

4�4

info

rmat

ive

2.

#�

� �! �

1��1 q

1���)

3.

��

�$�&1�

#��

$� J

K�A�

E ��

��j�)

�&�

#�

prep

roce

ssin

g 4

��j�)

V�O

L �

��� 0

E�� U

� ��

� V�

/���

1 (

��! V

�O J&

� d�1

� U 2(

UJ&�

0��

3(

J&�

#&�

! ����

��O ��

D1)

#$���

#��

�8��

6� �!

�06

+(U

4 ( UJ

&� "

���� �

����

5(

+�W

��D�

��0:

0�

�;��)

� ,%�

V� /

��

Page 72: Ljung, System Identification: Second Edition, 1999

(��

����O

�����

#�:�

�^��

9-2 1.

��<

�1�PE

M U

IV �

4su

bspa

ce

2. 7�

�1� 0

NE�

��;/��

Val

idat

ion

"

�� $��

1 ���

��

��� �&

� � �

���� '

����

��

$2 �

�� #

��! #�

����

.

9-1-1 ��

�����

� ��&�

5 :

Obj

ecti

ves

Lj

ung

chap

ter 1

2 "

�� �

�c �

��<+

q1��

�4 E��:

"���

� ����

'���

� #�

�! T

rue

e∈N

(0,λ

) E

�� |

�D% �!

4] 0=[

u,e

u "

��1 E

��+

�u 0

y(t)=

T .

��&,F�

\,�+

�+ ��

�: �!

�! "

�� �!��

! ���

<+u

T� =� E�

� ��

���<

+ J&�

��)�

� �G1

� �!

#

�;A

y-�

��<+

�! "��

�!��!

��

u* 4y*

&1� �&

�2 "

�&! �

$ �;

!�� $� �

� &���

: ����

4�A 4

# 4�4

.

'

�� �6

��1 �

��c

J�I

��

�! "��

�!��! �

��<+

#�;

A

&�

�$��1 E

2 �W�

�D� �

�T 0

"��

. J

��>�1�

��

"

�� ��

�<+ "

���� �

����

��&

F�C

J&�

#��!

�!

��!

"

��.

(��

����O

�����

#�:�

�^��

9-3

9-1-2�/�

� ��%Z

*�W

% ��

�'6� �

� �

��� +�

��Z

Lju

ng c

hapt

er 1

3

BY�

(0W

%�>

o

��

#���

�$�&1�

��

%��>��

�z :

����

� \

?1 #

��! �

4�A �

���+

o

�&�

#���

�$�&1�

J��>

��)

����

�O (

��

��j�)

�1�>z

V (

��%�%

o

�6� �

! # 4�

4 4

J��>

�� d�

1

%��8�

&��! �

1�>z

. o

��

#���

�$�&1�

&�! J

K�A�

E����!

# 4�

4 U&�

�W1$�6

� � �

-�� �

C�� #

4�4 (

�! J

��>��

J��8

� ���

. o

��

�1 �

� '�

���

# �8

��� �

�I �

# 4�

4 J��8

� �$��

� ���

* #�

:&���

) �

o

� "

��1 �

-��

�����

@&:

�! J

��>��

J��8

� E�-�

� e�*

� (Q�

%��� 4

# �?

��� #�

����

��

o &�

�! ���

�&1 �

�4 &1

��+

� # 4�

4 J��>

�� J

��8� "

4&D

� ��W%

� :�>

���$

2 "A�

� 4

I��c

o

�,�

J�

c �:

�+�4�/

&��

j�A

#���

����

� "

�� (

z��

o

.��>

�� �C

� E��+

���� J

�c V

�0)� �

!0�

1 �! J

"��

1 $�6

� j�8

B�%

�! E

�-�� �

� e��

�� %

4 ��

E��W

� ��

. o

$� �,�

#�,�

� �$�&

,1� B!

�� ��o

JK�

A� �

�4 ��

�� �!

�4K8

"sta

tiona

ry s

toch

astic

pro

cess

es".

&,

�-1 "

,��W+

&��

� �6

� B-�

� .

&�1��

+eK

�A�

burs

t 4

mis

sed

data

a (

�����

� ����

� H��5

�6 ���

8�

9-2�

$�

��%�%

��E9

�� �

INFO

RMAT

IVE

EXPE

RIM

ENTS

Lj

ung

chap

ter

13

o&�

� � l

<�� ��

'��

�����

�;F1

# 4�4

J��>

��.

o ��

� b

��A #

4�4 '

�� 5�

?<��

$�2

��12

)�

�c (

"��

�12 J

��>��

7�) 4

. o

%��>

�� &

�! #

4�4ric

h

&�� �

�-�2 0

�1 ��

'���

� ��

A���

�1 #�:&

� �I

&1���

! �+ &

��

.B,

��� J

&,� �

,�� ��

W%� �

�� �

����

�]+ �

q1��

�4 4 3

��! #

$�� ��

��! �!

�� &

��W1

.

Page 73: Ljung, System Identification: Second Edition, 1999

(��

����O

�����

#�:�

�^��

9-4 o

&,��

! S,W;

�� J&

� ��

��� �!

�� &

��! #

�D1 �

! V��

$2 M

��� "

�� \

����

"��

'�� J

&� $�

��1 3

��!

��4&�

��� �

� ���

�� �

!J�

,I '

�,���

�,+

�,� ��

)�� �G

1 � (

z�� #

4�4 J

��>��

�&�

��)��

�G1 �

;A

J&1�

�! �

�! �A

J ��

+ �;F

1 p�I

9-2-1 �

�<����

�in

form

ativ

e

M���

��

&�

w�;�

BW�

#���

<! �

Z�

#

4�4

info

rmat

ive

"

,�� 7�

,�+ �

�,! &,

1���! �

,� "

,�� J

&� (

�! "

W�1

��

B_��

(�-

�+ ��%

&� �8

��6�

� �

��� #

��%&�

. In

form

ativ

e

��P

0� L�

N�� ��

� B���

�� �� �

�%�%

M���

. 1.

v��

��

��� �

� ��

� S

FD�

��4n

B��&

I E��

�! ��

��4

J��

6� ��

����O

n "

�� B

F��� �

% ���

. 2.

Pers

iste

nce

of E

xcita

tion

�W

+��n

J��>

��u

J��>

��PE

�W+��

n ��

� "��

��c

ϕ u(�

)>0

B��&

In

��!

�;F1

- �++

��*

��o&�

�! .

�,� �

�-1

&,1��+

,�

�� #��&

F� �:

�j�<

� #�:

���<

+ � �

�%�� E

2 ����

&��

! ���

�&1 ��

%��

�1���

) � #

4�4 �

�� ��

"��

���

<+ 4

��>

! �<

!co

nsis

tent

1 B

*�I

��

. H% � &

�! # 4�

4in

form

ativ

e

&��!

3.

d��

6� \

�+�+ �

� �!

n 3

����

U PE

�W+��

2n "

��).

4 ��*

���1

���) �

-1� �!

v4��

4 �

� �� &

���W1

U \

�/2

&1��&1

��(

4. �>

J�

��) :

q�+

��R

&��!

���� �

�o.

5.�>

J�

��) :

J��>

��

�$ '

����

#��!

in

form

ativ

e

��� "

��PE

�W+��

$�nb

+nf

&�

�!

9-2-1 �

�%�%

��E9

�� ��

Y��PE

q1��

�4 4 3

��! �

��<+

4 L��

��c

$� �C�

���

L�� B

-� �1

&���

: # 4

E2 .

&�! �

�A #

4�4

1.

����

4&D

2. �D

���+

( �

�O

3.

Cre

st F

acto

r

"��

)��

E��+ #

��� #

4�4 �

�K8

��� #

���1��

�) 7��

+ � �

� ���

�� �

! (z�

(��

����O

�����

#�:�

�^��

9-5

#��

�! J��>

�� &1

�� �

�A M

���

�G1 �

� $�

'��

�� �

%4

;A

��o

&�1���

��1

����-�

2 �� E

��%� 5

�8Kc�

�&.

9-2-2��

%�% �

�`Y�E9

�� b�

���

1-+�

P �/

!�6 ��

&� '�

��

# 4�

4 &���

0�1

PE &1�

� ��j

�) "

�� �-

�� E

2 #e�!

q1��

�) #�

: ��%�

� �� "

�� .

���

J��>

�� (

��r+

5��?

!J�

�>��

���

!��! "

��1 �

�&1���

� 3�

��

� �&

�! .

2-06

���� �

�E���

��E9

��

�! ��

J��>

�� �

�sg

n(e)

��e

�� &

�%�+ E

��+

� "��

&���

0�1

. �>

j�8

%4si

gn

&:

� ���^

+ �� L

�� �

�c

3- )PR

BS

(do

m B

inar

y Si

gnal

anR-

Pseu

do

J��>

��PR

BS

(

��O

%��>

�� ,

����

))

�?+ �

�o (

��

� &�

%�+ �

$ '��

�� �!

�� "

�� 0�

1 �W�

Her

e re

m (x

,2) i

s the

rem

aind

er a

s x is

div

ided

by

2 u

#&�

%�+ #

���!

)(

4 ��*

( "

�� (

��O

���/

. &

1��+

� '��

�� �

�2n

U�,�12

��,!

$� �,�

&,�

�! ��,�

� ���

A��

��j�)

#�$�

�! ��

�:

n b

�A �

�O �

�+&�

j!"

�� ��K

8 ���

��

�� .

&1� �&

� � �

�$

J4&�

� �

�F� �

�! J�

�>��

��O

M B

��&I

#���

M-1

��� �!

�� "

�� �j�

PE B

��&I

�W+��

M-1

"

�� .

���

!��!M

�,! �,

���0!

�W+��

���

PE "

�� �+e

�! .

��%4�

# 4�4

u(0)

#0

�1 ��

4 �

� ��

<�1� &

�!

�4�A

"��

��*.

• �

�O (

#��!

B��&I

&�! J

��>��

M ���

-+ q

i� 4

&�%�+

B-�

��c

PBR

S

����

�! #�

��! J

��>��

#��!

±u�

#

��� ��

M-1

"

�� �j�

&:

� E

��1 ��

.

Page 74: Ljung, System Identification: Second Edition, 1999

(��

����O

�����

#�:�

�^��

9-6

a(

PRB

S

�!n=

7

�6��1

� 4

M=1

27 b (

J��>

�� �

�cPR

BS

#

��� ��

63 &�

��: "

WX� #

���1��

�) �

(�O

�� $

�PR

BS

o

PBR

S

�����

�Ocr

est f

acto

r

�� �

���!

o

"��

�HO 3

�-��

E2 q

1�����

q�+

��

o��

�� J�

�>��

( E

����!

,�

,�c �,

� ) �

,?+ J

��>��

�! |�

D% �

� $� 4

"��

�G1

���

���]+

E2 �

�c b

��A �!

�G1

���N

��

"��

54���

� ��

� S

FD�

o

�: #

��!A

(q)

(

MF)

PRB

S

! MF)

��%4� �

�&F�

�� �

�4&:

� "

��� J

��>��

�.

o

�� �

�<�1�

~�D*

&8

��O "

�� \

����

.

PRB

S

�cK

���

PB

RS

&1�

� � �

��� �

�c &�

�� 0

�1 4

.'�

��! �

����A

�H� �

��O �

�c ��

,%�

1 : '

�1��+

�PB

RS

�>

��

W%� ��

'���

��j�)

�� �

�E9��

��E��

"��

1

,%�

2: V

�0)� �

> p

4� #

�� �!

�1��1

q1��

�) J

��>��

�1��

1 �: E

2 \��

� �! �

� "��

p �

,� ���

,-+ �

�,! .p

�,! #

��! �G

1 ���

��c

�� �

� �

��<

�1� #�

D1PR

BS

� B*

�I .

�! �

�c B

-�p=

4

&:

� E��

1 ��.

4-.

Sine

s-

Mul

ti

(��

����O

�����

#�:�

�^��

9-7

"��

3���

� &�

z ��

� #

4�4 �>

d�

1

o

��O

�! J�

�>�� &

�%�+ #

��!M

$� q

1���)

2�/

M

�=0

,1,…

M-1

��

��)��

. �`�

�E��

M���

��6 7<

�����

o

&���

! $�)

': ��

�����

���

Cre

st f

acto

r

"��

1 ��A

) "

,A���

- ��o

��c

�! N

z "

�� B

-� .(

#$�,)

� 4�,

� �+

&��

� ���

��O �

�����

� #�

�!C

.F

��

���!

)M�

4 B-�

( . $�

� ���

��

) �?+

$�)

&�%�+

�� "

��� "

�� �

�c&�

� �

.

5- . w

ept S

inus

oids

SC

hirp

Sig

nals

or

o

��O

�! J�

�>��

&�%�+

#��!

M , $�

&�! ��

�1���

)2

ki/M

��k

��

��<

�1� "

�� ~�

D* &

8.

o�

�c V

��1 �

��!�

% E �&

1 E��

1 #��!

,N

-DFT

&�

�� �W

��D�

Page 75: Ljung, System Identification: Second Edition, 1999

(��

����O

�����

#�:�

�^��

9-8

��%�%

��E9

�� M

��� (

�����

Q���

� %���'

o �

�O �!

J��>

��M ,

MF)

M &�

� � (

�D+ ��

�06�

q1��

�)

#�,:

�,�%��

&,1��+

� (

��O

��o J

��>��

%4

&�� (

�D+ ��

#���

�!

o

��4k

��O

M "

�� \

����

'��

�+

&1��

#���

M����

��O

( #

4� �:�

� ��

.0�

,1 �,! J

��>��

�1�>

��2 �

W+ �!

4 &!�

� V

:�� 0�

1 ��

��� #

��! ��

��&F

� 4 ��

)� V

�0)�

p4&

,<�

���,�

�,-12 E

4&,! 5

�W��D

� E �

�.

o 5

4����

#�:

��O �

�4

�A �

54��

+)

���&1�

� "%�I

� (

&���

y�)

"��

0�1 �

! v�!�

o

��W

c ��

�<+ E

�! (

��O

B�%

�!y

�! "��

�!��!

0�

1 ���

<+ E

2 $� �

� ,

&2

� "�&

! E2 E

�!

>1� �

&���

. v� (

t)=y(

t)-�(

t) q

1���4 0

�1 ��

�! "

�� �!��

!

9-2-3 �

�%�%

��E9

��In

form

ativ

e

����

0���

�EPG

�/4�

�8!X

��

Ljun

g ch

apte

r 13

����

� "

�� �-

��

je �

!��

���!

�FjI

� "

�� �

�����

. o

&��! �

�&�O�1

'��

��

o"

�� (

!&�) "

D+ ��

�0%�

��� �

#&�

%�+ U#

�?���

Be

�! '

����

o

��W

c (

!&�) '

����

� in

here

nt

��

��4

o

&1��!

��!

�A ��

� �;F

1 ( 0

1 '��

�� �+

�&�

J��8

� (!&�

)

&,I�4

(,

B��&,

I 4 �

�&,�O

'�,�

�� �

� �

y�)

'��

M��

� �

� �

��

��4 �

FjI �

��A�

+

(��

����O

�����

#�:�

�^��

9-9

• ��

�! �F

jI '

����

info

rmat

ive

J

��>��

��� "

��r

J��>

��PE

&��!

. •

E��$

���!

�4 �

;A ��

o �%��

�� �

�4)

q-ji

�� (

�� '�

���

&1��+

j� "

%�I �

info

rmat

ive

&�

• p

4�su

bspa

ce

���

<+co

nsis

tent

&:

�1

���! �

FjI �

. •

B�%

�! �

��<+

�� &

2 � "

�&!

>��W

�: �

A 0�%

�12 $�

Eu(t)

v(t -

�) #

0

�� 3

��! .

� y

��o� B

!�� ��

�<+ 3

��! (

%H��

��� "

oTh

e no

ise

mod

el is

goo

d (H

o –

H*.

is sm

all)

oTh

e fe

edba

ck c

ontri

butio

n to

the

inpu

t spe

ctru

m (

) is s

mal

l o

The

sign

al to

noi

se ra

tio is

goo

d (λ

o/ϕ u

is sm

all)

• �

��<+

q1��

�4G

���

': ��

W1�6

� "%�I

#��!

���!

�FjI

� G 4

H 4N

�� $�

4�,! "

,����

! "��

�!���

,F"

��

,

o $�

��1 �

� "��

�<!

q1��

�4 � �

C�� #

4�4

r ��

&1 �

�� b

�?A

�� �

(!&�

) J��>

�� 4

"��

��

�� 1.

�,,! �

�,,�!

�,,Fj

Iu=

-f.y

'

�,,���

info

rmat

ive

�,,

! ,,%4

",,�

�1u=

-f.y

+r

�,,�

r J

��>�,,

�PE

",,�

�in

form

ativ

e

��

�.

&2

� "�&

! #��H

��� �!

� �

�6��1

�� $

������O

�! ���

����

7��+

��

��

� �I

f &2

�1

"�&

! ��!

�?D�

� '��

�� 0�

1 &��

! 7�j�

�) .

��$

r ��

pe ��

&1 �

�4 &

��!

( ��

� %4

b l

<,��

�! "

W�1 "

��12 &

��!

a J

&�id

entif

iabl

e

"��

��

� %4

u=

-f(y

)+r

&�

� J

��8�

��r J

��>��

PE

'

����

&��!

info

rmat

ive

"

��

�..

9-3��

���� �

���� H

��5�6

V� /

��

Ljun

g C

hapt

er 1

3

Page 76: Ljung, System Identification: Second Edition, 1999

(��

����O

�����

#�:�

�^��

9-10

Alia

sing

o

��%��

4 #

4�I J

��>��

���

10 414

0

�) 4 &

��! #

0+�:

� #

�� �!

�1��1

q1�

300

&,

1�! #�

,: �,�

%�� �

� ��

<�1�

�! &

�:��A

4 �

��: �

�O.

"��

_�-�1

q1��

�) $� �

+e�! #

���1��

�) 5�

8Kc�

#�� �

! �1��

1 �!)

140

0+�

: (

� @

HI��&1 o

KX�

#�� �

! �1��

1 q1��

�) ��

�10

0

&��!

. ��

%�� �

�O &1�!

� 10

��%��

$� %

4 �!

&:��A

140

�,�

%�� (

, #0

+�: ��

���A�

140

��

� �

6� #

0+�:

� �!

freq

uenc

y fo

ldin

g

&���

� 0

�1

o B

-�� �

� �)�

#��!

��j�)

anti-

alia

sing

��

� ����

� &�!

. �C

� �+14

0

&1�! �

0+�:

&�

�1 ��O

"

��1 "

A��

B!��

J� �&

� ��j�

) �� �

�W%�

."

�� '

�:��A

J� �&

� "%�I

� J

�I��

!

o

���

&1�!

&��

! 4&

D� #

4�4

ωB

&�

1��

1��

�i�: &

/ ��j

�) ��

��

4 '��

�� #

�8���

� �9

12 ) �

,+ q

1�,��

ωB

#4�

#

4�4 '

:0�1

e�! q

1���)

0�1 �

W+ �!

�� �

��

J��8

� &�!

\�4

�A 4

��

� @HI

. o

#��

�! �1�

�1 q

1���)

&�!

'��

�� �

;� q

1���)

$� �+e�

!&�

�!.

o �

� |�

Dj� 0

�1 ��

��� �!

E2 �

�C�+ �+

")��

�G1 �

��

��� J

&� �

��12 E

��+

� "��

7�j��

��j�)

�� E

�z

�����

� ����

� ����

V�

/��

o 5

�8Kc�

4 0�1

@HI

��! �

�<�1�

U#��

�! �1�

�1 �

�O �

�<�1�

"��

J&�

.5�

,8Kc�

4 V:�,

� �� 0

�,1 �

�0! �

�O �

! � �

�! $� ��

J&�

. ��

#���

�! 0�1

%4

��I

�� '��

�� 5

�8Kc�

'� �

�O.

o

\��

�� #�

� �! �

1��1 q

1���)

10 "

�� &1�

! #���

O �!��!

. 4

'�� �

jO n��

O B�8

� T

�,�

,�

��,<

�1� #�

D1 �!

��4-6 &�

�! ���

� ��

1 E��$

� �1

��1

o

#�� �

,! �1��

1 q1��

�) J�

��6

1��

�i�: &

/ ��j

�) �! q

i� 4

� 7�

61� e

�! q1��

�) �! �

� #��

�! �1�

�1 E��

+ �

� V

:�� ��

(��

����O

�����

#�:�

�^��

9-11

o (

z�� #

�� �!

�1��1

q1��

�)1 (

+�W

��D�

B-�

� 4 5

�W��D

� '6I

V�0

)�2 (

(,

01 >

�: J

&� #

��W;�

1 &

1��

� ���

3 (�! #

���1��

�) &�

� � p

K+ ��

��! J

&� �

�>! �

! � �

� e. 4 (

\,jo

� &,�

�! J�,�

�� '�

,���

�,��

��

� $�

) B��&

I ��o

J&�

�! �6

��.

o �

�<�1�

T �!

�;!��

� �

��

� �

���+

. V

�0)�

T �!

"W�

1�

&,:

� V

�0)�

�I�)

��;! ��

q1��

�4 .

T=10

� q

1���4

�! �6

�� "

�� �

�0! ��

105

�-

�%�I �

��

� ��

��! ��&

F�T=

0.1�

! �

6��

$� ���

� q1��

�4 �10

�,!��!

��

� ��

��! ��&

F�.

q

1���4 �

� ��1

â #�

� �! �

1��1

��O \

�I �!

9-4PR

EPRO

CESS

ING

DAT

A

Ljun

g ch

apte

r 14

&1��

� '

��F+

�$ #

�: ��

� �!

#���

�$�&1

� �! ���

�: 5

eK�A

�:

1. "

!�C JK

�A�

offs

et 4

���

O q1��

�)D

rift,

trend

, sea

sona

l var

iatio

n

2. $�

�+e�! #

�: q

1���)

0�1

q1��

�)

��� 3.

��

O 5eK

�A�

burs

ts a

nd o

utlie

rs, m

issi

ng d

ata

4.

��� q

1���)

� 5e

K�A�

��� �

� �

��*�

+1 �+3

U"!�C

��j�)

�!4

4 ��

��<

� �4

�!5

��j�)

�!L

&1��

J����

.

9-4-1 �

��d �"

/>�

offs

et

��� H

��5�6

% eD

rift

, Tre

nds,

Sea

sona

l Var

iati

ons

,

����

U�

offs

et )

���d

�"/>

�(

o p

4�1 :

��

� #

��� �$

�&1�

��

$� E2 E

�� '

� 4 ��

� d4��

$� BW

� ���

4 "�)

� #���

�$�&1

� .

o

p4�

2 :��

$� E

2 E �

� '� 4

�&�

#���

�$�&1�

#��

��>

1��� �W

��D�

Page 77: Ljung, System Identification: Second Edition, 1999

(��

����O

�����

#�:�

�^��

9-12

p

4�3 :

�! �H

�e�! �

�j�) J

��8�

W����

p4�

��

"%�I

#��!

onlin

e

"��

. ��

#�: o

@HI

offs

et

J&�

��4

OE

"

�� "

��:�

�O ���

�! "

��

o"

�� ���

� "�)

� @HI

"��

:� �

� �

��)��

�G1 �

J&�

0�1

#��!

��

���4

� �

. D

rift

, Tre

nds,

Seas

onal

Var

iatio

ns

o�H

� e�! �

�j�)

o

��1 �

�j�)

o

E��$

���!

�4 �D

�� �

;A �;

!�� (

$� J

��>��

S��

+)

J&�

JK�A

�(.

9-4-2f�

� H��5

�6 '��

��

� @

HI �H

� ���

O ��j�

) �! e

�! q1��

�) 0�

1

9-4-3O

UTL

IERS

AN

D M

ISSI

NG

DAT

A

�� 0P

�� ����

� �� 0

Y���

mis

sing

dat

a

� �

�� �6

��1 �

+��

!�<� �

���

�;�

4 ��

(m

issi

ng d

ata)

�1�

#�,��

�$�&,

1� �

��,� B

�% �!

��0!

#�:0

U

�� &:

� �

� ��

O JK�

A� E

����!

e���

� &! #

�� �

�ou

tlier

��

� �&

1��A .

����

2. �C

�ou

tlier

�����

�$ '

����

�� ��

&�

� � &

�%�+

��

&���

y�)

$�y(

313)

�+y(

320)

�� B

�% �!

��*

��

��j-�

&��! �

&�

�4�A

4E�

,�1 ��

��

��� #

�;A

&�:

.

�:�

�����O

~�D

* ��&

F� '

����

#θ 0

"���

��F�

� $�

(��

����O

�����

#�:�

�^��

9-13

V��

$21 �!

AR

MA

X

",�

� j,*

� '��

�� �!

���

': .

��&,

1 W%�,

� �

,-j�8

. &

,�z

,��

outli

er

�� ��

��,�

"��

� �� p

4&<�

V

��$2

2 3

��� �

! ���

<+30

0

$� BW

� %4�

#��

outli

er

"��

��j;

� �� "

��

V

��$2

3 �!A

RM

AX

$�

� ����

� 4ro

bust

nor

m

�� "

��"

�� � �

V��

O �� ��

!

��A B

-��

.�>

5�

�W8 �!

&�� '

]: ��

�! �� 5

K-��

�� &

1��+

� 74�F

� '��

�>%�

.

?X +��

B

-�� �

� #��!

3 ��

��

4 BI

� ��

� ���

,��

��,�

>�: �

��

�+ �!

"��

�-��

�� &,

1��� �

��,�

:1(4 �

�,�<+

\�F

+)

���

� m

issi

ng d

ata

( 2 (J�

�>��

��j;

��1 V

<! ��

<� �

4 2 (

74�F�

7��1

$� � ��

���

1(

Q��8

� %

�� �

) ��

�� ��

mis

sing

dat

a (

�� �,�1

2 U��,�

<+ #

�,�-�

-+ $� �

����

� 4 �

4�A �

�)�� �

G1 �

) �?

+ 4 #

4�4 J

��>��

�! J

&� J

��8� �!

�� ���

��

�� #

$��$�!

2(

/

���%�

% Q

��E�

���@

S V�

/��ou

tlier

o

&1��

� �&

� E�

���c�

B!��

#���

<! 4 '

�� ��

��1

�����

$� BW

� .

o5�

,8Kc�

#4�,I

4 "

,!�C "

,�� �

,-��

�:��

$�

��0! #

���<!

"��

�A

J���1

��� J

�I �

'��

��

��4 ��

�/ �

� ��

��H� �

��� &

�! �� &

��W1 (

����

�! MW

+��

� 4

��1

7�61�

��12 �

�12 �

���� �

! ��

��

o g

� $�

onlin

e

��W%

outli

er

MZ

/P�cK

��E5

%:

q1��

�4 �

��<+

E��0�

: ��

�����

�!�W

,��D

� B,!��

"��

��4

outli

er

&��

� 7K8

� ��.

BW�

J�X��

��,��

� @��,

D1� �-

�%�I�� 1

\,�+

�+ �,!

(0.9

997,

1.7

157,

1.

1421

)

�����

@��D

1� "��

�� 2

\

�+��!

(0.0

602,

0.0

750,

0.0

61)

�,�

&,

:

,� E�

,�1

�,A �,

� ",�

�"

�� � �

! ��6

�:�1

. &:

� E

��1 ��

��

� �

�0! �

�� �

�4 0�

1 �&1��

���! �

� ��1

� p

�O ���

* .

�`E��

� Mh�

�6

� � �

�� � �

����

���

�����

#��!

�� �

����O

��o 5

��;�

j�% ��

! ��4

>1�>z

�"

�� �jr

�� ��

12 \���

+. �

��H,�

5��,�

�^+ �

,�� 5

��,*

�,�

��� 4

�,�)��

���� '

:��

"�O

��12 5

��;� �

>�

���O�

1 �! �

��+ E

4&! �

�� "

��1 �

�j;� �

� ��

� �

&:��

� ����

��O �

��<+

."

�� ��

�� �$

(��-

+ 4 $

� -

�! B-�

� E� �

)�.

,%�

1 �

� � H

�����% I

��� �

� 0��%

���

9����

�� (

�06�

#�:

���<

+ �� "

�� �1�

>�� B

I4 �

W��D

'�!

�����

<+ q

i�m

erge

&1�

Page 78: Ljung, System Identification: Second Edition, 1999

(��

����O

�����

#�:�

�^��

9-14

,

%�2 :

���

9����

:

4 ',�

�,�

�&,�+

': �

�� �

� �! �

� #�

�>1���

��O

( #

4� �

4�A 4

# 4�4

"��

���! "

�� (

��O

��

���

��

� @

HI e

�! q1��

�) 0�

1 ':

4� �

e�! �

��<+

"8��

.

9-5�"

/>� i

cX

��5 �

��� ��

PREF

ILTE

RIN

G

L

��j�)

V�O

J��8

� ��:��

$� �>

-

U���

O q1��

�) 5e

K�A�

4 e�! q

1���)

0�1 @

HI #

��!L

",�

� .

\,�

��� �,

�W%�

�� "

��L

�! "

%K�A

� �>

4 �&

� ��)

�� �G

1 � �

�� &1�

! 5eK

�A� J

���� #

��! K

W� ��

"!�C

#�:�

�j�)

� � ~

�,/�+

&�E &1�

� J�

��� .

• J

��8�

;A '

����

� L

E �

� ��j�

) �!��

�L.

ε

����

^ �� �

� ��

V �J

� \^

$��

�.

'�

�� �

uD!

���<

+ #�;

A �G

��$� �

��!��!

o

V<!

$�8.

5

'�1�

L �!

&��

� y

�8 �� 0

�1 J

&� ��

���<

+ 3��!

��

H,>�

� �C�

.1

�,�$ �

�,�<+

��,

��! ��

&2

� "

�&!

L=1/

H0

&�

� � B

&W+ &

��� �!

�� >

1� 0�

1 ��

�� ��

)�� �G

1 �

. �

��!��!

L &

,�!

��,�

<+ �!

q1��

�4 �+

�� �

$C

ram

er-R

ao b

ound

&�

�!

oL �!

3��!

��

�C� �

��<+

Q $�

�!�+

L UH 4ϕ

4 "

����&

F�

(+ (

+�

"��

�C�� �

�12 \

���+ �

-j! "

��1 �&

��� �

���+ ��

1.

o �C

�L

"��

�&�

� � E

��1 B

-� �

&��

� �6

� ���

O q1��

�) 3

��! ��

�H� e

�!

(��

����O

�����

#�:�

�^��

9-15

o� $�

���G�

� &�z

� ���

�L

@HI

#��!

KX�

eK�A

� #

��! ��

1 U���

O q1��

�) 5

seas

onal

var

iatio

n

�H,�

e�,! �

0�1 @

HI #

��!

��12

I�c

conf

lictin

g

&��

.

0X��

CL

�E�`

� I���

� ����

M

���

� � u

e=0

4H

=1

3��!

�����

���

<+ &I

#��!

� *

&�

2 "�&

! �1�>

��.

��C

11

"��

���!

�4 '��

�� 4

J&� d

�1 �!

."

�&! �

1�>��

����!

��&F�

�;!��

���/

&�

��

��! 3

��! M

���

�-��

�6��1

#��&

F� #�

$� �!

��

��>

0.

��&F�

C'�

,���

#��!

���

<+ J

&� 4

�=G

u �!

�!��!

"��

. ��&

F� 4

C '

����

#��!

Y=G

u+H

e 4

���

<+ J

&��=

H-1

Gu+

(1-H

-1)y

�!

��!"

��.

0X��

CL

�E�`

� M��'

�< H

�����% %

I���

� ����

����!

q1��

�4 #��!

M��

� "

D+

&2

� "

�&! �

$ t

��1.

•H

ere

μ 1 is

adj

uste

d so

that

the

inpu

t pow

er c

onst

rain

t is m

et,

•w

hile

μ2 i

s a c

onst

ant,

such

that

the

filte

r L(q

) is m

onic

.

9-6CH

OIC

E O

F ID

ENTI

FICA

TIO

N C

RITE

RIO

N

B

?)15 V

� /��

� ��

PEM

%�

��IV

9-6 -1 C

HO

ICE

OF

NO

RM: R

OBU

STN

ESS

: ,

%� ��

PEM

q

1�����

q�+

��

#��!

PEM

"

%�I �

S∈M

�! "

�� �!��

!

Page 79: Ljung, System Identification: Second Edition, 1999

(��

����O

�����

#�:�

�^��

9-16

q1��

��� ��

�! ��

k 7�

1 d�1

�!�

�$�

+ �!�+

4e o

(t)

��

fe (x

).

"��

���!�4

B

��&I

��&F�

�� �

E��

1 E��+

k &2

� "

�&! �

$ M

��� �

&�-�

� B��&

I �� q

1���4 �

�.

�6

��1 :

q1��

�4 �!

��� �

$�+ �

!�+ ��

�1 &

��! 7

�j��

�1 �

���! 7

��

���

7�2

"��

\

�+�+ �

� �!

ef ��

`N�

o

(��/

���� L

���

: 7�

�1 �!

������O

E �

� �)�/

� �!&2

� '

:��) E

2 F)4

'�G

�+ E�

-��

.�

� B�8

� ��

W%� �!

��$

&��W1

�HO E

�-�� "

�� �-

�� ��

� $

���<

+ ��A

�� �

$�+ �

!�+ E��

+ �1

��

4&D�

# �&

�+ ��

���

. •

L%�8�

L���

: B

!�F� �

'��

�>%� E

��1

74�F�

�! �;!�

� � 7

��1 �

�<�1�

outli

ers

)&!

4 ���A

#��

(

��

� w

�;�

o

�E��

+

�! "

W�1 �

��� "

����

I �! 7

��1f

�>

5��W8

�! �

robu

st n

orm

� ��<

�1�.

o 7�

�1ε2

�! #

&! B-

� �!

outli

er

"

�� 3

��I

��

�� 3.

��

� �$�

+ �!�+

#��!

�,��

����

! 7��1

2 "

,��

.#�

�,! �

��<+

q1��

�4 ���

! 7��1

��

k ! "

�� �!��

!�

"��

�!�+ �

$ ~;

� 4

E��+ �

! q1��

�4 '��

F+ B*

�I ��

. �!

�����

� � 7

��1 �

� �-

j�8ou

tlier

& E

�����

�1�>�

� ��

. '

� ����

! J���

I� �!

0.5*

10-3

)

�,?+

J��>

�� &%

�� "

�� �-

��10

0 4

100

- &�

� &�%�

+ .

��&F�

"��/

4 �� �

k

�! "��

�!��!

�1��

�4 ��

11 &:

� E

��1 ��

�A

%��

�� ��&

F� �!��

! .

��� L

�<� �

W��D

� �� �

1

�,� $�

�,�� 5

��* 4

"� �

"��

�{1

00, -

100,

oth

ers}

&�

�61�

� R�)

��&F�

�! ��

��

� B

�-�+

o

B-�

� �)�

#��!

outli

ers

U "

�� �$

7��1

��12 $

� -

��

�>��

����

�O �$

"��

!4� 7�

�1 .

(��

����O

�����

#�:�

�^��

9-17

o

o;!�

�"

�� E2

$� #�

> d�

1 �$

�.

�� ��

�����

@��D

1�pr

edic

tion

erro

rs 4

1���

1.8

"

�� \

�/ .

\��

�� ��&

F���

"��

���� �

� $�

H

ere

MA

D =

the

med

ian

of {|

�(t)-

ε�|) w

ith ε

� as t

he m

edia

n of

{|ε(

t)|)

&&

� 7��

1 �! B

W� J�

X�

&:

� ��

�$ �

�&F�

�!

7��1

&:

� E��

1 ��

outli

er

"��

1 3��

I) .

$� V

:��11

�!1.0

15.(

��&F�

7��1 �

� �! &

��! J

���1 �

$�+ �

!�+ ��

�k

�!

"W�

1 ��

1 ��

&1 �

��:�

B!��

V�0

)�

Page 80: Ljung, System Identification: Second Edition, 1999

(��

����O

�����

#�:�

�^��

9-18

L�� �

� L%�8

� L��

�in

fluen

ce F

unct

ion

o

&��! �

���&1

���

<+ #

4� �!

# �$

�C� ��

(

+ �� "

�� �

� @&:

.(

+ �C�

���

<+ �!

��

LS

"

�� �1�

>��

o

oin

fluen

ce

E��$

� ��

(

t

�!��!

�W�F+

���

<+ #

4� �!

S(t)

"

��.

o

�1 �

��!��!

.&�

� B��&

I �� �

$ ���

�� &1�

��! &

�! "��

!� 7�

o

S �!

�’ S

��� �

&Fz

�: "

�� ��

�!�4

� �C

� &��

! (z�

�ou

tlier

"

�����

�.

o �W

��D�

�!S

�&:

��� 7

�&� ��

��

� �

�4� �

�����O

���

<+ $�

&�!

cons

ider

ably

inf

luen

ced

��

,�<+

#4�

&!� V

:�� E

2 VF1

&�! �

� ���

� .

oD

etec

ting

Out

liers

: �&

1�����

! �� �

�1 �&

:��� $

�ε(

t, �� N

)

E��,

+ �

1��2 �

!ou

tlier

'o

�,�j8

4 �&:

�,�� ��

� V

:�� ��

12 �C� 7

4�F� 7

��1

10-1 10

0���

�EP �

�<�/��

��

10 -1 0

E�� U

� ��

� V�

/��M

odel

sel

ecti

on

Lj

ung

chap

ter

16

$� &�+�

�W8 J

&� �

�<�1�

�! MW+�

� 5�8�

/��

: �(

��<

�1�J&

� d�1

2( V

� /��

��� �

W��

3(

��� �

�E� �

/����

+�)�

M

olde

l Par

amet

riza

tion

:. 4(

�����

��<

��� �

�&;5

: 5(

��� 0

��;��

)� �E

�'<

6( 0

NE�

��;/��

Val

idat

ion

: $�

� ����

�ZN

��<�

1� J&�

6�

� ��W

�8� #

��!

��1

�&�

10 -1-1 :��

� ��/>

��

b�� V

� /��

�E���

���

��/>

��;

A ��o

U"%�I

#�]

) U;A

4 ���

� �W

�� U

… "

�� .

�;!��

�� �

0!

;S ��

�"C�

A P

RIO

RI C

ON

SID

ER

AT

ION

S

1( &2

� "

�&! J

&� ��

�A��

B��

1���

5e ��

� ���

�1 4 '

����

(��

r+ �

��! $�

. 5

e �,�

� 3��

� �!

�,W���

�� ��

��� �

!�+ 74

4 J4

� S��

� E��+

V �

���� �

����

� ���

��

��� �

4 �W�

�D� ��

. 2(

�,�

�,

����

&,�!

V��

��&,�9

�O 7��

+ �!

j� J&

� E��:

�+�4�/

�� "

��1

��� �

� �!

/��

�% ���

��4

.

;A ��

o B��8

( $

� # 4�

4 #��

�� &

: E

��1 "

�� �-

�� ��

"

�:�� �

! ���

+)

4 �

�,� U'

���,>

%… (

��,W8

��

��

���

;A ��

o J&�

#��

�!

;A J

&� q

i� 4

�&�

� �

.��o

���)�

B,

W� $� �

,���D

� 4 �:

��,��

� ,

;A&1�

� |�

D% E�

����

� �� �

! B�-

�+ �

�+ &�

��! 7

�j�� "

�� �-

��.

+�P

���K

+�����

�/��

0����

8� '�

Y��ZN Z

Q��

E� ��/

>��

/6��

����

: 3(

;A

#���

����

�! v�

W+�� �

06! "

�� ��

)��1 �

���+

)��

�$�&1�

�! V

<! �

� .

#�,:0

�%�12 �

! E���

! &��

�� �G

1 �!

o �

� ���

�� �:�

�^�� �

�! v�W+

�� d�1

(��

����O�

� .

,%4

",�

� �,�)

�� ���

� ���

+ ���

#���

2 uI�

W� �

d�/�

� � �

Page 81: Ljung, System Identification: Second Edition, 1999

'��

��

�����

:

�����

#�:�

�����O

10-2

��

��� �$

�I �

�4 ��

� �!

$��:

"��

�&�1

. �,

! �� J

&,� �

;A

��o B

��8 �

�4 l

�<�+

KX�

high

er (

than

se

cond

) ord

er c

orre

latio

ns a

nd sp

ectra

� ����

+.

4( � B

�%&!

J&�

UR�)

#����

&�9�

O 4 5

K-�

blac

k bo

x

��

� �

� ~�

��+ "

�� �-

�� .

d4�,�

� ��

J&�

$� ��

"�1

���1 �

��4E�

�$2

valid

atio

n

��

�+ �&

�9�O

�� J&�

��

S)��

. 4

,;A

E���

��� J

&�LS

!�,A

#�,�

!�<�1�

&���

: d4��

#��!

.

�,����

��G�

1� &��

W1 \��

�� J&

� ���

&��! �

�A ��

�&

Fz�:

"

,��

&,�W

1 �� �

�,A .

�,6��1

4 #�

�-�!� #

���4�

�-��

phys

ical

insh

ght

�4

2 � 5

���+� 5

��?! ��

12 E���

��1 �

� "��

#�4�/

S�)�

+ #��!

.

10 -1-2��

� �W�

W?8

�-W�

J&�

#��1

4�1 �

&�+ U"

%�I #

�]) q

�+��

�W+��

U��� �

j��&�

z ��

� BX

0!;S

���"

C� :

�( ph

ysic

al in

sigh

t

�!

/��

J&�

&: E

��1 0

�1 �� J

&� $�

�1 ���

�W+��

!�A

2( ��

�&

�+N

�&�

+ �z

�� &

:

� E��

1���

���O

",�

� ���

<+ B

!�� e�

*� E2

3��

� �!

. 4&

,�� #

�,�

�&,�+

�,!

��

��)��

�G1 �

�&�

9�O

�����

J&�

�� ��

"��

1 J�F�

3( $�

V�! �

� &��

! B-�

� "��

�-��

+�W

��D�

�G1 $

�2-

3 de

cade

$ ��

,�<+

!�,

<! J&

� ( �!

�� �

1���)

."

�� J��

>�1� �

�W�

>�: �

��O q

1���)

#�:&

� ���)

� �$

&1�!

#���O

�! J&

� �

.

,��

p�0

B

,X�p=

0

,� �

&,

��

.

-�+��

�� ���

)� &�

1�� e�!

q1��

�) ���

)� ��

�O q

1���)

J&� �

���9

�:)

(���

� E

4&!

( �

� �

�&

. 4(

�1��

1 q1��

�) 0�%

�12 4

(�D

+ J��>

�� U#

�� �!

N �j

,*�)

�! #���

1��$ "

!�C ��

&:

� E

��1 w

�/4 �

!3

�� �,:

$ ��

�<+ V

��$2

( �

E���

��1

. '

����

���

stiff

�F�

�� U&

��!

�C!"

"!�C

��: 4

&��

�! �4

': $�

�:

1��$���

#��

�! �1�

�1 q

1���)

�! J&�

# �&

�+ U&1

��

�����

!�<

! &�!

���1��$

1�,�

$ ",!�C

(,�

: �+ "

A��

&�! \

�&�

��! �

��<+

�� ?

<��

��

W�� �

/�� 0

����8

� '�Y�

�Z I��

� ��

N Z ��

%4� 0�%

�12 �!

ZN

���! �

+�8

Kc�

���

��

� L

��<��

� J&�

. �!

v�!�

� �:0

�%�12

;A

'��

��$� &

�+��W8

: •

�&�

� $ �

��<+

��c

��

�!

• q

1�����

q�+

�� (

1�R

• q

�+��

4 �:�

�^�� �

�! >�

�W�:

��

�!In

form

atio

n )

M( 5(

Spe

ctra

l ana

lysi

s est

imat

e

��

� �

$ ���

<+ (

�����

�O ��o

5��?

! ��c

.�

!�A

5�8K

c� E2

$�) 4

�1

���) n

��O "

)� \��

U�: �j

� �&�

+&�

:

� '��

�� ��

� b

�?A

. ��

��� '

����

�1

���) n

��O �

��W%

�ar

tifac

t

�:

�� �,)

&�W

1 ��

�� �

�4 $�

&��! �

�W���

�! ��W

;� 4

�:��*

�&�

+ b�?

A �

'��

��

�����

:

�����

#�:�

�����O

10-3 6(

q�+

�� (

1� �

��!R :

'���

� #�

�!

>�

�W�:

�A

q�+

�� "

�� ��*

0�1

��4

R #

��!s�

n

#��!

4 ���

� ��o

s>n

"

�� �

���

��4

#0�

1 "%�I

� 4

u 4v 0

&���

: ���

W�: �

�o

#��!

�$ B

!�F��

>��

W�: q

�+��

s >n

#

��! 4

����

s � n

"��

����

���

v 0 �

!�+M

A

�W+��

r ��

&��!

r �-

�D1 �

! "��

l<�

�y(

t-r-1

) 4

v 0 $�

E��+

� &��

�! ���

W�: �

�o

�!16

.14

� � ��

���

p4�

IV &�

�!e�! �

�� �

��

��

� �

��� �

$ q�+

��

7(

>��

W�: 0

�%�12

�:�

�^�� �

�!

�� "

�� �

� J���

�1

� ��

|�D

% J&�

� &

�! �� #

�>

&&�

��^��

�2 .

&1��+

)�/� �

�^�� �

�y(

t-n-1

)

�C� �

JK�

A� w

(t)

��12 �

� &��

!w

(t)

'����

! .

J�I

w(t)

�!

���

�� |

�D% J

&� �

&�! �

���4

>��W

�:

&��! �

���

. 7�

1 �! �

>��W

�:ca

noni

cal (

or p

artia

l)

��

� �&

1��A.

8( q

�+��

(1�

M

Fi

sher

info

rmat

ion

mat

rix

9(

#��r

+4.

1

J&�

���

��� �

� &��

over

estim

ated

� E�

-�� &

��!

iden

tifia

bilit

y

4�!

"�

$��,

� �!

�� 5

��W8

ψ(t,

θ)

� θ

= θ*

q

�+��

full

rank

�W

�����

4 &��

W1M

��

����

.

10 -1-3E� �

/����

+�)�

���

��

Mol

del P

aram

etri

zati

on

W�

1 �� #

�D1 �

! J&�

�1 ���

���O �!

" E

��

���P

�;� I

�4X �

<�/��

�� .

u,D

! ��,

� ����

! ��j�

) � �

�� ��

��)��

����

(Low

sens

itivi

ty fi

lters

)

"��

��)��

���� �

��+

��� ��

��

�����

%4

• #

4�4 J

&�-

"��

3��

I +

�W��D

� #�;

A �!

�&&�

'���

� �

����

� ��

��� �

��

�4�A

. \

jo� (

�!�

,+ B

&W+

���

BX

� e�!

10 ��

5��?

!

���

� ��

/ 5

���

#� �j

�� &�

z2

��

����

1 .

• J

&� "

%�I #

�]) J

&� �

obse

rvab

ility

can

onic

al fo

rm

# 4�4

J&,

� #�:�

�����O

��-

,�4

�A

�,� (

,E�

q�+

��A

"��

���! "

��/4&

���

� J�^�

� �� ��

G1 "

%�I #

�])

. •

�>

#�:��

�A��

wav

e di

gita

l filt

er U

Ladd

er/L

attic

e

&���

: E2 �

!��� 4

.

Page 82: Ljung, System Identification: Second Edition, 1999

'��

��

�����

:

�����

#�:�

�����O

10-4

�! #$

��%&�

p4�

���

�!

��q-l

&�:

� ~

���+

.

10 -1-4��

� 0��;

��)�

�E�'<

alg

orit

hm c

ompl

exit

y

&� 0

�� V

�0)� �

! ��

��� 5

�W��D

� '6I

&!�

� V�0

)� J .

B,X�

#&,�!

� ���

�� �

5�W�

�D� '

6I �

� �! �

4K8

�+ �

�� J

&� �H

% "�e

�! 0�1

%����

�!���

inte

nded

use

"

�� ~�

��.

�;A

�!�+

� ��C

�,+ 5

�W,��

D� '

,6I

�,! 0�

1 ��

10 -1-5�

�&�5 Q

4X ��

���

V�

/�� "

�� ��

�<+ q

1���4 4

3��!

!�$

�� ����

�.

q

1���4

4 3��!

�W�!

conf

lictin

g

&���

: .

��!

V�O

�����

k ,

� � ��

�,�� ��

%&,� �

,��F

� #��!

0�1 �j

� �!

7�� �

�.

• I

���� U

<�5:

��0!

0��

J&�

)@�

;�1� B

!�� (

Flex

ible

mod

el

&:

� V

:�� ��

3��!

."

,�j!��

��%&,

� �,�

4 �

$ ����

��O �

���

B�%

�! �� #

�$ #

�����

�� �_

��� \

,����

",��

��� �

�����

�,O �

"stra

tegi

c po

sitio

ns."

&1��

(16.

5)

• H

�����% U

<�5 :�

J&�

(

z�� 0

��)

# �?

��� (

Par

sim

ony

"���

��� q

1���4

. �&

,�+ �,

! \,�

���� q

1���4

"��

:����

��O.

BY�

( ��

����4

��8�

:k

step

ahe

ad p

redi

ctio

n

"

�� J&

� M��

+ ��

&�%�+

$�! "

�j!�� �

��F�

�����

.

;A '

����

� y=

Gu+

He

#

�� 4

��!

V�O

k �j

� �!

7���! "

�� �!��

!

#�

�! �

�! V�O

��

k=

1…�

� �

�W��

D� .

#��!

k=

� �!s

#��!

4k=

1 �!p

��

� ��

��1

&

2 � "

�&! �

$ !

�$�� �

���� �

6��1 �

�!

J&�

J "

�� ��W

����

��-z�

� .

�� �

����

� ���

�� ��

� "��

�-��

0�1 ��

�$

W�1 �

����

R ��!

�,A J

&,� �

�0,!

"��

'��

��

�����

:

�����

#�:�

�����O

10-5

valid

atio

n-

ross

C �W

��D�

#��!

J #

�� $

�fr

esh

� �

� ���

�� .

+��� �

�/��

e4 �

&,�

����H�

����

"�+

#��!

�� "

���

$� �

<!�)�

>1 ���

� � ��

���

���

�����

� "

�� �

. �

��<+

� 3

��! �!

�6��

74 "

� #

�� $

� � ���

��J

��

�.

pJ �W

�� �

�@> �

���� �

�2:

Err

or C

rite

rion

(FPE

)-

Aka

ike'

s Fin

al P

redi

ctio

n

�����

"%�I

Qua

drat

ic

3��!

E4&

! ���

<+J

�1�>

�� ��

� E

��+

"�&

! �4

2 �

.

� �

�&

E2 �

J&�

���

��.

,%4

�,�

,�

��-z�

� "���

"��

J4� �

j�� &

��! �

���!

������O

�&�

+ ���

: &��

� ��0!

�� "

��� "

�� 74

�j��

. V

:�� p

$�� ��

��

�)�/�

&1����

� #���

���OV

N

$� ���!

2

� 0/N

&,

��!

. ��&

F�� 0

&2

� "�&

! ��

� $ �

��<+

���

%4 "

��1 7

�j��

.

0@> M

����K

� ��'�

:��

� "%�I

;A E

���� p

(t|m

t)

(1 s

tep)

��

,��� �

,:�;A

5��!

�� d�

�6� 4

�W��

D�J

,��

� �,!

cros

s va

lidat

ion

p

4� �,

� �,!

�,�

,�1 �

�,��H�

���� �

�,�<+

#��,

! �,

� 4

",�

�PR

ESS

(Pre

dict

ion

sum

of s

quar

es)

\

^&�

��

V ( V

� /��

Q��

E� ��

� :

��<�

����

AIC

, BIC

, and

MD

L

• p

4� #�

�!PE

M

!�,

$�� �

!�,+�!

,�

��)

�,6��1

� ��

A ��

�<+

(&2

� "

�&! �

$ �;

!��.

��

VN

��! V

�O #�

;A ��

��� J

&� #

��!M 4

UN(M

)

��

�!�+

"com

plex

ity"

&�

� � E

��! �� J

&� .

B-�

(,

�� ��

1V

N

&:

� E��

1 54��

�� #�

: ���

�! J

&� (

#��!

��

E

��&1��

�! J&�

��<

�1� #�

�!"

�� �&

� ��

���O

�$ #

�:����

Page 83: Ljung, System Identification: Second Edition, 1999

'��

��

�����

:

�����

#�:�

�����O

10-6

Aka

ike

Info

rmat

ion

Cri

teri

on(A

IC)

• R

issa

nen

E

�42 "

�&!

�����

@&:

�� J

e&��

� �� �

!sh

orte

st p

ossi

ble

desc

riptio

n

�$ ��

��� "

���

#���

�1 �! �

� ��

w�;

� ��M

DL

(min

imum

des

crip

tion

leng

th)

4B

IC

��

� �&

1��A

Bay

sian

Info

rmat

ion

Cri

teri

on

.

10 -1-6M

odel

Val

idat

ion

Lj

ung

chap

ter 1

6 �2

�� "

�� �

� ��

� w

�;� �

� %���

best

" “b

est”

�&�

��

���0�

�> �

�� ��

S�%

"��

.�� J

&� E

�! �

�A �

� w�c

E��+

� @

&: ��

�!::

• �2

���

4 '��

�� |

�D% �

: $�

"��

�&�

��

��� :

#�

� ����

�� �

� ���

4��

. •

�!���

#��!

J&� �

2)

J����

,�

�! V

�O… (.

"��

\��

�� :

�,

����

"��

�-��

�kP�

;� V�k

> 0k!�

>

,%4

&�� �

�� ��

A J�

��� '

����

J���

�� �

! n��

O � ��

S�W;

+ ��

�! J&�

�20N

E� ��

;/��

"

��.

0NE�

��;/�

� ��`P

%�:

1( �

��S�%

�� 0E��

� �/

���� M

��� �

�8��

: J&

� #�:�

�����O

���

,-0�

) #��1

��%� �

�F�

U&��,�

:

�k4�

�8� ��

"��

�-��

����4

�912 �

! ��12 q

1���4

4 ���

<+ &

���! R

��+�

��

� �&

�6��

�-j�

8 ��

� .

",�

� �-�

� KX�

"��

3���

� E

2 ��1

� �F�

�� &

��! E

$4 �! M

W+�� �

�����O

. �

,� "

,� &,

�! b

�?A

�� �

�,�

J&,�

�,2

����4

�����

�O E2 �

��<+

�! "

W�1

3��

I

��

��4 �

��/ �

��<+

E�-�

� &��

W1 3��

I 0�

� ��1

� "�:

.

'��

��

�����

:

�����

#�:�

�����O

10-7 2(

���

B�C

�4��8

� (

��/���

� (

k��/��

�� �k

�T B

�C ��

: (

,����

��O J

&,� &

,! �� �

,�1 �

,��F

�(P

EM &

subs

pace

)

�&�2

"�&

!�&

� � $

���

<+ �

�c 4

#

��! �,A

��,��

� J&,

� �j�<

� #�:�

��A��

E&,�

�,�

4� #�

�,!

!"

�� J&

� "�j!�

3( �

�!��S

Pr

edic

tion

��

� :

��!

V�O

�W��

D�K

step

ahe

ad

&� u

D! KW

� ��

. 4(

��

� H����

�% 0��

��:

#���

���O #

��! ��

�co

nfid

ence

int

erva

l

)�,/

������

�O E2 e

�,��I

� ��

��*

B���

"��

. ��

�P θ

J&� �

W+�� E

�! �

)�/�

��� �!

':$�

! &��

! ��0!

�A

"

�� .

S,�W;

+ ����

� 5�?

<�� J

&� ��

� �! �

�� �

-1 ���

^+"

�� � �

! �&�9

�O 5�

4�/ E

4&!

j*� J

&�.

5( R

esid

ue a

naly

sis

:

#$��

��W�

7�61�

�!Si

mul

atio

n 4

E �4

2 "�&

!re

sidu

e

B�jD

+ �! #

���2

E2

#4� J

&,�

�,-j�8

"D*

E��+

��

!�$�� �

� ��

. 5�

?<��

��A

��

��� (

�6�

�1 �

&�

�! �1�>

�� &�

! �$

#���2

#��%

��>��

�(

k) z

ero

mea

n w

hite

noi

se�(

k+�)

inde

pend

ent o

f u(k

) for

��0

(pas

t and

cur

rent

inpu

ts)

�(k+

�) in

depe

nden

t of u

(k) f

or a

ny �

(of a

ll in

puts

) &

�! ��A

��

��� (

W 4

I1

$�

! �FjI

"%�I

� 4

����+

��I2

��

����+

0�1

.�,�

&,���

� �

��]+

v4��

��

�� �

�� J

&� ��

'���

� !

�A �!

��!

V�O

J&�

ε "

�� �&

�� &

���.

M��

� ��&�

�4�

ε :W

hite

ness

Tes

t

���

ε &�

�! &���

J���

1 E2 �

$�+ �

!�+"

�� .

�6��1

� �

!�+�

$�+

()

2

21

11

ˆˆ

()

()

()

()

NM

NN

NN

Rt

tR

εε

λτ

ττ

εε

ττ

==

=−

��

Chi

-squ

ared

#

�$2 �

�� �

!M

"��

.) �

$�+ �

!�+ d�

�6�

�!��

5� M

J���1

) �

?+ ��

^��

�2 (M)

"

��

��>1�

,�� �

$�+ �

!�+ �

�M

E2 q

1K��4

42M

"��

. &,

�� �

B��

J���1

�!�+

�! �!�

+ �� U

# �$2

���

V�0

)� �!

.( �,6

��1 �

E �

!&���

ε &I

� le

vel

� ��

� "��

�$ v

��!

&��! �

����

()

()

2

22

ˆ(0

)1

ˆ(

)(

)N

MN

N

RR

εα

ττ

χ=

<�

) #

��! KX

�M

=4 4

�=0.

05

��&F�

� �2 =9

.49

"

�� .(

��

� �

=0.5

J

��>��

&��! �

����!

v��

4 ��

��)��

�G1 �

J���

I� �!

95 "

�� &�

�� &*

2(

)M

αχ

2(

())

Px

αχ

=>

Page 84: Ljung, System Identification: Second Edition, 1999

'��

��

�����

:

�����

#�:�

�����O

10-8

��� +

�����S

�� % �/

PcK �

�%�%

�� 0

9/4�

�%

��

� �

�����

�$ ��

��� $�

���!

#��!

M

=M

2-M1+

1=di

m �

��

�ε

�! ��!

J�

��)

16.5

8

E �!

BF��

� ����

� &�

Fj+ &

���U

� ��

� �

.

��

�N

� ��

�-le

vel

J�

��1 �

$�+ �

!�+ $�

N(0

,1)

U'

��>! �

G1 �

"

�� ���

��! �

$ �;!�

� ��>1

2

Con

fiden

ce in

terv

al: ±

1,�

Con

fiden

cs le

vel:

0.67�

Alp

ha le

vel 0

.33

Con

fiden

ce in

terv

al: ±

2,�

Con

fiden

cs le

vel:

0.95�

Alp

ha le

vel 0

.05

Con

fiden

ce in

terv

al: ±

3,�

Con

fiden

cs le

vel:

0.99

.5�

Alp

ha le

vel 0

.05

0

�-le

vel

Na

• �!�=

0.05

��&

F�N

a=2

��

� 4 "

�� J

���I�

�! J�

�>��

4 &�

�! ����

�! �;

!��95

&���

: BF��

� &*�

• ��

��1 '

��

R�N

�u

4

# 4�4

��!

>��!

�4ε

&��

� ��4

� ��

• &:

� E

��1 �

� ��1

� ��

�A w

�/4 �

! &��

! �&�

��)��

�G1 �

Mjo

��A�+ �

��.

• #

��! >

��W�

:�<

0

"��

1 J&�

E �

! \��

�� �1

��� �!

4 "

�� (

!&�)

��4

��� �!

� �F

� ��<

�1� �

M1

4M

2

��

"�

&�!

. J

&� �

KX�

AR

X ,

M1>

nb

�,�

,�

y�,)

,j8

'�,�

�� ��

� 4M

1�0

&�

�!

• 4

# 4�4

>�

�!�4 7

&8 �

���+ #

��! 0�1

#�>

#�

��4�

ε ��

��

4

• ε "

�� J&

� �&1�

����!

���<

+�(

t)=G

� (q)

u(t)

�!

��! &�

�! &���

# 4�

4 ���

��

�(t)=

�T �(t)

"��

����

1.

����

&���

>! �G

1� ��

��

'��

��

�4�A

4 #

4�4 #

��!���

F�� $�

6�

� ��W

�8� 4

���<

+&1

'��

��

�����

:

�����

#�:�

�����O

10-9

�!

��4

AR

X

��

� $ �

��<+

mA

RX

= a

rx(id

, [3,

3, 1

]); re

sid(

mA

RX

, id)

;

"��

4 ��

4 �&�

��<

�1� Mj

o J&�

�� &:

� E

��1 �

� &2

� "�&

! �$

#�: �

&1���

��!

�!

���

m

OE

= oe

(id, [

3, 3

, 1]);

resi

d(m

OE,

id);

"

�&! J

�W� B

!�� #

�: �&

1�����

!&�

2 �

Page 85: Ljung, System Identification: Second Edition, 1999

'��

��

�����

:

�����

#�:�

�����O

10-10

��

�� 2.

��%

&� �8

��6�

��

��� J

�X�

�� �

����

� E��+

� �

$ 5�

����

$� �>

&- �!

��12 �

��F�

4 J&

� �8��

6� (

��

��� #

��!

Na

= 1:

15; N

b =

1:15

; Nk

= 1:

5;

NN

= st

ruc(

Na,

Nb,

Nk)

; V =

arx

stru

c(id

, val

, NN

); �

����

��^ ��

AIC

4B

IC

&:

� E��

1 �� �

j�<� 5

���

#��!

J&�

�-j�8

��

�� 3.

J�

X� :

��!

3���

� �! �

$ '�

���

0.3-

0.6r

ad/s

(

�D+

,e q

1�,��4

�,! &

��� 0

�11 4

500

�,

�� �,

1��1

&� #

�42.

'��

��

�����

:

�����

#�:�

�����O

10-11

• J

&�A

RX

��

� 10

� q

1�14$�

�! #��

�! ) �

?+

6��

��W�8�

#��

4 J

��8� E

2 �!

0.3r

ad/s

� �

��,��

��,�

")��

����

. 0�

%�12ε

B-�

� 16

.12(

a) 4

� E

2 �1

���) 4

�!�/

n��

O16

.12(

b)

"��

�&�

� � E

��1

E�

,�1 �

�+ &

:

�"

�� �&

�� "�&

! !�A

���

<

Page 86: Ljung, System Identification: Second Edition, 1999

'��

��

�����

:

�����

#�:�

�����O

10-12

10 -2 0

����EP

G (

���6 �

8!X ��

?

�613

�,! "

W,�1 �

�,�! �

FjI &

�� �

pK+

(!&�

) �� "

�� E2

���!

�FjI

'��

�� �!

j*�

B-��

G �

&,��

W1 3�,�

I ��

��

4 ���

! �FjI

&

$� $�! �

FjI '

����

���! �

��

5�8K

c� �6

��1 .

���!

�FjI

� '

����

��

��� #

���4�

� 3 &1�

�� �

���� �

$ ��

1(

Dire

ct A

ppro

ach

: 3

��� �

! �)�*

��

�4�

u , y

&:

� 7

�61� ��

��

��� .

�! #

��� 4

r ��

&1 �%�

��� 4

2(

Indi

rect

App

roac

h

3��

� �! �

� �4

�r 4y

&��

�����

�� &�

��) 7

�j�� �

%����

�! ��

�+ �! q

i� 4

&�� �

��.

3( Jo

int i

nput

-out

put a

ppro

ach

p

4� �

� � r

# 4�

4 4

':

u 4 y

'���

� 3

��� �

� �! �

� &���

: �4

�A �

� �

��

���.

���

�%����

;Au=

r-fy

4

� ��

�! ��

J��6

� B���

8 &��

!�

+4�,

�+ �,+

�,�

L��<�

,�� E

��,+

,� h

&1� #

�� �

!&�

�W1 ���

4� .

��G1

j���

8 ��

4 �6�

�1 �

���*

j�8

#�:&

���) �

���

inte

grat

or a

nti w

indu

p

54�,�

+ ���o

4 �

�� �

���� y

��� �

R�)

. B

Y� (

7�8/4

� ,%�

ect I

dent

ifica

tion

rD

i

# ��

%��>��

$� U'�

F���

�����

p4�

� u 4

y �

��<+

#���

4� 4

PEM

#

4�4 #

��,!

-$�,

! �,Fj

I &,

�1�� U

,�4�A

��

� �

�����

.&�

� � �

�H� ��

�0>

�� #

���4�

$� � ��

��� �

� &2

� V�O

+K-

�� B

�8�

%4

1(

"��

j*�

p4�

Up4�

��

. �

�A J

&� �-

12 �! v

4���

H &�

�! 3���

2(

�� �

��� (

!&�) '

����

4 �%�

���

�&�9

�O �!

���+

E4&!

&. 3(

&���

: � ��

��� B

!�� $�!

�FjI

#���

���>

%�

4( "

�� � �

���� B

!�� &�

��! �

�&�O

��! V

�O J&

� 4 ��

�! �F

jI �-

12 �! v

4��� �

�&�O�1

'��

�� #

��!

5( ��

�S∈

M 4

����!

���

<+ &

��!

cons

iste

nt

&:

� .

���

%4

W�F

+ J&�

B-

,�� �

,! '��

�,>%� '

�,��! �

�,���A

��

� 4�

!4� .

��

� � V

:�� E

2 �W+�

� qi�

4 �&

�����

�+e�!

���

J&� �

� "��

�� B

I ���

.V

:�� #

��! #

4�4 �

! e�! �

�� J

&� ��

"��

�� E

2 p4�

(4

��

��4 #

�$ #

���4�

�W+��

u ��

pe #$

�,� ��

W� �

"��

�1 E4

&! �

4�A �+

�&�

(�D

+ 0

�=_

u

��

&�%�+

.��

� �!

%&� #

$�� ��

W� 0

�1 E4

&! #�

� �

� 3��

� �! J

�I �

� "

�) E2

�! �+

���

O

'��

��

�����

:

�����

#�:�

�����O

10-13

6( 0

�1 $� "

�� J

&� ��

"��

�� p

4� �

� B-�

� ���

���

H ��

$��1

��.

V ( 7�

8/4� �

�T ,

%�In

dire

ct Id

entif

icat

ion

p

4� �

� � G

cl

qi�

4 �

� �

� $ �

��<+

�&�!�

G D�

��

� �

W��

.

. 1(

$� � �

���� #

��! &�

�W1 7�

j�� 0

�1 J&

� ���

IV �

� �

� ���

�� p

4� �

� $� .

$� � ��

�,�� E

�,-�� p

4� �

� � (

��-+

subs

pace

��

��

4 0�1

. 2(

���

4 �-

j�8 �

@K�

A� ��

"��

�� p

4� �

� B-�

�Fy

��H�

� �

C� ���

<+ �!

���o

4 d�W�

� $�

��1

3(

$� ��

�PE

M� U

�:���

���O "

�� \

����

��

� �

����

Gcl

#

�:����

��O E

��:G

&���

!.

4(

"��

'�:�

�A

+�W��

D� '

6I &�

�! ;A

��o �

%����

���

5(

#��!

���<

+ q1��

�4

'��

���/

4� �8

!X

"��

���F�

� $�

� v

,cl

�&

� ��j

�) �!��

! &:

� E

��1 �

;!�� �

-1��9

�: ��

"��

���!

�FjI

� 0

�1 �

�cv

"��

��I

M��+

S 0 "

��

6( �

��<+

q1��

�4 �;!�

� �� $

�G

"��

'�F��

� p4�

�!���

�� &

2 � "

�&!

7(

3��!

�G1 $

"��

���F�

� $� �;

!��

&:

� E��

1 ��

G0-G

θ

��

� B

��&I

��

�S

��

���1

���) �

3��!

�6��1

� �

�1 (

z��

S "

,�� (

z��

��

��4

.4 J

&� ��

� (%H�

�h

� �

��&:

� 3

��! E

4&! �

��<+

&��! �

8��6

. a (

Join

t Inp

ut·O

utpu

t Ide

ntifi

catio

n

J&�

4 p

4� �

� � r

�!u 4r �!y

qi�

4

�����

E��0

�:G

��

� �

$ ���

<+ .u

�! "��

�!��! (

!&�)

7�61�

E��+

� y

�) 4

"D+

��

�����

.

Page 87: Ljung, System Identification: Second Edition, 1999

'��

��

�����

:

�����

#�:�

�����O

10-14

1( �:

0�1 �

-��

-v1 4

v2 '

,: ��

"��

'�F��

� p4�

�!���

"��

1 � "

��12 �

� &���

: ���

W�:

G ',

:4 (

!&�)

F y &10

�� ��

�<+ ��

2(

���

<+ &1

�� y

�) BF

��� �

:0�1

���

G �

��<+

4 '

��F+

$�G

cl 4

Gru

&2

� "

�&!

.

7�

+ &��)

�� �

$ �;!�

� 3��

� �! �

� "��

E2 '

�F���

p4�

�! p

4� �

� "0�

B 4&

,! ���

<+ E

��+

� "��

3�,

�! EG

"��

�� .

&2

� "�&

! q1��

�4 V�0

)� B!�F

� � �

� ��W%

� .

�! t��

1 ��

0@

> ��T

�Y�/E5

"

�� �W�

�� 0�1

.

'��

��

�����

:

�����

#�:�

�����O

10-15

10 -3 Sy

stem

Iden

tific

atio

n in

Pra

ctic

e

L%�8�

��/

E5 % 0

����EP

: ,

W�F+

%&,

� &,1�

�� 4

&���

� ��

� '��

��

�����

3��

� �! �

� F)4

#���

����

&���

� 4

&D� ��

#$��

%&� �!

$��1 7

4�F� #

�:�%��

�� ���

� � &

�: �_

���.

10 -3-10�

���EP

��<�

�'6� L

��

Mat

lab

syst

em id

entif

icat

ion

10 -3-2��

#�

7/4�

� 0�

���EP

��%�

�� 0

!��

� #�:

J&� &

�! ��

A

�����

#��!

&1��

���F

� ': �

!4 �&

� 6

�� ��

W�8� 4

��<

�1� \

���

. �

$ �!�6

+ �! �

�� �

� ��

$��1

)��

Mj�+

4

L�K

1 :�/�

� 0����

��

• MZ

0����

�� % �/

�� ���

��� 7

�� :

��

")��

"��

�-��

�$ 5

�8Kc�

�� ��

1 $�

o

;

A ��o

���)�

��1

o

#0

�1

j�A #

���<!

o

c�

&��)

4 "!�C

J��>

�� ��

��

�<!

"��

5�8K

. •

detr

end

the

mea

n :

&2

� "�&

! 5�G

IK� �

� � �

��O q

1���)

5eK�

A� @H

I 5�

4�/.

• 0N

E� ��

;/�� �

��� �/

�� g

�� �

: �

,�

,� l

<��

6��

��W�8�

4 ��

�<+ #

�� "

��� 0

�%�12 $

� .

e�,�

��2/

3

4 ��

�<+ #

��! ��

1/

3

��

� ��

)�� �G

1 �

6��

��W�8�

#��!

. L�K2 :

0����

8� ��

`E��

• &2

� "

�&! '

����

�&

�9�O

�$

+��&F

� #�:

���<

+ �!

o

>��

W�: 3

��� �

! �!�/

n��

O

o

��c

(��

����O �

�o ��

�<+

o

A

RX

��

� 4

&2

� "�&

! >�

�W�:

$� ��

#��A

�+ �!

o

p

4� $� "

%�I #

�]) J

&� �

��9�:

subs

pace

. •

���

+���

7/4�

&��!

!�A J

&� &1

��+

�W��

�� ��

� 4 0

�1 J

&� �!

�&�

'�G�

+ ;A

'��

�� (

4

o

U��c

���

<+ $�

�&�2

"�&

! �1

���) n

��O

AR

X

��

R�W;

1� "%�I

#�]

) 4

o

4 >

��W�

: �! �&

� J&

� ��H�

���)�

AR

X

J&� 4

� R�

W;1� "

%�I #

�])

o

J

&�

�4�A

AR

X

"%�I

#�]

) 4(M

odel

Out

put P

lot)

�! ��

S�W;

+ 6�

� ��W

�8� #

3( 7�

�3 :

�&�

9�O B

e

Page 88: Ljung, System Identification: Second Edition, 1999

'��

��

�����

:

�����

#�:�

�����O

10-16

• M

odel

Uns

tabl

e

K��

D� J

&�A

RX

��&

�O�1 "

%�I #

�]) 4

&���

: $�

"��

���! "

%�I �

� �

5 �10

step

ah

ead

� � �

���� #

$�� ��

W� #

�6!

��! V

�O

• :F

eedb

ack

in D

ata

J&,�

4 >�

,�W�

: 0�%�,

12 4 �

�c �

��<+

��

��4

(!&�

) # 4�

4 �!

�4�A

$� �

�4 �

����8�

&�W

1 R�W;

1� 7&8

�! �H

% &1��&

1 ��W�

8� "

%�I #

�])

."

,4� B

!�� w�

/4 �!

(!&�

) ��

4 �&1�

����!

B�jD

+ �

"��

Noi

se M

odel

$� ���

! "%�I

#�]

) J&�

���

AR

X

�1 �C�

�� "

�� �

�� �

� �! "

��4 "

,�� �

,GIK

� B,!��

0 �

� J&

� "�

�! &�

!.

• M

odel

Ord

er

���

AR

X

�W+��

4 �,

� �,! &

,!�

,� �

,W�!

�-j�8

�W+��

V�0

)� �! 4

&:&�

�1 !

�A

�4�A

&��

� "��

� \��

�� ��

� �!

;A '

����

( �

� "��

���

. •

Add

ition

al I

nput

�W�! J

&�

�4�A

�jI�

� �� �

+ ���

."

�� � �

-1 �&�

O

,�

��! �,

!ph

ysic

al in

sigh

t

�,!"

�� � �

�)� 'j

� $� �

� & �

>!

4�4 J

�W1 .

qi�

AR

X

���

4 &,

��� J

�,�8�

�,� 4

�4 7�,

�+ #�

�! ��

.$� �

�,G��

# �4

",�

� #�,�

� �$�&

,1� B!

�� 4

��H�

� �C�

�4�A

�! ��

%��>

�� �:

�-j "

��1 J

���� J

��>��

MF)

# �4

"��

• Non

linea

r E

ffec

ts:

: �

�� �

�)�� �

G1 �

�! &��

�1 S

�W;+ J

&�

�4�A

E��9

�ph

ysic

al in

sigh

t

J�W1&

!&

�>!

;A ��

o B���

8 .

��/

�� �!

"��

�-��

;A

��o B

���8 �

�)

#��,!

E�,

�� �

Q�,�%

4 ��/

B*�

IE��

+ (

&��! E

2 �!��

� 4 .

&���

: L���

��� B

!�� �

�� �!

��12 $

� ��

� #���

<!

• G

ener

al N

onlin

ear

map

ping

��

�1$� �

���,�

� �,�

!�

� ��

;A ��

o B���

8 (��

r+ �

��! �!

E��+

blac

k bo

x

"��

BI ���

;A

��o

l���

0S�� ?

#$� �

�E<

�,� &,

��!

,��� �

,� �,!

&1��+

�� �&

�O �� \

����

�W�F+

J&�

E��+

�1

$��: �

���

�� L

��<��

� E���

��1

����

#��

$� ��

!�A J

& .

� E2 B

e

4 E��,

�� �

�o JK

�A� U0

�1 �!

J��>

�� �!

&1��+

��

�! E

��$ �!

���!

�4 '��

�� 4

��0!

.

L�K

4 :Q

��E�

��� 7

�mE�

~�D

* J&

� ���

4 #��

#��!

)B�

�� �

�� �!

(&:

�1

���

. &

��,�:

,W

�F+ ��

%&,� 7

��+ .

��,�

�� �,

� %&,

���4 4

#$��

��W�

��! @

K�A�

��

��

� ��<

�1� ��

.

��)�

��! �

4 J

&�

�&�9

�O ��

W%�im

porta

nt f

eatu

res

��

|�D%

&�! 0

�1 .

4( �

4�R

esid

ue: ε

&��! &

��� &

�!

���4

$� �,G

IK� B

,!�� ��&

F� �!

conf

iden

ce re

gion

,� L

��,A

.5�

�,?!

��>

1���

o

���

�&�

L��A

��&F�

5��?

!sl

owly

var

ying

"

�� '�

J&�

#��W

;� �

&�+

�� "

��

'��

��

�����

:

�����

#�:�

�����O

10-17

o

���

5��?

! �j

�"

��:�

�* '

� 5&�

+ � M

jo ��A

�+ ���

�! &�

�! .

o

J���

� #��!

��

%&� #

��!� �

����

�1���

) ���)

� "��

\��

�� �

� �

ε �

� �

��!

5( ��

� �W�

� U<�5

:"

�e�! J

&� ��

� ��

&:

� E

��1 \

;� 4

��* @

HI .

��

�,�4 \

;� 4

��* @

HI ��

� ��

� V

�0)� �

! 4A

RX

:

� �

��� ��

�!�,�

)�� �,

G1 �

&,�!

0�1 J

&� #

��! )

�/� \

;� ��

"��

���

�� �

! & �

� .

AR

MA

X ,

OE

4B

J

���

�!A 4F

",�

� �,�

�� ��

,<�1�

�&,�

1 @H,

I #�

�W;�

�&�+ �

!��! .

4 ��,*

B-,

�&:

� E

��1 &

���

� @HI

�� �>

&�: �

� ��

W;�

6(

��;S

?��S

�/;4�

V��W

: J�

W� B!

�� ��

��

j� 5�

�?! �

-�+��

* �

&�

S��

&�W

1 j�A

"��

. #

�: ��

�1�!

arx

4su

bspa

ce

&�1$

� �

��<+

��%&�

���

4 &�

�� ��;

! �� &

1�� �

�4

7( M

ultiv

aria

ble

Syst

ems.

&,

��! �

�,��

�,�

4 #�,�

(��%

�:���

�� ��

! ���

�4�A

&�z

#���

��� �

��<+

��

� ��

j-��

."

�� \

����

"%�I

#�]

) J&�

����

�� �

o

$ �! $

� ���!

#��%

&� ��

��4�A

4 ��

4�4 �

8��6�

��

<!

")�

"�

j�

J&� �

! "��

1 � 4

$ �

��<+

. o

4�4 �!

"W�

1 �4

�A �:

#��!

�� "

�� �

� �>

����

$ ��

�<+ �

1���&�

J&�

o

"

�� ���

! J���

� 4

��! V

�O #�

�! �z

��i-

J&� (

%H��

L�

K5 :

��� ,

��c

.

j�)

"��/

4 #��!

J&� (

B��&

I "

��1�

��

� �

�<�1�

.��

�,A �+

��i��,

� �D�

,* #

4� �z

���

�<�1�

J&�

"��

)��

� ����

� #��!

�1��<

W��A

�� "

�� "

����4 $

� W�

F+ MF

) %4

&:

� E��

1 ��A

10 -4�<�

����5

The

Hai

rdry

er �)U ��

: E

2 ���

� � �

� &��

�) �

#� �

%�% BA

� ��

��

����

+���I

"��

%� &,

�� ,

� 7�,�

�� ��:

�� .4

E��,+

# 4�

"��

%� �!

%��8�

"��

�%�%

�4�A

��: 5

��I ��

� �

4�A 4

8(

B-�

�jO n

��O

"��

'���

� 4

&I

1��$ "

!�C ��

0.4 ��

A�+ 4

��1�C

0.14

��

1�C&:

� E

��1 ��

.

Page 89: Ljung, System Identification: Second Edition, 1999

'��

��

�����

:

�����

#�:�

�����O

10-18

9(

#�� �

! �1��

1 ��

O :

#��

�! �1�

�1 �

�O ��

��1 3

��� �

!0.

08s

��

� ��<

�1�

10( �4

#���

! E��+

4 �

�! #

35 �+65

5�4

4 )

�?+ 5

��?! �

� "��

J���

I� �!

0.2

���^+

�:"

�� 7��

. 11(

1000

��

� "WC

�4�A

4 #

4�4 �1

��1

. lo

ad d

ryer

2;

dry

= id

data

(y2,

u2,0

.08)

; ze

= d

ry(1

:100

0);

plot

(ze(

200:

300)

);

12(

�4

�A 4

# 4�4

$� ��

>1���

J4� 7

�� �

����

�!

dete

rend

@

HI

��

�.

13( �!

��

&�

'��

F+ 6

�� ��

W�8� #

��! #�

> 4

���<

+ #��!

- "

��� 4

14(

Prel

imin

ary

Mod

els

: �!1 ( ��

��

cra

��

� &�%�

+ �jO n

��O 4

���

<+ J

&�2 (

(,�

�����O

��o �

��<+

��c

3 ( J

&�A

RX

��

� 4 45 (

"%�I

#�]

) J&�

(n4s

id)

&�

� $ �

��<+

E2 #

��! .

,]) J

&,� �

,��

",%�I

#�

��;!

(�+�

��+�

3 &

�� �

�<�1�

.&�

:

� E��

1 �� "

�) ��D

1 ��j-�

. •

#���

��<+

�6��1

�jO n

��O �

1)

�O MA

( U3 )���

+ MA

( 44 )��

z �;

F1 (

"��

�&�2

�! v

�!�� �

��F�

�1

���) n

��O �

� ��1

� 2 )�O( U3 )

���+ M

A ( 44 )

��z

�;F1

("

��

• �!

��%&�

�4

�A #

$�� ��

W� ��

��1 �

"

�� �&

� � �

E��

1 # 4�

4 .

� S

�W;+ #

�;A

AR

X(4

41)

4

&I0.

096

� 4

n4s3

��&

F�0.

1

"��

t��

1 �-

��&�

� J&�

�� q

�4�O

&1��+

!�<!

;A J

&� (

020

4060

802468

Tim

e (s

econ

ds)

y1

020

4060

8034567

u1

Tim

e (s

econ

ds)

'��

��

�����

:

�����

#�:�

�����O

10-19

15( Fu

rthe

r M

odel

s.

��0:

&

�� J

��8� ��

�!

�$���

A��

�! J&�

.

#�

� �!

���<

+ #�;

A 5�

�!�� �

�>1���

4

B-�

� 4 �

W��D

� 6�

���W�

8�

'��

&

�� .

$� # �&

�+ #�

�! �;

A �

�F�"

�� ���

F�� $�

��12

A

RX

(692

)=0.

094,

A

RN

X(3

322)

=0.0

94,

AR

X(4

41)=

0.09

6 n4

s6=0

.097

6

AR

X(2

23)=

0.09

88

n4s3

=0.1

��

J&�

���

�!15

�� �

�����O

A

RX

(692

).

• B

-� �

\<�

�� #�

�%&� �

&1���

��! 0�%

�12 &,

1� �&�

� �

E��1

A

RX

(962

)

U�,O

M,A

AR

X(2

23)

4

��,�+

M,A

A

RX

(332

2)

��,,z

�,,;F

1 .

�&,,1��

���! 0

�%�,,12

AR

MA

X(3

322)

4A

RX

(962

)

� �,,:

�,,� &

,,:

,,� E�

,,�1

w

hite

ness

test

4in

depe

nden

ce te

st

�-�%�I

� &�

��: S

)��A

RX

(223

)

�GAK

� B!��

>��

W�: $

� E��

1��

�&1��

���! 4

# 4�

4 ��!

.

Fina

l Cho

ice

of M

odel

.

��,!

$� �&

,�2 "

�&! 5

�8Kc�

3��

� �!

AR

X(9

62)

4A

RM

AX

(332

2)

J&,�

��

�+ �

��A

RM

AX

��

� ��<

�1�.

Page 90: Ljung, System Identification: Second Edition, 1999

'��

��

�����

:

�����

#�:�

�����O

10-20

���

<+ q

1���4 �

�8

"��

���F�

�$� E2

�����

�O

Th

e es

timat

ed st

anda

rd d

evia

tion

of th

e no

ise

sour

ce e

(t) is

0.0

388.

A

ircr

aft

A F

ight

er

J&�

E �4

2 "�&

! @&:

PITC

H

"��

. "

,�� �&

,� @

HI E

2 ��>

1��� 4

�&�2

"�&

! ���

! �FjI

$� ��

.

90 �,1

��1

4 ��

�<+ #

��!90

��

� ��

��H� �

���

6��

��W�8�

#��!

�1��1

. 1(

E�z

pitc

h

U"��

��&�O�

1��%

&�

!�$�� #

��!U

RM

S

4 �&

,� #

�,�� �

$�&,1�

,�4

�A �

�! #�;

A10

ste

p ah

ead

��!

V�O

J 10

. �

� �

� ���

��.

Pitc

h

2( "

�� �1�

>�� �

j�<� #

��%&�

#��!

"�)

� �F�

. A

RX

(441

)=0.

0090

� �

G1 �!

J�W�

B!��

���

�� &�

4 �&

� � �

E��

1 B-�

� p

�H,O

��,�

� �,�

J&�

��

���

����

..

A

RX

(411

)=0.

0018

A

RX

(412

1)=0

.001

89

AR

X(8

11)=

0.01

93

n4s4

=0.0

0358

�! v

�!�� "

�) �

���!

AR

X(4

11)=

0.00

18

"

��.

11-1

11NONLINEAR�BLACK�BOX�MODELS�

"��

$��1

��� K

�8 ��

�� �W

�� J

&�

� �

� � �

#��

J&�

;A ��

o B���

8 �! v

�!�� 5

�8Kc�

&�!

. �

���,�

� J4&

,� $�

&,��

! $�,�

1 &��

�-��

#��!

��

11-1�8

% ��X

/��

+��

;A

��o

j� J&

� �!

���+

E4&!

phys

ical

insi

ght

"

��1 E

��+

� �1�>

�� ��

j� "

%�I �

E2 #

�����

� J&�

��

���

<�1� �

! v�!�

� J���

� 4g "

��.

11-1-1c�

M�4�

��'

�F�

��

� ��

����

#�: �

�%�� �

�<�1 �

)�&

� #�

�� �$�

&1� #

��

( �

J�X�

#��!

�� "

�� ;

A '�

���

&�1��

# 4�4

���H

� :

NFI

R-m

odel

s : �

={u(

t-k)}

�4�A

4 #

4�4 ��

�H�

:N

AR

X-m

odel

s: �

={u(

t-k),

y(t-k

)}

��

��<+

�&�

#$��

��W�

�4

�A 4

# 4�4

���H

� :

NO

E-m

odel

s : �

={u(

t-k),

�(t-k

)}

���

<+

�4�A

4 #

4�4 ��

�H�

: N

AR

MA

X-m

odel

s

� �

�F� �

� "��

J���

� ;A

��o J

&� �

���<M

� +4 "

/��

���F

/���4�

� � �

����

11-1-2 �

����

���g(�)

:Basis�function

� &

��! �

���

�4�A

( '

����

&���

y� )

#�:

��%��

�! ��

�+ E4

&!� U

uD!

�,� �!

��D1

'�,�

�� �

!�,+ �

�,��1

�� "

� �W��

�+ $�

"��

)(

)(

)(

te

tw

ty

)(

...)1

()

(...

)1(

)(

11

bn

fn

nt

ub

tu

bn

tw

ft

wft

wb

f�

��

Page 91: Ljung, System Identification: Second Edition, 1999

W?8

�-W�

J&�

4 ;

A ��o

��

���

11-2 1(

�� +5

<���

Q j��

: ��

^�� #

��1��+

d��6

� 5��?

! �� �

!�+ ��

"��

�� �

�� (

'��

��! .

��,�

��

�06

+ �

��

� �

�����

��j�+

M�!

. p

4� �,

� �,!

�,��

�� #

�,: �

!��� �

Volte

rra

expa

nsio

ns

,�

&���

2 :

���W� �

!�+ � �

�1�A

�! M�

! :

�>

��<�

1� 7�

,1 �!

�!�+ �

� "��

��

"mot

her

basi

s fu

nctio

n"

�,�)�

� �,G

1 �

��

��A�

� 54

���� #

���O 4

0���

�! E2 #

�: �!�

�� 4

��

. �

� J&

� �!��+

�� d

��6�

�! J�

�6� �

!�+ J�

I.

!�+ �

� � � k

(dila

tion

para

met

ers)

4

&��

� $�! 4

� ��

) �� �

!�+ k

(tran

slat

ion

para

met

ers)

��

J��>

�,�&�

� � �

6!��

��D� #

4�. .

"��

���)

#��

E2 �&

� ��

A���

K���

�1��

1.

����

� ��'

� +4'<

4/�

�p�� I

� �

��) #

�� �

k(x)

= c

os(�

kx+

k)

�� "

��� k

4 q

1���)

k "�

� $�) @

K�A

� 4

��W� �

!�+ �>

�1�

�1"

�� �&

� � �

E��

1 �$

B-�

� E2

� ��1�

A

5��?

! ��

;A ��

o �!�+

( U�

�%��>

�� �

� �8��

6�st

ep w

ise

&1$

� \

�F+

"

�� �

�� ��

��1 �

> �1

��1

"��

E2 �>

�1�

�1 �jO

�!�+

sigm

oid

"

�� �jO

�!�+

�&�

����:

��

�-j�

8 "

�� �-

�� ��

W� �!�

+

jD�

loca

l 4 �

��� �

glob

al

&��!

. 4

�,��)

#��

#��W

� �!��+

Vol

terr

a

��,;

!

�!��+

%4 &�

��: �

��� ~

/�4&1�

� j

D� �

-j�8 &

1��

� � ��

��� "

%�4 �

��

.

6%�

/�

�p�� �

�Q ��

�� ��

� ��

W� �!�

�+ E

�� #

&�! &

�z #

��!3

��

��4 p

4�

1::product

Tensor�

!��+ �

�/ $�

���^��

&�z

#��W�

�!�+

&2

� "�&

! ���^�

� (+ #

��W�

.

W?8

�-W�

J&�

4 ;

A ��o

��

���

11-3

0�

�� $� #

4�4 �

: �j*

�) �;

!�� �

� � �j

E$4

� 4 �

W��D

��j

�,�

,�

J�,�

8� ;

A ��o

��+

�! ��

�� �

�/ .

� "

��1

d &1�

� �

��/

': �

�&�

2 "�&

! ��&F

� .

( �

: ����

��O 4

d &�

!)

�����

� 0��

(&1�

� .

2 :.�

Radial�construction

��

�^�� &

�z �

!�+ p

4� �

� � �

�! 7��1

�!�+

� 4�

"��

�j

,*�)

�;!��

�� �

� �,

�d

0,��

� $�

�� &,

�!d

#&,

�!�

�� �,!

�,�

4 �W,�

�D�

d q

�+�,�

� #

&,�!

d*d

U � (p

ositi

ve d

efin

ite)

� �

��/

. V

F1 q

�+��

��

dila

tion

&,

��! &

I�4 q

�+��

&1��+

� 4

�� �

&�8 �

! �� .

7��1

�,j��

$� �

��1 �:

&1��+

� �

j*�)

quad

ratic

&,

��!

.

W,?8 �

-W,�

#�,�

14�1

Rad

ial

Bas

is

p4�

�,� $

�&�

�� �

� ���

��.

3 :�

Ridge�construction

� �+

�j*�)

3��

� �! ��

&F� p

4� �

�� hy

perp

lane

� �

� �

l�?

<+.

�;

!�� �

� � d

E��%

��

�A

1$4

�!�+ �

( �

:� j

,�

J�,�

8� ;

A ��o

�!�+

�! �&

� ��

� &

8 ( �!

$� 4 �

�/

�� .�

&�!

d 4� "

���%�-

�� )

�1d J�

�� "

%�I &

�1�� &�

! .(

��2

�I "

%�I �

� �

k &�

�! jD

�g

",�

� ���,

� .

�1��

1 B-�

ridge

�!� 1

=�2=

1 4

�=1

&:

� E

��1 ��

. &,

!� ,

� �,��

� "

,����

! �,+ "

,�� 4

�: $

� B-�

��

.

W?8 �

-W�

#��14

�1M

LP

&�

�� �

� ���

�� p

4� �

� $� .

Page 92: Ljung, System Identification: Second Edition, 1999

W?8

�-W�

J&�

4 ;

A ��o

��

���

11-4

12

0

1

�5

7 ���%

�!�+

���^��

&�z

#��W�

�!�+

"A�

� #�

�! !

�<�1�

p4�

$� BF��

�g

7�) �

!

#

��! 54

���� J

���) �

!

"��

.�!

\�+�

+ �� �

! �� �

B���

� U� 4�

�� �:

3n "

�� ���

���O.

E2 �

��

��W� �

!�+ BD

� #

4�4 \

�/

� "

� ��W

� �!�+

�: \

�/

�+��

H ��

�:

�� '

�!� �

�� "

��1 "

<�!

&,��

J&,�

�� �!�

,+ �:

"��

��� �

� &��

! �!�/

�!�+

( &

1��+

� .

"��

$��1 �

!�/ #

�$

�&�+ �

! #��!

�� "

�� �

� � �

�� M

F)) n

"��

��0!

.( �

q%�O

:! &�

�! ��^�

� d4��

4 y

�8 � q

%�O &1�

�+ �

. �!

"%�I

�!��

n

� �

$ "��

$��1 #

$��%&�

#��!

#���

� $�

E��+

� "!�C

#���

<! �

� � ��

��� �

�8 q

%�O (

.

����

!�� �

� +D�

� �D

�E��F

b��<

4�

� E

$ \

�F+ �

� 4

-�)��

� 5��?

! E��+

� ��

�-W�

� E

�,�1

E2 �

"m

othe

r bas

ic fu

nctio

n"

,��

!

� ��

����

E2 #

�: ���

.

#��

4�4

�=�

,� J�

�8�

�� ��

�A

BF��

� 0��

� �� �

�� �

!�+ �!

4 �&�

��/

��

.&2

"�&

! ��� �

: �4

�A �+

.

E$4

�! �: �

��

�4��

J�I

� &1�

� �

���

': �

!

W?8

�-W�

J&�

4 ;

A ��o

��

���

11-5

&2 "

�&!

. �,

e (

, �,�

��8 �

� "��

E2 �!

d��I

� j�

"��

1 ��4

� "��

)��

1���

�e

&�z

�-��

�! n�

�O #��!

1���

mos

t pra

ctic

ally

reas

onab

le sy

stem

s.&�

� � "

���

��

�A��

���

� ���

� � ��

���

��� ��

�>

���A�

�R

ecur

rent

Net

wor

ks

��A�

,+ -

!&�)

�4�A

$� ��

"��

��

� J

��8� #

4�4 �

! ��

. "

�� �-

��

)�c $�

stat

e &1

�� (

!&�) #

4�4 �

! �:

11-1-3

�8% �

�X ��

� k��,

� I�

$7 �

�B�"�

Neighbors�or�Interpolation.

Nearest�

�:

\�F

+ ��

� �

����

� ��W

c 5�

�?! �

� �4

step

wis

e

;A

!�

E���

�ra

mpw

ise

"

�� .

J4� "

,%�I �

B1��

p

4� �! �

�ra

dial

� ���

^�� &�

z

B

D��

#&�

! ���

4�

&10! \

�F+

!�A �!

�� �!�

+ &1���

! �� &

1��

� ��<

�1� #�

D1 �!

.

Epanechnikov�kernel

:� B

1�� $�

� ����

� �>

d�1

��

"��

bell-

shap

ed

"��

.E2

���^�

� &�z

"%�I

w

here

h is

a sm

all p

ositi

ve n

umbe

r, � k

are

giv

en p

oint

s in

the

spac

e of

regr

essi

on v

ecto

r �.

Page 93: Ljung, System Identification: Second Edition, 1999

W?8

�-W�

J&�

4 ;

A ��o

��

���

11-6

B.Splines.

� :

B-s

plin

es a

re lo

cal b

asis

fun

ctio

ns w

hich

are

pie

ce-w

ise

poly

nom

ials

. The

con

nect

ions

of

the

piec

es o

f pol

ynom

ials

hav

e co

ntin

uous

der

ivat

ives

up

to a

cer

tain

ord

er, d

epen

ding

on

the

degr

ee o

f the

pol

ynom

ials

,

���� �

8% ��

X ��'

� �0��

:��

W?8

�-W�

M

LP

�R

adia

l bas

is fu

nctio

n

Wav

elet

net

wor

k:

#�&�

: #

&�!4

�!�+

\�F

+

� 4&

D� �

[-2,

2;-2

,2]

4

���

B1��

�!"

�� �

�: .

4 B1

�� 0�

��� 4

&D�

�C E

2!

"��

" .6×6

�! 0�

�� �

4&D�

±0.5

��)

�� �G

1 �

"

�� �&

�.

N,z

"��

#�;

A �!

��� B

1�� �!

\�F

+ "���

"��

4 ��W

� 8��

� �!�

�+ M�

4 Uj

*� �!�

+M

SE=4

583

"

��.

�� �!

�;A

��:

B1

MSE

=472

6

"��

� � �

���� �

���0!

���A�

� �!

W?8 �

-W�

$� ��4

MSE

=1.2

&2

� "

�&!

W?8

�-W�

J&�

4 ;

A ��o

��

���

11-7

�'�

�MATLAB

��

system

�identification�toolbox

� ��

��

AR

X

;A

��o

MA

TLA

B

"��

7�) �

� �!

m

= nl

arx(

data

,[na

nb

nk],N

onlin

earit

y)

E2 #

��! E��

+ � ��

�$ �

�W� �

!��+ ��

� ���

+.

�'w

aven

et' :

(def

ault)

Wav

elet

net

wor

k �

'sigm

oidn

et':

Sig

moi

d ne

twor

k �

'tree

parti

tion'

: B

inar

y-tr

ee

�'li

near

': L

inea

r fu

nctio

n �

neur

alne

t: N

eura

l net

wor

k �

cust

omne

t: #�

&� 1.

����

�� � �

����

nlar

x

� �

�� ��

���

���A

m (1�+

4 '�

���

( #

��

MA

TLA

B 4

��

�� .

�,

����

#�,�

-��-

+ ��

�F� #

��! ��

�� $

� �

� �

� ���

��.

load

twot

ankd

ata

z =

idda

ta(y

, u, 0

.2);

6��

��W�8

� 4

�����

#��!

�� #

$���&�

ze

= z

(1:1

000)

; zv

= z(

1001

:300

0);

;A

J&�

�!

�����

AR

X(2

21),

AR

X(2

23)

m

1 =

nlar

x(ze

,[2 2

1])

; m

2 =

nlar

x(ze

,[2 2

3])

; �!

"%�

4 �-W

� $� �

����

� �!

�����

8 ���

m3

= nl

arx(

ze,[2

2 3

],wav

enet

('num

',8))

; �!

"%�

4 �-W

� $� �

����

� �!

�����

8 ���

m4

= nl

arx(

ze,[2

2 3

],wav

enet

('num

',8),'

nlr',

[1 2

]);

����

�!

�����

pem

&�

�>��

;A

��o �

-W�

4 �!

14 ��� .

m5

= id

nlar

x([2

2 3

],sig

moi

dnet

('num

',14)

,'nlr'

,[1 2

])

m5

= pe

m(z

e,m

5);

t��1

���F

com

pare

(zv,

m1,

m2,

m3,

m4,

m5)

Page 94: Ljung, System Identification: Second Edition, 1999

W?8

�-W�

J&�

4 ;

A ��o

��

���

11-8

!�<

�1� ���

��� #

��! ���

m=

nlar

x(z1

,[2 2

3],'

wav

e’, '

Cus

tom

Reg

’,{'y1

(t-1)

^2, 'y

1(t-2

)*u1

(t-3)

’}

12-1

12Network:�Multilayer�perceptron:MLP�

�-W�

$

� #�

��Wc

#��1

4�1 )

^��4

� �p�

(/�

BQ ��

4&I

� 0.

1 se

c

&,:

,�

l�<

�+ .

��,�

�,

1��+ �

,� �

�� ���

� � ��

���

��� B

_��� B

I #�

�! �+ �

�)�� �

��� ��

�+ .

��W

c W

?8 �-

W� #

��� E

��j�! �

(1

010)

E

4�,1

���

"8��

�!<

10-3

secs

"

�� .

� �-

W� ��

�)� "

�� � �

� E4

�1 (

+ ���)

� �-�

%�I�

��

� �&

�9�O

����!

. -

���� �

��� �

��� ��

�� �

��� ���

���

-

���� �

� ���

� ���!

� ��

�� "

�#$%

��&

. -

��� �

� ���

� '���

� (���

�).

- D

ie o

ff fr

eque

ntly

(nev

er re

plac

ed)

�N

'�G� �

4"�4 I

� +D�

�:

B-�

14,1

&:

� V

��1 ��

E4�1

(+

�-j�8

.

Fi

gure

14.

1 A

n A

rtific

ial N

euro

n �*

�� �+

2(

�� �!

x=

(x1,

x2,.

. .

, xI )

"

�� #

4�4 .

3( #

4�4 �

���+

net

:&�

�! ��

4�4 �

�/ �

���

5��*

�! "

�� �-

�� (

�D+ �

!�+ #

4�4.

"

��

��

l i

w il i

ii

ix

net

wx

net

11

4(

&j��

+� :

7�1 �

! �� &

��!

� &j�

�+ ~;

� #�

�� E

4�1 �:

Uj�

# 4�4

�! �4

K8bi

as, �

,

��

� �&

1��A 0�

1.

5( $

�� J

��) �

!�+f :

�!�+

#��!

(�D

+ac

tivat

ion

func

tion

�,

�12 �,

j�� $�

�,� �

,�

� ��)�

� �G1

� �!�

+ # �&

�+Li

near

USi

gmoi

d 4

Hyp

erbo

lic

��

�.

#

x 1 x 2 x n. . .

w1

w2

wn

��

#w

ix i

1 if

net-�

>0

o(x i

)=-1

oth

erw

ise

o

{

n i=1

=N

et

F(ne

t���

Page 95: Ljung, System Identification: Second Edition, 1999

W?8

�-W�

J&�

4 ;

A ��o

��

���

12-2

d�1 $�

����

+ ��

Rid

ge

"��

. �

!�+ �! &

1��+

� 14�

1 (+ �

-W�

sign

5

��?! �

� ��

4�4

linea

rly se

para

ble

&�

� #&�

! ���

A &�

��:

. B

-�14

,4

�!�+

>1�>

zO

R

&:

� E��

1 �� .

Fi

gure

14.

4 Li

near

Sep

arab

le B

oole

an P

erce

ptro

ns

���� �

�� �

��

: �,

/0 ��

1�� '

���2

����

� 3 ��

�� � ��

� �� '

��� '�

��.

456�

'���

78�

14-2-8 �

1�� �

�� ����

����

. ��

= ��

>#?

'��� �

�7+ �

��� 3

� @A 1

$� �

x ���

� ���

� .

'���

�* B

�C6&

'�6�

� ��7

+ ��3

1�� �

�� �E �

����

Fi

gure

14.

2.8

Feed

forw

ard

Neu

ral N

etw

ork

Cla

ssifi

catio

n Bo

unda

ry Il

lust

ratio

n.

��� k

��,� +

5l��

�! �!�

+ \�F

+ �jr�

� �

4 7�

�����

– B

��&I

�! '�

0���

4+1 E

4�1$��

%��) �

!�+ �!

1��� �

e

",�

� $�,�1

&��

>��

. �

�����

;A

$��%

��) �

!�+ $� �

���!

E&��

� #��!

E4�1

#���

�! �&�

+ �!

��

"��

$��1 B

W� ��!

"�

E��:

.

W?8

�-W�

J&�

4 ;

A ��o

��

���

12-3

Fi

gure

14.

2.9

Hid

den

Uni

t Fun

ctio

ning

for F

unct

ion

��GN

+D��

�B��5

��;�

�N'�G

�#$

��� p

$� �O

Rob

ust a

nd fa

ult t

oler

ant

:

,%4 �

� ,

O � �

� �,-

j�8

,0�

",)�

�-W�

$� �

<! E&

� ��

�A UB

�8 �

#$�,

� $�,

! �� �

,-j�8

'%��

#���

��� �

! U�<

! !��A

'o��

j8 &1�

�+ �

�-��

��/

�&�1

B���

!��A

�! �6

�� &��

F)4

: t

��1 $�

#���

�1��+

Task

��

jW�

. �

"��

1 3��

I 0�

1 �! "

W�1

�j�8 &

1��+

�&�

� J&�

�� �&

�9�O

5�.

� ��

�� &

j�) E

2 � l

?<��

( V

F1 �&

p

$��2

W?8 �

-W�

(

.

12-1-1The�Multilayer�Perceptron�

MLP

�M

LP

"��

� �� �

&�O #

�$

j�8

: �!�

�� �&

�9�O

�!��+

E ��

J&�

�1�

�+ B�

% �!

. �,1

��1 (

B-�

4 U#

4�4

1���

�e

2 4

#� ��

�2

&:

� E��

1 ��

�4�A

.

�� ����

�J�

NNToolBox

�#�

&� 2.

'���

� ��

[-2;

-2]

�[2

;2]

���F

����

'��� �

+ G ���

0 �

���F

����

'���

�1

G ��� �

H� ��

��

p=[-

2 2;

-2 2

]; t=

[0 1

];

Page 96: Ljung, System Identification: Second Edition, 1999

W?8

�-W�

J&�

4 ;

A ��o

��

���

12-4

����

����

: ���

�� �

�F�

�* I

��� �

���J�

�) �5

/� . )

����

�ne

wp

��

�$ �

L ��� �

�� �

� ����

( ne

t = n

ewp(

p,t);

���

�:

(���

* ���N

O1

��� �

� ��P�

= �H�

�� ��

� .

��A

2 �

�� ��

G ��� '

���� �

��$�

2 4

�6� �

� (��6

�* ��

���= �

�.

net.t

rain

Para

m.e

poch

s = 1

; ne

t = tr

ain(

net,p

,t);

���

� ���

��:

�� ��O�

/% ��

��* 1

��� (

���* �

���� �

� �+ Q

� �

R��� �

����

ne

t.iw

{:,:}

,net

.b

2

2

[-1]

��

�� �

��:

G��+

�� S

$%� �5

/� ��

�� '�

��� ��

5#$% 1

TO � '

�� ��

/� '

��� 3U

a =

sim

(net

,p)

�6 �

(��6

�* V�

6F �5

/6� ��

� �� �

W� �

+ 1��

�#/L

�� X

�NO �

���F

�$�

� * �

� 1��

� �+ '

� ���

��1�

� .

a =

0

1

����

� ��

GUI

� �

�� �+

Y � �

���� Y

���� '

� ��

nnto

ol

���+ ��

�� ���

T���O

�� ��

� �5�P

��= "

��Z�

. #�

&� 3.

[�O G

����F

�� �

��+ \

�Px2

+x+1

G�

�+ S�

� �� .

G ��

�� ��

����F

� '�

��� ��

H�� Y

� '���

p=

[-1:

0.1:

1];t=

poly

val([

1 1

1],p

); ���

L ����

� ��

���$

� �����

�� ]'

���� ^

�O�

4�5W

O �����

=.

6( #

�: �1�

�1 p

$��2

4up

date

�:

������O

5��?

!B

atch

���

�$�

��P�=

�H� ��

"%7

0� ���

�O (

�� Y

� �� .

� 16

TO '��

6� '���

6NO �

(���

* '���

'���N

O '���

� ����

� �����

� �� �

�P�= �

H� ��

����

�/�%

� '���

'���N

O .

����

�tra

in

�6 �

6����

�� �6N

� �� 6�

�����)

�6 ��

Oep

och

��

���

� �� �

. �

ep

och

16

�� �6

� ��6H

�� (

��6�*

'��� �

+ 1��

'����

"%7

0� ��

� �� �

�����

. ) ��

�6��

new

ff

��� �

� ����

��� �

� �$ �

L(

net =

new

ff(p

,t,10

,{},

'trai

nbfg

');ne

t=in

it(ne

t);

'4����

�'�J

��B<

���'0

!� A

_����

���

��* '

R$� �

�E��

� ���O

�� ��

� �E �

��+

����

����

: C

onju

gate

gra

dien

t (tra

incg

f, tra

incg

p, tr

ainc

gb, t

rain

scg)

,% Q

uasi

-New

ton

(trai

nbfg

, tra

inos

s), L

even

berg

-Mar

quar

dt (t

rain

lm)

net.t

rain

Para

m.e

poch

s = 3

0;

net.t

rain

Para

m.g

oal =

1e-

5;

[net

,tr,Y

,E] =

trai

n(ne

t,p,t)

;

W?8

�-W�

J&�

4 ;

A ��o

��

���

12-5

����

� ����

��tra

in

�$O �

+ ���

1L�

��

�* ��

�6Wb

� �65#

� �6�+

�6$�

���

�� (

���* '

��� �� '

���� "

%70�

��� �

$� ���

L ��

��� ��

�� (

���* �

� � ��

+ �� ��

� ���

� �/�

%� � 1

TO '��

� .

���6�

�� �E

� ��5

�tra

in

�65�

� �

�� �N

� ����

� Y �

epoc

h

��+ �

� � ��

O �� �

�����)

. y

= si

m(n

et,p

);plo

t([y'

,t'])

��N

O �=�

�= �

� ��

�� 10

��3 �

�P� Y

�� '��R

� d/e

�� ��� �

�� �

� ��W

�� (���

* ���

�+ ��

��� ��

����

f�+

� * �

� � �)

'���

� "%7

0� � �

5/� .

����

[�O �

1,�,

U �� �

����O �

� �� f

��* Y

�2

�� f

�� ��

2 �

6�� �=

�����

. �

5�P��=

���

) �� ��

�+ Y

� ���

�nf

tool

=�� �

�1�

� ����

4�L

. 7(

#�:

�1��1

p$��

2 4

%���

� 5��?

!up

date

�1�

�1 �!

�1��1

��+

4$%

���O �

� � � (

�� ��

���$�

�� ���

$� (

���* '

���

p=-1

:0.1

:1;t=

poly

val([

1 1

1],p

); "

��Z� '

���� �

+ ���+

1L�

sequ

ence

��

� ����

)���

+ 1L�

�3�+*

��(

p1={

p};t1

={t}

; ne

t = n

ewff

(p1,

t1,3

,{},

'trai

nbfg

');

net.a

dapt

Para

m.p

asse

s = 1

0;

[net

,y,e

] =ad

apt(n

et,p

1,t1

); ce

ll2m

at([

y';e

'])

ys =

sim

(net

,p);

subp

lot(2

11);p

lot([

ys',t

'])

���NO

�� �

���$�

�����

Y � ��

net.a

dapt

Para

m.p

asse

s=10

�6�

��= �

� ���L

����

� ����

(���

* �� �

� .

'��6

���+

���

�� ���

O �� �

� ����

� �� ��

�$� �

� ���$

� (���

*.

p=-1

:0.1

:1;t=

poly

val([

1 1

1],p

);ee

=0;

for i

=1:1

for j

=1:2

1

[net

,y,e

,pf]

= a

dapt

(net

,p(j)

,t(j))

;

ee(j+

(i-1)

*21)

=e;

en

d en

d y

= si

m(n

et,p

);

su

bplo

t(211

);plo

t([y'

,t'])

,

subp

lot(2

12);p

lot(e

e)

8( #

�: �1�

�1 p

$��2

4 %

���� 5

��?!

upda

te

5��?

!ba

tch

p=

-1:0

.1:1

;t=po

lyva

l([1

1 1]

,p);

p1={

p};t1

={t}

; ne

t = n

ewff

(p1,

t1,3

,{},

'trai

nbfg

');

net.t

rain

Para

m.e

poch

s = 3

0;[n

et,y

,e] =

train

(net

,p1,

t1);

cell2

mat

([y'

;e'])

ys

= si

m(n

et,p

);

Page 97: Ljung, System Identification: Second Edition, 1999

W?8

�-W�

J&�

4 ;

A ��o

��

���

12-6

subp

lot(2

11);p

lot([

ys',t

'])

�(nf

tool

curv

e fit

ting

) d

�P '

RW ��

*(

�5�P

��= >

�C� �

� ���O

�� �

=�� �

� ��nf

tool

��+

��)

12-1-2

���

���

�>���

<+ J

&�

��

��� �

!�+ 4

pem

���

�� " �

B!��

� J&

�N

NA

RX

: ��

�!�

# 4�4

�4

�A ��

�H� B

���

J&

�N

NO

E :

�� �!

�4�A

���

<+ 4

# 4�4

���H

� B���

J&

�N

NA

RM

AX

1 :

�� �!

� �

��<+

#�;

A 4

�4�A

U# 4�

4 ���

H� B

���J&

�)

0�1

J&� �

C 7�

j��(

J&�

NN

AR

MA

X2

: ��

�!�

���

<+ #

�;A

4 �4

�A U#

4�4 �

��H�

B���

05

1015

2025

0.51

1.52

2.53

3.5

W?8

�-W�

J&�

4 ;

A ��o

��

���

12-7

J&�

NN

SSIF

: ��

�!�

���

<+ #

�;A

4 "

%�I #

�:��^�

� ���

<+ U#

4�4 �

��H�

B���

�'

��

MATLAB

��NN�ToolBox

#

����

na

rxne

t

B���

"�j!�

� �!

�����

E�-�

�N

N

�42

� ':�

) �� .

"��

�&�2

�$�

E2 �

��1�! �

1��1

lo

ad tw

otan

kdat

a B�

�! ��

��

�! B

&W+

X

=num

2cel

l(u');

T=nu

m2c

ell(y

');

���

�+ # 4�

4 �! �

-W�

���

+5

���

�+ �4

�A 4

2 �!6 1

��� �

e � �

��

net =

nar

xnet

(1:5

,1:2

,6)

�����

� #��

&�%�

+

[Xs,X

i,Ai,T

s] =

pre

pare

ts(n

et,X

,{},

T)

�-W�

p$��

2:

net

= tr

ain(

net,X

s,Ts,X

i,Ai);

vi

ew(n

et)

�&

p$��

2 '��

�� 3

��� �

! �4

�A #

$�� ��

W�

Y =

net

(Xs,X

i,Ai);

Y1=

cell2

mat

(Y);

perf

= p

erfo

rm(n

et,T

s,Y)

�D�*

���1�

!

&:

� E��

1 �� #

$�� ��

W� �!

��

��� J

��>��

S�W;

+ 4 �;

A >

��W�

: �A

U�4

�A 4

# 4�4

��!

>��W

�: ��

&��

� $�! �

� #�

����'

0!� �

�.����

���

Non

linea

r fu

nctio

n:

net

.laye

rs {1

}.tra

nsfe

rfcn

='ha

rdlim

'co

mpe

t (C

ompe

titiv

e),

ellio

tsig

(El

liot

sigm

oid)

, ha

rdlim

(Po

sitiv

e ha

rd l

imit)

, ha

rdlim

s (

Sym

met

ric h

ard

limit)

, lo

gsig

(Lo

garit

hmic

sig

moi

d),

netin

v (I

nver

se),

posl

in (

Posi

tive

linea

r),

pure

lin (

Line

ar),

radb

as (

Rad

ial

basi

s),

radb

asn

(Rad

ial

basi

s no

rmal

ized

), sa

tlin

(Pos

itive

sat

urat

ing

linea

r), s

atlin

s (S

ymm

etric

sat

urat

ing

linea

r), s

oftm

ax (

Soft

max

), ta

nsig

(S

ymm

etric

sigm

oid)

, trib

as (T

riang

ular

bas

is) t

rans

fer f

unct

ions

. T

rain

ing

Alg

orith

ms:

net

. tra

inFc

n= 't

rain

scg'

: |

trai

ncgb

| tra

incg

f | t

rain

cgp

| tra

ingd

a | t

rain

gdm

| tra

ingd

x | t

rain

lm |

train

oss

| tra

inrp

| tra

insc

g

#�&�

4.���

+ � �

�� ��

� � G�

T�� S

��

load

twot

ankd

ata

id=i

ddat

a(u,

y); p

lot(i

d)

Page 98: Ljung, System Identification: Second Edition, 1999

W?8

�-W�

J&�

4 ;

A ��o

��

���

12-8

X

=num

2cel

l(u');

T=nu

m2c

ell(y

');

� ��

� �+ #

4�4 �

! �-W

� �

��+

5 ��

� �+

�4�A

42 �!6

� ��

�1

��� �

e

net =

nar

xnet

(1:5

,1:2

,6)

view

(net

);

�����

� #��

&�%�

+

[Xs,X

i,Ai,T

s] =

pre

pare

ts(n

et,X

,{},

T)

��-

W� p

$��2

: n

et =

trai

n(ne

t,Xs,T

s,Xi,A

i);

6��

��W�8�

�&

p$��

2 '��

�� 3

��� �

!

Y =

net

(Xs,X

i,Ai);

Y1=

cell2

mat

(Y);

perf

= p

erfo

rm(n

et,T

s,Y)

��-

W� #

��1$4

>

cell2

mat

(net

.iw)

7*6

Mat

rix

-0

.846

6

0.53

95

0.6

794

-0.

7825

-0

.509

5 -

0.73

22

-0.6

098

-0

.265

2

0.97

94

0.1

625

0.

8786

-0

.217

5

0.47

85

0.5

622

0

.142

5 -

0.15

23

0.0

977

-0.

0989

0

.032

1 -

0.08

36

-0.3

764

-0

.375

5

0.50

98

-0.3

858

0.

3274

-0

.160

0 -

0.69

06

0.0

365

-0

.905

4 -

0.82

37

0.6

716

0.

6178

-0

.412

9 -

0.63

67

0.9

286

-0

.934

9

0.26

08

0.6

315

-0.

3021

-0

.402

2

1.38

09

0.6

589

>> c

ell2

mat

(net

.lw)

6*

1 ve

ctor

-0.1

032

0.

0053

-1

.424

9 -

0.47

56

-0.0

522

0.

1536

>>

cel

l2m

at(n

et.b

)'

6*

1 ve

ctor

1.9

008

1.

4373

-0

.216

6 -

0.11

72

-0.4

638

-1.

8671

-0

.158

1

050

010

0015

0020

0025

0030

000

0.2

0.4

0.6

0.8

Tim

e (s

econ

ds)

y1

050

010

0015

0020

0025

0030

000510

u1

Tim

e (s

econ

ds)

W?8

�-W�

J&�

4 ;

A ��o

��

���

12-9

���!

�FjI

5��?

! #$��

��W�

ne

tc =

clo

selo

op(n

et);

view

(net

c)

[Xs,X

i,Ai,T

s] =

pre

pare

ts(n

etc,

X,{

},T)

; y

= ne

tc(X

s,Xi,A

i)

+D�

� ���

b

.�7

�In

ord

er to

rem

ove

the

supe

rflu

ous

wei

ghts

from

the

netw

ork,

the

func

tion

nnpr

une

is c

alle

d.

Do

a m

axim

um o

f 50

itera

tions

whe

n re

train

ing

the

netw

ork.

>>

prp

arm

s = [5

0 0]

; >>

[thd,

trv,fp

ev,te

v,de

ff,p

v]=n

npru

ne(‘

nnoe

’,Net

Def

,W1,

W2,

u1s,y

1s,

NN

,trpa

rms,p

rpar

ms,u

2s,y

2s,1

0);

>> fi

gure

(1),

set(g

ca,’Y

lim’,[

0 0.

25])

;

Page 99: Ljung, System Identification: Second Edition, 1999

W?8

�-W�

J&�

4 ;

A ��o

��

���

12-10

Th

is p

lot c

lear

ly r

evea

ls th

at th

e m

inim

um o

f th

e te

st e

rror

occ

urs

whe

n th

ere

are

only

25

wei

ghts

left

in th

e ne

twor

k. T

his c

ould

als

o ha

ve d

eter

min

ed b

y us

ing

the

omm

ands

: >>

[min

tev,

inde

x] =

min

(tev(

pv))

; >>

inde

x=pv

(inde

x)

Exam

ple

>> [W

1,W

2] =

net

stru

c(N

etD

ef,th

d,in

dex)

; >>

trpa

rms =

[50

0 1

0];

>> [W

1,W

2,N

SSEv

ec]=

nnoe

(Net

Def

,NN

,W1,

W2,

trpar

ms,1

0,y1

s,u1s

); St

art b

y re

scal

ing

the

wei

ghts

so th

at th

e va

lidat

ion

can

be p

erfo

rmed

on

unsc

aled

dat

a

>> [w

1,w

2] =

wre

scal

e(W

1,W

2,us

cale

s,ysc

ales

,NN

); N

otic

e (f

or e

xam

ple

by c

allin

g dr

awne

t) th

at th

e bi

ases

elim

inat

ed d

urin

g pr

unin

g ha

ve b

een

rein

trodu

ced

by th

e re

scal

ing

func

tion.

V

alid

ate

the

final

mod

el:

>> [y

hat,N

SSE]

= n

nval

id(‘

nnoe

’,Net

Def

,NN

,w1,

w2,

y2,u

2);

Th

e co

rrel

atio

n fu

nctio

ns a

lmos

t sta

y w

ithin

thie

r sta

ndar

d de

viat

ions

now

and

thus

look

far

be

tter t

han

thos

e sh

own

prev

ious

ly:

W?8

�-W�

J&�

4 ;

A ��o

��

���

12-11

12-1-3Radial�Basis�Function�Networks

��

�gN�

�5/�

� "

��Z� G

supe

rvis

ed

"��Z

� G� �

unsu

perv

ised

���

�= ��

���L

����

� ����

.R

BF

65 1�

R�* ��

. I

�+�O ��

���

$� �

����

supe

rvis

ed �

unsu

perv

ised

��

��� �

� � �

5/� ��

5#$% �

�/R� �

� .

456�

14.3

.1

�5/�

RB

F

��/�

��T�

�+ ��

� �� �

W� ��

FFN

N

1��

.�� �

�O�/%

�� Y

� "��

O:

Figu

re 1

4.3.

1 R

adia

l Bas

is F

unct

ion

Neu

ral N

etw

ork

���

"�%

�4

��� +�

d j

�j*�

) $�

�!�+

�&

�j��

�!�+

0���

��!

� j 4!��

# 4�

4z p

"��

.

(14.

3.2)

radi

al b

asis

func

tion

B

1�� 7�

1 �! �

� �!�+

��

kern

el

4 E�

�F��

�!�+

��

� �&1�

�A 0�

1st

rictly

pos

itive

"

�� .

�j� (

+ ( �

!�+ �

� �

�j E

2 @��c

� � ��

�� 4

�� &

�� �

")� �

�* "

�� �!

"8��

�!)

���

�!�+

BX�

.( ��

����,O

��,�

9�: �

!�+�j

&��

� l<�

� ��12 y

�8 ��

��

': .

&1����

�� $

� �!��+

�� $

� # �&

�+

:•L

inea

r fu

nctio

n

Gau

ssia

n fu

nctio

n

�5

/� �

���F

Th

e ou

tput

of a

n R

BFN

N is

cal

cula

ted

as

Page 100: Ljung, System Identification: Second Edition, 1999

W?8

�-W�

J&�

4 ;

A ��o

��

���

12-12

�'�

�MATALAB

�P

= [1

2 3

]; T

= [2

.0 4

.1 5

.9];

net =

new

rb(P

,T);

The

netw

ork

is si

mul

ated

for a

new

inpu

t. P

= 1.

5;

Y =

sim

(net

,P)

12�1�4Assignments�

10( ��

�A��

RB

F

&�:

~�/

�+ ��12

p$��

2 >1�

>z 4

� � ~

�/�+

B-�

'�� �

! ��.

11)I

nves

tigat

e al

tern

ativ

e m

etho

ds to

initi

aliz

e an

RB

F N

N.

12)D

evel

op a

PSO

, DE,

and

EP

algo

rithm

to tr

ain

an R

BFN

N.

13)

(c) �

is v

ery

smal

l?

13-1

��NONLINEAR�BLACK�BOX�MODELS

Fuzz

y

Neu

ro F

uzzy

W

Ave

let

13-1N

etw

ork:

Waw

lets

non

linea

rity

:

Wav

elet

s "��

: ��%�

� $� #

� �8��

6� �!

J��>

�� �

06+ $

� �:

�1��

1 ���

) #��

U��j�

+ M�!

. (

W,� "

,%�4

��,���

�,�

� 5

��?! ��

J��>

�� ��

"��

#�>

+ �

!�+ ;

A \

����

&:

� M�!

.

�k

kk

ta

tf

)(

)(

�e���

Y � �=

�un

ique

) ��

�� ��

N f

'��

� �

�a k

���� ^

5% �� �

(��

���(

t)

� ) [

�OB

asis

��

�= ��

. ��

�=� �

e��� Y

$%&

'��

(�)

lk

lk

adt l

kl

k0

,�

��

��� �

��L��

dtt

fa

kk

�)(

� * �

� 1��

� .

�e���

��f

�e���

�� � �

���a k

�� �=

�� 4

�#CO

. �

��) #

�� �

tjk

0e

��j�+

M�!

%4 "

�� J�

��1 &�

����

k t "

��1 &

�����

. �

!�+ M�

! �>

5��W

8 �! U

��

� �06

+ E2 #

��-�1�

���: 4

j*

� q1��

�) $� #

� �8��

6� �!

J��>

�� �

��) #

��� ��O

,�:

��O �

!�+ #�

�-�1�

���:

&���

: E2 #

��%��>

�1� U�

�O �!�+

M�! �

�jW+ M

�! �

4 &�

�.

$�

4��� $

� "��

1 \��

�� ��

�) 5�

8Kc�

���� �

�o #�

�%��>

�� #

��!Sh

ort T

ime

Four

ier T

rans

form

(STF

T)

��

� �

�����

. B

-��

STFT

&,

��! (

,z��

�,��

4 1��$

5�8K

c� &�

�! ��0!

J��>

�� J

�c ��

� �� "

�� E2

� 5�

8Kc�

&1

��

� p4&

<� �

��%4$

� �W�

� B�%&

! �1

���)

. $�

���%�

4m

othe

r wav

elet

&1

��

� ��A

��

Page 101: Ljung, System Identification: Second Edition, 1999

�%�

4 J&�

13-2

)(

1)

(,

abt

at

ba

��

��

��b

4 "

��� ��&

F�a

"��

y�8

���

. .&1�

� ��*

E��+

4 4&

D� #

Q�1� �

� &���

: jD

� �!��+

���%�

4.

� ��

(��

�"

�� 0�

����

1��$

(z�

� � 4&

D� �

E2 #

Q�1� '

�� V

<! ��

"��

#Q�1�

J��>

�� (

. $�

v�,�

��

&�� �

_��� ��

J��>

��

�1���

) 4

1��$ 5

�?<�

� E��0

�: �_

��� "

�j!�� �

� "�4

�12 .

�,�o

#��%�

�>�,�

#��,

! ���

!�,�!

4 ���

� #��%

��>��

#��!

���)

#��

�-�%�I

� "

�� \

����

����!

��H� 4

���

"��

&���

����!

"!�C

5�?<

�� �!

. B

-�� "

%�4 �

G1 �

� $�ST

FT

��

�%4$�

&�z

�$ &�

� � B

I ��

Mul

ti re

solu

tion

"��

. ��

1��$

5�?

<��

f(t)

��

�1

���) 5

�?<�

� 4F(�

)

&1��

� �/

�8 .

B-�

� �� "

%�4

#

�$� �!

�&�

��A��

(��

� 4b=

5 4

a=2

&:

� E

��1 ��

.

� 1

4� ��

(��

� ��c

� 2 "

�� �&

� ��A

�� (

��� �

�c

�-

�� �6

��1 (

��� �

:"

�� �H

>1���

��j�)

(

"

%�4 B

&W+

, E

�,�$ E

2 &�!

( �

� "��

#&�!

4 B

&W+

)

1�,�$ #

�$�,!

� J�

�>�,�

#��,

! (

E2 �

,>

#&,�!

4 �

�1��

�) ��

�%4$�

E&�

��8

���

"��

4

�� �

�4 E

2 #��!

���

+�W

��D�

p4�

#

��!D

WT

��&

F�O

(N)

"

��

+���

F 6!'�

" j��

��

� I�'

� (���

N +�

1�

� �h= Y

� ) ��

) ���

� 1��

�hE���

���

���

� �5��

U ��

.1�

� ���E

� � ��)

���

� "�/

% �� >

T�

,,

()

()

jkjk

kj

ft

ct

*�

�+�

���

����

�!"�

# �$�!

%

1��

. [�

O i���

� 1�

� ���L

Y � ��

��

nn

tn

ht

)2(

2)

()

(�

�%�

4 J&�

13-3

)]2

(2[

2)

2(2

)(

2/2/

,j

jj

jj

kj

kt

kt

t�

��

��

��

�e

��� Y

� ��k

� ��

�� 1�

��j

1�� �

5 �� �

���

.h �

E�T/$�

[�O

� �� 1

,k

1��

. �6

A��

j ��

6 �) �

�6� �6

�=���

���= �

� ��R�

Y��

���� �

��� �

� ��5A

�+ j�

� .

#�&�

1.

> ���

� ��

) ���

� ��

H

AA

R

[�O �

� i���

� 4��

[�O 4

5�H

aar

��

� �� �

W� ��

.

I �2

� 2

j/2

��� �

� ���

�� �E�

1�! >

T� X#

�b� [

���O '

k���

.

V

�0)� �

!j

�!�+

� H

aar

� �

( 0

1 �!�/

�! �

!�+ M�

! U�>

B��

�!��+

�X�� 4

.�!

�6��

4

,,

()

()

()

()

jkj

kj

cf

tt

dtf

tt

k�

���

��

[�

O �� �

]���

��

� ���

+ �� 4

�� ���

2 ��

. S

�E�6�

'6�

�6��$

� �6$

� 16��

� I

��2 �+

1��

��N�

���� Y

����

�.

����

I�'

wavelet�function

� 5

K��

�! J��>

�� E

� M

�! #

�� �!

� U �!

"��

���!

� ��

(��

��

�,�

� �

M�!

�&

,O (

,���

$� �,1�

>�� �

,� �

� �

��A�

� .

1/2

1,

()

(1)

(1

)(

)(

)2

(2),

2(2

)

n

jj

jk

n

hn

hN

nt

hn

tn

tk

�*

��

��

��

��

��

Y�� i

/O��

� ��

�+ 1

�� ���

E� �

� �h

= Y� )

��#�P

��

4$5

� ��#�

P ��

�O1�

� �* �

h= 3

� .

I

TU ��

1�� �

Y��

���

����=

�� \

$?� 4

�L �

�� �

A�+ >

T� I

��2 ��

'� �

���NO

�+ ���

� �� 1

�� Y

� .

����

F ITU

�� �$

O �5�*

'�

�� >T

� I�O�

O Y � �

��

�� ���

����

ITU

� �

���F �

� ���

�� �

����

. Y

6 � [�

O '���

45� �

� �%�$

��H

aar

���

�� �

�� �W

Spec

trum

of �

Spec

trum

of

Page 102: Ljung, System Identification: Second Edition, 1999

�%�

4 J&�

13-4

��1�A

��! v

�W+��

� "

�� ���

� �� $

�W

��D�

#��!

DW

T

�!�+

�-j! "

��1 "

%�4 �

B��

�!�+ 5

�8Kc�

B*� �

! $��1

h(n)

&�

� � "

���

.

mj

mj

jm

kh

md

mk

hm

ck

c)

2(

)(

)2

()

()

(1

1

][

�O I

��2 ��

�+ 1�

�c jm )

�� '

����� �

��$� S

�E��

(� *

�� 1

���

. �e

��� �� 4

�#CO '

���

��

��

mj

jm

jj

mc

km

hk

dm

ck

mh

kc

)(

)2

()

()

()

2(

)(

11

1

�+

��� �

� ��

���

c jm 1�

� S�E

�� '

� ���

$�.

1.

"

/�C�

DW

T

���C

� ��

O(N

)

1��

. 2.

��

N�� 4

$5�

v j ��

v j+1

� ��

wj

���

��

����F

. g

%� �$O

�����

��v j

g%� �

� 1/T

�w

j

���T�

��N�

�.

�%�

4 J&�

13-5

d 0(k

)2 2

22h 1 h 0

c 0(k

)

h 1 h 0

6!'�

" +� `

'��� �

0�� (

�N'H'

��

1�U

M '�

�� :

1�U

�� �#

/L '

R8C� ��

2 ��

���

�� '�

�� .

1�U

��M

-ban

d

��+ �

� ���m

O ���E

� � >�

���.

��

�n

nn

nh

Mn

hn

Mt

Mn

ht

1|)

(|

)(

)(

)(

)(

2�

1�U

��2

O ��&

�� S�

E�� X

�0 '

���

� ��

45�

n�e

�2

���= �

� G�T

,O '�T

� ���

. 6�

'�6�

� G�T

,O Y �

���

XZ�

v1 ��

�� �

���� �

����� �

�e��$

� � .

�� �

G6+ 3

6� '

R6T�+�

P �� Y

6����

�� �6+

16�

� I6�O

�O Y

� ��

���= �

� � �

Y� )

'RT

�+�P

.

M=2

v 2

v 1w

1

1

�U ��

���

4 ��

'��

�4

��� �

� G�T

,O ���

. � *

�� 1

��� �

��E� �

��� ��

I ��2

�+

M=4

v 2v 1

w11

w12

w13

����

"�Biorthogonality

S�

0 ��N

�� 1�

U ��

� , +

��

� j��

� �����

� �

. �bi

orth

ogon

al

Y��

�� �5�

�� �

+ ���

� ��6�

� ��6

,�� .

��1T

�� ���,

� �E �

S����

) �e��

� 1�U

Y �

"%�

4 $�

%�X�ha

ar :

�%�W1

{3,5

,2,4

}

�%�

W1 �!

3.5�

+0.5�

0+1�

1

��

� �

� M�

!

Page 103: Ljung, System Identification: Second Edition, 1999

�%�

4 J&�

13-6

3

4

42

5

LP(3

+5)/2

=4

3

HP

LP

LP

HP

(3-5

)/2=

-1

HP

-1-1

c2...

3 5

2 4

...

c1...

4 3

...

d1

c0...

3.5.

..

d0...

0.5.

..

c 0*

(t)

d 1*

(2t-k

)

d 0*

(t)1

0.5

3.5

42

53

"A�

� E��

+ � #

����+

��/

B ��

���^��

&�z

"%�

4 .

V�0

)� �! ��

�d

#��,

! ,j�

8 ��,;

! �H% &

!� �

V�0

)�d�

3

��

� �

�����

13-1-1Wavelet�Neural�Network

�&1�

� ���

� ��-

���

1��� �

e �

�� "

�� W

?8 �-

W� ��

W�

�%�4

�-W�

���A

�� .

�: ��

� �

� �!

wav

elon

s

&���

�� �

B-�

S�c

4 �!

"%�

4 �-W

�.

�!�

(wavenet

��

�4 J�

�>��

Uw�c

�� �

�� �

����

�06+

���

"�C

"%�

4 �!

1��� �

e �

�&�!� #

4 .

",%�

4 \

��/

qi�

&1��

� �W

��D�

#&�

! �e

� �

$��2 '

���>

%� ( M

��+

. J

&� �

� � �

� ���

�� �

!� 4t

�! &�

��: "

!�C ��

3��

� ��

f �

�<�1�

�! E��+

� ��

L �

� J&�

E��+

� �

�0!

)�� �$

�&1� �

! .

��

�6!��

�����

�Ok

-��

! ���

42L

��

.�! "

�� �!��

! "1�

4 �4

�A J

�I:

�%�

4 J&�

13-7 ��

M &:

V��

O �� ��

� #�]

) 7��+

�+ "

�� �

�0!

)�� �$

�&1� �

! .

,�

����

1 �$

5��?

! �!�+

#&�!

&�z

"%�I

� �

y "

�� ��

>1���

��&F�

.

c (Wavelet�neural�network�(W

NN)

��

w�c

�� �

&,

�!�

,� p

$�,�2

'���

,>%� M

,��+

&,�!

�e \

��/

����:

�!

1��� �

e "

%�4 #

�:����

��O.

(,

WN

N #

&�! (

"��

�&�

� � E

��1 B

-� �

���

���O 4

#���

�%�

4 �: �

��A��

�� �

4 y

�8t

&���

! "!�C

&�1��+

� �

� "��

�6

!��.

&��

� &�%�

+ ��*

��o

�4�A

�%�

4 ��

���� #

4�4 #

�]) $

� -z

�� �

4&D�

� #

4�4

��4 .

�,

�1 �

4�AW

NN

"

��: �

%�4

�4�A

1$4

���

d��6

"

%�4 �

!�+ �

4�A E

�z�

�"��

��*y

&��1 V

�O j

-�� �

�* ��

o ��>

1��� �!

�!��+�

�� �

�+ "��

�&�

|�D%

.

LEARNING�ALGO

RITH

M

�2 �

� �

� ���

�� ���

-+ $�!

#���

���>

%� $� �

� "��

;A

��o #

$�� ��

��! �j

r�� (

U �

%�4 �

-W�

( p

$�.

Page 104: Ljung, System Identification: Second Edition, 1999

14-1

��fuzzy�system

s

Fuzzy�Sets

� ��

��� ��

�� �5

>,P �

+ 1��

� �e

��� n

e�� �

$�

'�� �

ne�

� S���

�� ne

��fa

lse

tru

e

�� h6)

�6�

�� .

����

"��&

����

&'( )

�*

��+

����

� '��

� ne�

� �� �

� ���

EA 1

T�� �

�#N�

)'�

��-

'��� �

�?(

Mos

t re

al-w

orld

pro

blem

s ar

e in

com

plet

e, i

mpr

ecis

e, v

ague

or

unce

rtain

inf

orm

atio

n. F

or

exam

ple,

in th

e ph

rase

s ‘‘it

is p

artly

clo

udy’

’,

�� �

#+��

EW���

�� ���

��e

� �ET%

��TP

��) �+

�� ��

� '���

�� ���

3 '�P

� S

1965

1�

���E

����

���

��

#$�)

'��

�� �0

��$� &

�+��W8

:h6

�'eN

���

���

���E

U��

�E s�

����

4��

� �

��g��

14-1-1 6

�'eN

���Mem

bership�Functions

&:

� b

�?�A

� "�]

8 $� #

� ���

# 4�

4 �! �

� "��

�!�+

"�]

8 �!�+

"��

( 4

��*

��! "

�]8 �

!�+ ��&

F�

� �:

�!x�

X

��&F�

�A(x

)

&: "

W�1

��! �?

D��

.. �

"�]

8 �!��+

d��1�

$� &

�+��W8

7���

�:

•Tr

iang

ular

, Tra

pezo

idal

, Lo

gist

ic, E

xpon

entia

l-lik

e , G

auss

ian

&1� �&

� � �

E��

1 B-�

� #

� �F1$

4m U

XjX� "

�]8 �

!��+

Page 105: Ljung, System Identification: Second Edition, 1999

#$�)

J&�

14-2

#�

&� 2.

���

P� �L '

��� 1

�g% [

�O

'�� �

1 �g

% [�O

�� �O3

� ���P�

��L�

1,5 �

O�+ �

L ���* �

� ��$+

� ��#

��L ��

��� �6

H� ��

�� �6 �

'��

6� 1

�g% [

�O G�

��E��

�H� �

G ���

. '

��� �+

x� 1

.5

1 �g

% [�O

���,�

� tal

l(x)=

0

'����

x>1.

5

���,�

Y �

� tal

l(x)=

1

1��

. ��

P I�O�

O Y � �

�1.

49

� O�

+ �L '

���1.

51 1

�����

� �+ �

�� �

� �,#O

��#� �

L '���

+"�+ ,

%�-� �

.&��

.

'�

P 1 �g

% [�O

: '�

�#� �L

�� � �

�/NO

1

�g% [

�O �

��R� �

��W��

���

. ��

6P [�

6O Y � Q

�� ��

1,51

'

�6��

����

� >,P

1� 5

0� *

�� V

TU �

� ���#

� �L �

%�$��

��.

Fi

gure

20.

2 Ill

ustra

tion

of ta

ll M

embe

rshi

p Fu

nctio

n

1��� �

��O ��

���E

� � �� '

��� ��

�� _�

� Y �

μ T

all(1

.51)

=1/5

0

��L�

�A(

x)

>,P

�� ���

,� 0

1

��� �

� '��

� ne�

� �$�

���E�

��b�

��..

'�6�

� �6�

�� [�

6O 1 �6

g% [

O1�

� �%�$

�� ��

�g%

.

��.�

������

6�'e

N ���

1.

H

eigh

t :

G$ �+

�� A

(x)

1�

� .

Hei

ght(x

)

2.

Nor

mal

ity

�%�$

��A

�=� 1

�� S�

��he

ight

(x)=

1.

�.N

orm

aliz

atio

n :

�� 1

�g% [

�O G�

T,O �

���O

�� ��

'�P �

%�$��

heig

ht

��+ S

���.

(20.

21)

��

#$�)

J&�

14-3 �.

Supp

ort

���

� ��&

��? 1

�g% �

��� �

+ �%�$

�� ��

��$T

L

supp

ort(A

) =

x �

X� A

(x) >

0

�.C

ore

1�

� � �

* 1 �g

% ���

� �+ �

%�$��

�� �W

b�.

core

(A) =

x�

X� A

(x) =

1

6.

�-cu

t

�� �O3

� 1 �g

% ���

� � �

%�$��

�� �W

b��

�.

Uni

mod

ality

:� �

g% [�

O�+

G$ �+

� �

>,P

���

�.

8.

Car

dina

lity

: '

�P �%

�$��

'���

��� 1

�� �%�

$��

g%� ��

�NO '

�� � �

%�$��

'���

Y �

�� '

��� � �

>����

����

�) � ��

TT= 1

�U� *

�� 1

���

.)1

�g% [

�O � �

Be�

���,�

(

'

��� �

��TT=

1 �g

% [�O

4 �g

%X

= {

a, b

, c, d

}

1 �g

% [�O

���,�

A

= 0

.3/a

+ 0

.9/b

+ 0

.1/c

+ 0

.7/d

� �

�+ ���

,�1�

� � � �

��,� '

��� ��

��.

(0.3

/a m

eans

�x(

a)=0

.3)

ca

rd(A

) = 0

.3 +

0.9

+ 0

.1 +

0.7

= 2

.0.

s��6

F ��

'�� 6

� �6%�

$�� �

'�6

P �6%�

$��

com

mut

ativ

e ,

asso

ciat

ive

] d

istri

butiv

e ]

tran

sitiv

e �

idem

pote

ncy

��

��� �

��T� �

�W�

card

inal

ity

���

�� "��

O

•ca

rd(A

) + c

ard(

B) =

car

d(A

�B

) + c

ard(

A :

B)

•ca

rd(A

) + c

ard(

A) =

car

d(X

) w

here

Aan

d B

are

fuzz

y se

ts, a

nd X

is th

e un

iver

se o

f dis

cour

se.

14-1-2Fuzzification

�K�

��� #

�:��^�

� �! l

�?<+

$� #�

���

�! #

&8 "

��� B

&W+

��� �!

#$��

#$�)

)#$

�) (

"��

. �

,� �,!

# &

8 ��&F

� �! �

$ B-

� �

3��

�20

���

� o

ld=0

.4

�K

� ��^�

� #��!

old

� �

� �

.

A

�K�

#�:�

�^�� �

! ��

"��

�� ��

^�� J

�X� �

� �

�,�

,�

E�,�!

�,�O

4 J�,�

1��� UE

��,�

UE���

j�

. S

,Wc �)

R�)

#$�)

�8��

6�70

�%��

0,4 4

��O50

"��

J��1

��� �%

��

R���

�+ Y

� ��

hedg

e

�� �=

�� .

hedg

e

�� ��O�

/% ��

'R�

8� �+

��� �

� Y��N

O ��m�

� �� �

E�T� �

: �

��:

- '�-

M����

- �

$-

�$

j�A

Page 106: Ljung, System Identification: Second Edition, 1999

#$�)

J&�

14-4 �

5�&1

�!-

\jo�

- ��

��:

14-2 s

����

�M

amad

ani

��E:

Fuzz

y ru

les

� �

J��8

� #$�)

��1��

� �jI

�� �!

#$��

$�) �

6��1

. p

��,>1

U#$�,

) ��1��

,� p

��>1 $

� d�1

(

Mam

adan

i

�,!

�$ B

-�"

��

if A

is a

and

B is

b th

en C

is c

(2

1.6)

48

if Ag

e is

Old

the

Spee

d is

Slo

w (2

1.7)

O �%�$

�� 1

%�� G�

� Y�

G� �+

����� 1

�g% [

� .

�=� S

U� o

ld=0

.4

456�

n�e

� 1%��

1 �g

% [���O

� ��

�1�

� ���F

����

�,e�

� 3�

�%L �

���� �

��

F

igur

e 21

.2 In

terp

retin

g a

Fuzz

y Ru

le

���E

��.�

05<N

Operators

�Fuzzy

� #

$�) '

����

( �

�8

��6�

Rul

e B

ase

(RB

)

��

��4

. #

&8���

#4�I

�8��

6� �

� '

�,���

( �

�� "

�� �

� �

� ���

�� #$

�).

� #4

��+

#$

�)

Equa

lity

of fu

zzy

sets

: Tw

o fu

zzy

sets

Aan

d B

are

equa

l if a

nd o

nly

if th

e se

ts h

ave

the

sam

e do

mai

n, a

nd �

A(x)

= �

B(x)

for a

ll x�

X. T

hat i

s, A

= B

. �

�8��

6� �

$

#$�)

Con

tain

men

t of f

uzzy

set

s: F

uzzy

set A

is a

subs

et o

f fuz

zy se

t Bif

and

only

if �

A(x)

��B

(x)

for

all x�

X. T

hat i

s, A;

B. F

igur

e 20

.4 s

how

s tw

o m

embe

rshi

p fu

nctio

ns f

or

whi

ch A;

B.

Fi

gure

20.

4 Ill

ustr

atio

n of

Fuz

zy S

et C

onta

inm

ent

#$�)

J&�

14-5 �

B�-�

#$

�)

Com

plem

ent o

f a fu

zzy

set (

NO

T): L

et A

deno

te th

e co

mpl

emen

t of s

et A

. The

n, fo

r all

x �

X, �

A(x)

= 1

��A

(x).

#$�)

AN

D

Inte

rsec

tion

of fu

zzy

sets

#

��!A

ND

(t-

norm

)

��

� �

$ � ��

��� �

$ J�

��) 4

$� -

$� #

$�) �8

��6�

4

•M

in-o

pera

tor:

�A

B(x

) = m

in�A

(x),

�B(x

), <

x �

X •

Prod

uct o

pera

tor:

�A

B(x)

= �

A(x)

� B(x

),<

x�

X �E

#$% ��

�O � �

� V�2

�E#$%

min

��+

�� 4

$% .

'�

�E#$%

�� Y

� �� �

7%A

ND

�6�

� �6�

X6 �

NO ���

�E �

. ��

��� 45

�A

ND

( m

in o

pera

tor)

��

� �� �

W� ��

.

���

�O

R

Uni

on o

f fuz

zy se

ts (O

R):

'

���O

R

(s-n

orm

)

�� '�

P �%�$

�� ��

��+ �

����

���O �

� � � S

���P �

� �� �

5

•M

ax-o

pera

tor:

�A:

B(x)

= m

ax�A

(x),

�B(x

),<

x�

X, o

r •

Sum

mat

ion

oper

ator

: �A:

B(x)

= �

A(x)

+�B(

x)�

�A(x

)�B(

x),<

x�

Xs-

norm

���

��P�=

���L

����

� ����

� X �N

O ��� '

�E �

'�

. ��

5#$% 4

5�O

R

(max

ope

rato

r)

�6�

�W� ��

���

.

Page 107: Ljung, System Identification: Second Edition, 1999

#$�)

J&�

14-6

(��

�S�

"

�� �1�

>�� L

�����

� V<!

5�W�

�D� �

6��1 �

1��1

Ru

le 1

: if

Ais

aan

d B

is b

then

Cis

c�

� 1C(c

)=m

in�A

(a),

�B(b

) 0�

1 �>

&8���

$� �!�

�� ��

;!� ic

(c)

� �

�W��

D� .

�!�,+

� "

�]8 �

�&F� "

��1 �

C

�,$

5��,?

! ,�

4�A �

� �

����

+.

� c(c

)=m

ax{�

ic(c

) }

E2 �

1��1 �

� &2

� "�&

! #$�)

#�:

�4�A

$� #�

�8��

6� �6

��1 �

� c(c

)

"��

.

14-2-1Defuzzification

,� B

&,W+

# &,

8 ��

��^��

�! ��

12 "�]

8 ���

�! �

���: L

�����

� $�

��1

�K� #

�:��^�

� #$��

#$��

&1��

t��

1 4

�4�A

"�]

8 �!�+

&���

y�)

$�) L

�����

� #

� LI =

0.8

U �

SI =

0.6

4 �

NC =

0.3

&�

�!

#���

4� #

&���

"��

�&�

�_��� #

$�) ��

o �! #

$�) "

��� B

&W+ #

��!

$� &�+�

�W8 ��

12 $�

]�! �

�:

:m

in m

etho

d-

max

The�

���

��0! �

� �4

�A "

�]8 �

!�+μ

� �

W��D

� �4

�A E

����!

�W��D

� E2 B

FC 0�

�� 4

��

� \�<

�1� ��

�� �

� .

BW�

J�X�

� ��

� LI =

0.8

��

� ��<

�1� 4 "

��

#$�)

J&�

14-7 :

clip

ped

cent

er o

f gra

vity

met

hod

The�

��&

F� �! �

!�+ �:

p4��

� �

μ E

2 B,FC

0,��

� �,�

&,2

,� �

,��!

D;,

� ��1

2 �$

�6��1

� �

� �

�&�!

�A

"��

�4�A

6�'e

N ���

V,t �

7�� +

��S

��

�! "��

�!��! B

FC 0�

�� �W

��D�

S

8� '��

� "/�

C� Y

��O

ld(7

0)=

0.4

�N �

��F ��

�� B

e� ���

��3

��� �

� 1%��

'���

.

� E��

1 �� 5

�W��D

� �1��

1 ��j-�

&:

p

4� 4

�$ #

��j-�

Page 108: Ljung, System Identification: Second Edition, 1999

#$�)

J&�

14-8

14-2-2 �

��ETakagi�Sugeno�Kang�(TSK)

� ��

�� �

$ 7�

) L���

��� �

!�+ p

4� �

� �

If

x is

A

and

y is

B

then

z

= f(

x,y)

��

A 4B

4 #$

�) �8

��6�

Z =

f(x,

y)

!�+ (

cr

isp

"

�� #�

�j��

&�z

5��?

! e��

��f(

x,y)

=ax+

by+c

.

B

�8 ��

D1BX

� "��

BW� "

%�I &�

1�� #$

�) #�

:�>j�

8

IF x

is A

j and

y is

Bk th

en z i

= p

x+qy

+r

wi =

min

(μAj

(x),

μ Bk(y

))

or

wi =

μAj

(x)*

μBk

(y))

� �

�W��

D� �1

�>��

#$��

$��

"��

1 � 4

. i

i i

wz

zw

#�

&� 3.

If

X is

smal

l a

nd

Y is

smal

l th

en

Z =

-X

+Y

+1.

If

X is

smal

l a

nd

Y is

larg

e

then

Z

= -

Y +

3.

– If

X

is la

rge

a

nd

Y is

smal

l th

en

Z =

-X+

3.

– If

X

is la

rge

a

nd

Y is

larg

e th

en

Z

= X

+Y+

2.

and�Probability

�Fuzziness

����

� ���

� ��W

O � "�

�O '�

P � S

$�U� Y

�� .

�� '�

����

�� ��

unce

rtain

ity

���� �

� �W

� ��.

#$�)

J&�

14-9

�����

��R��

���

�F _�

L� �� �

N� �� �

1��

_�L�

�� 4/L

'��� �

��� Y

� S$�

U� ��

#�

&� 4.

1�

� ��� �

W� ��

F �� 4

tT� 4

U �� '

� �HU

7� 4

�L 1�

#�L '

�P G�

T��

. '

�6P S

���+ �

� ���$

� '���

' ��

� n#N�

S���

)� �

� ��

�� '

��= �

������.

3

��� �

! �&�

#���

�$�&1�

� �F

�"

�]8 �

�� �

!�+

��

� #

$�) �

$.

N

egat

ive

Larg

e (N

L),

Neg

ativ

e Med

ium

(N

M),

Neg

ativ

e Sm

all

(NS)

, Ze

ro (

ZR),

Posi

tive

Smal

l (PS

), Po

sitiv

e Med

ium

(PM

), Po

sitiv

e La

rge

(PL)

���

� �� 4

�/O �

�7+ '

R����

+ �� �

� '��=

�����

'��

% � �

,� ��

��� ��

0�

1*�

02��3

�*��(

: �

� ����

�+ �%

��L 1�

� ��u

�) G�T

�� �

��� �

�5��U

��)

'�P �

%��P

( �6

����+

'6�

�6�

���� �

� ���

� �� S�

��) 1

�NL��

1�/8O

��7

+ '��

�m�� Q

�� ��

���

7+.

Rul

e 1.

IF ��is

PM

AN

D ��is

ZR

TH

EN F

is P

M.

Rul

e 2.

IF ��is

PS

AN

D ��is

PS

THEN

F is

PS.

R

ule

3. IF

��is

PS

AN

D ��is

NS

THEN

F is

ZR

. R

ule

4. IF

��is

NM

AN

D ��is

ZR

TH

EN F

is N

M.

Rul

e 5.

IF ��is

NS

AN

D ��is

NS

THEN

F is

NS.

R

ule

6. IF

��is

NS

AN

D ��is

PS

THEN

F is

ZR

. R

ule

7. IF

��is

ZR

AN

D ��is

ZR

TH

EN F

is Z

R. �T

�� '

vO����

� Y �

� ���O

�� �+

1��

�� �

�� �W

� Y

�6��� �

6� i�6�

� �6��

Y6 � �

�+ S�

��+ �

��b� �

� Gru

le

1��

S�E�

� B�C

& ��

�+ '�

P � I

���

.

� 5e

���:

9.

w1T�

A �� '

�P �

'�� �

ne�

� "��

O

10. ��T

��� ��

1 �g

% [���O

�� �

� ���

$�

Page 109: Ljung, System Identification: Second Edition, 1999

#$�)

J&�

14-10

11. '

��� �E

#$% ��

���$��

�A

ND

�O

R

��T ��

� ��.

12. ���

� B�2

�O �� Y

W�5��

�� �

���$�

. 13.

x�#�

���� B

�2�O

���* ���

� � G�

� �� '

�P n

e�� �

��= �

. 14.

���� B

�2�O

���* ���

� � '�

P ����

�+ ���

= � x

�#�.

15. 4

5� '

�P �%

�$��

�� _

$��� �

x����

�20

,6

���+ Y

��NO ��

. 16.

Giv

e th

e he

ight

, sup

port,

cor

e an

d no

rmal

izat

ion

of th

e fu

zzy

sets

in F

igur

e 20

.6.

Fi

gure

20.

6 M

embe

rshi

p Fu

nctio

ns fo

r Ass

ignm

ents

1 a

nd 2

�&�

� �

&8���

�$ �

jr�� �

)

l?<

�� $� �

�)�� �

! (

$� &�+�

�W8:

if x

is S

mal

l the

n y

is B

ig

if x

is M

ediu

m th

en y

is S

mal

l if

x is

Big

then

y is

Med

ium

#

4�4 #

��! "

�]8 �

!��+ ��

�x

�4

�A 4

y &�

: n

��O �

&� �

� 5e

��� �!

&��! B

-� S

!�;�

#$�)

J&�

14-11

(a

) U

sing

the

clip

ped

cent

er o

f gr

avity

met

hod,

dra

w th

e co

mpo

site

fun

ctio

n for

whi

ch th

e ce

ntro

id n

eeds

to b

e ca

lcul

ated

, for

x =

2.

4. *

Con

side

r the

follo

win

g Ta

kagi

-Sug

eno

rule

s:

if x

is A

1 an

d y

is B

1 th

en z1

= x

+ y

+ 1

if

x is

A2

and

y is

B1

then

z2 =

2x

+ y

+ 1

if x

is A

1 an

d y

is B

2 th

en z3

= 2

x +

3y

if x

is A

2 an

d y

is B

2 th

en z4

= 2

x +

5 C

ompu

te th

e va

lue

of z

for x

= 1

, y =

4 a

nd th

e an

tece

dent

fuzz

y se

ts

A1

= {1

/0.1

, 2/0

.6, 3

/1.0

}

A2

= {1

/0.9

, 2/0

.4, 3

/0.0

} B

1 =

{4/1

.0, 5

/1.0

, 6/0

.3}

B2

= {4

/0.1

, 5/0

.9, 6

/1.0

}

Page 110: Ljung, System Identification: Second Edition, 1999

#$�)

J&�

14-12

14-3(A

dapt

ive)

Neu

ro fu

zzy

syst

em

� &�

��: &

����

: #���

����

"A�

� �

B�-�

��0!� 4

W?

8 �-W

� 4 #

$�).

� J

&� ��

�&&O

0�

5��?

! &1��+

W?8 �

-W�

�� p

$��2 "

�j!�� 4

&��

"��

'�) B

!�� �&

��� �

�����

M��+

#$��

%&� 4

&:

� 7�6

1� ���

e�! ~

;� #

$��%&�

#$�)

,��+

p$�,

�2 E�

,-��

��� �

A #�

�� � "

�j!�� �

! �4K

8 ��

��

� B*�

I

$��%&�

4 �

� \���

+ �6�

�1 �

M "

����

0�1 ��

�) l

?<��

. �

�! l

?<��

M��+

��%4�

#$�)

&8���

��

� �

� �-

W�

&��

� B���

+ �� �-

W� p

$��2 &

���) �

� p

$��2 �

�� 4 &

�� �

��� l

?<��

p$��

2 �! �

��+ �!

'��

�� &�

�! &! �

-W�

p$��

2 ���

&�

�! l��1

l?<

���

��

� ~

�D?+

l?<

�� M�

�+ �&

� � �

~�D

*�1 �

�%4� ��

&F� p

$��2 �

!.

� W�-

W?

8 #$�)

U# 4�

4 �e

( #

��� 4

"��

W?8

�-W�

&�1��

3 "

�� �

4�A �

e (

4

1��� �

e

La

yer 2

La

yer 3

La

yer 4

La

yer 5

La

yer 1

y

x1

A1 A2 A3 B1 B2

x2

C1

C2

x1

x1

x1

x2

x2

x2

� B1

� A2

� B3

� C2

� C1

� R1

� R3

� R5

� R6

� R4

R1 R5R4 R6

� R2

R3R2

B3

� A1

w R3 w

R6

w R1

wR2

w R4

w R5

� A3

� B2

1�is�the�input�layer

�Layer

"

�� B?

�� #�

� 4�4

$� -

�! �

e �

� ��� �

:

fuzzification�layer.��

�2�is�the�

�Layer

#

4�4 ��

&1��

� ��� "

�]8 �

!��+ �

e �

� �

&���

� B

&W+ #

$�) #

������

� �! ��

��

. &,

1��+

� "�]

8 �!��+

�� &�

��!

XjX�

�! ��

����O 4

{a

,b}

&1�

� �

���

+

#$�)

J&�

14-13

(b) E

ffec

t of p

aram

eter

b.

0.2

0.4

0.6

0.81

a =

4, b

=6

a =

4, b

=4

0

46

80

1 2

3

57

X

(a) E

ffec

t of p

aram

eter

a.

0.2

0.4

0.6

0.8 1

a =

4, b

=6

a =

4.5,

b =

6

0 4

68

0 1

23

57

X

3�is�the�fuzzy�rule�layer.��

�Layer

��

� KX�

&���

: #$�)

&8���

$� -

�e

�� #

�: ���

$� (

�:

R1

�&

8��1

E2 #

�,� 4

�4 4 &

�� �

J&�

��A

1

4B

1

&���

: .

W?

8 #$�)

� A

ND

� 7�6

1� ��/

�! "

�� �-

��

11

1)3( 1

R

BA

Ry�

��

��

,

(3)

(3)

(3)

(3)

12

ii

iki

yx

xx

�,

,,

4�is�the�output�mem

bership�layer

�Layer

"

�� �

4�A "

�]8 �

!��+ �&

1����

! � �

e �

� .

�!�+

�e �

� #�:

���O

R

&���

� �

��O ��

1

63

)4( 1

C

RR

Cy�

��

-�

(4)

(4)

(4)

(4)

12

ii

ili

yx

xx

�-

--

��&F�

�C

1 #

�: ���

$� (

�D+ \

���+ �

!��!R

3 4

R4

"

��

5�is�the�defuzzification�layer

�Layer

� �

7�61�

w�;

� #���

4� $�

- M�

�+ �

4�A "

��� �

! #$�)

"���

� �e

�� �

. p

4�su

m-p

rodu

ct c

ompo

sitio

n

� J

��8� �

$ \

�+�+ �

!

��

E2 �

��

C1

4C

2

"�,

]8 �

,��+ $

� �,+ 4

&�

��:

�4�A

�&�

N�j�

2

21

1

22

21

11

CC

CC

CC

CC

CC

bb

ba

ba

y,

,,

,,

,�

��

Learning

"

)�� ��

-! E��

+ �

W?8 #

$�) p

$��2 #

��! �� �

-W�

p$��

2 #���

4�

14-3-1��ANFIS

� p

$�,�2

",�j

!�� �,!

W?8

#$�)

�-W�

d�1 (

on

line

7�

,1 �,!

Ada

ptiv

e ne

uro

fuzz

y in

tfere

nce

syst

em

(AN

FIS)

� �

�&1��A

. #

�: �e

�-W�

�� �

1 42

"��

W?8

#$�)

�-W�

#�:

�e �!

��� �

F��

Page 111: Ljung, System Identification: Second Edition, 1999

#$�)

J&�

14-14

3�is�the�rule�layer.��

�Layer

AN

FIS

&8

��� p

4� $�

TSK

� �

� ���

�� . 4

AN

D

��

+��j�8

��/

�!.

IF

x 1 is

A1

AN

D

x 2

is A

2

. .

. .

. A

ND

x m is

Am

THEN

y

= f (

x 1, x

2, . .

. ,

x m)

��&

F� �&

8�� (

� �

��

y=

c

U��*

�W+��

�&8��

E2 �

! ��

���

+ "!�C

zero

-ord

er S

ugen

o

�! ��

&���

sing

leto

n

��

� �

��+

. �

���

�&8��

B!�F

�1

first

-ord

er S

ugen

o �!

���

#� �j

��&�

z1

��

� E

��!.

y =

k0 +

k1 x

1 + k

2 x2 +

. . .

+ k

m x

m

(3

)(3

)

1k

iji

jy

x�

�"

y(3) =

�A1

, �

B1 =

�1,

.1

4�is�the�norm

alisation�layer.

�Layer

�A

NFI

S

��

W?8 #

$�) �!

�)�/

� �� �&

��� J

���1 �

e �

� i

n jj

in j

ji

iii

xxy

��

���

��

11

)4()4()4(

1

43

21

1)4( 1

N�

��

��

y

Layer�5�is�the�defuzzification�layer

�/

0/

0 21

2

1

2 1

0 2

10

)5()5(

xk

xk

kx

kx

kk

xy

ii

ii

ii

ii

i

��output�layer

6��Layer

�/

0(6

)0

12

11

12

nn

ii

ii

ii

iy

xk

kx

kx

��

��

N1

y

N3

N2

N4

1

x2x1

Laye

r 2La

yer 5

Laye

r 3La

yer 4

Laye

r 6La

yer 1

A1 A2 B1 B2

x1x2

1"

2"

3"

4"

2 3 4

#$�)

J&�

14-15

Learning�in�the�AN

FIS�model�

� p

$��2

AN

FIS

�>���

<+ \

���+

LS p

4� 4

grad

ient

des

cent

"

�� .

4 "

,)� ��

,�� (

, B�

�� p

$��2 7

�� �:

"��

"��

�! ���

� (

#�

&� 5.

�eF �

�? G�

T�� '

�T���

AN

FIS

#&�

!4 '

����

2co

s(2

1)x

xy

e�

�!A

NFI

S

��

� J

&�.

'��

�� $�

100

#

��! ��

x1U

x2

4y

�>��

&�%�+

p$��

2 #��!

. �!

p$��

2 �6�

�1 B-�

2 43 #

��,! "

�]8 �

�+ $�

&�! ��

# �4

�:10

0epo

ch

&:

� E��

1.

1 -3

-2

-1 0 1 2

-1-0

.5

0 0.

5

0 2

46

8 10

y

x1x2

Trai

ning

Dat

a A

NFI

S O

utpu

t

0 2

46

810

-1-0

.5

00.

5

1-3-2-1012

x1x2

y

Trai

ning

Dat

a A

NFI

S O

utpu

t

&:

� E

��1 ��

�: "

�]8 �

!��+

��1 4

��%4�

��&F�

���9

�: B

-�

#�

&� 6.

���

'���

�����

�+y

= si

n(2*

x)./e

xp(x

/5);

x

= (0

:0.1

:10)

';

y =

sin(

2*x)

./exp

(x/5

); trn

Dat

a =

[x y

];

num

MFs

= 5

; m

fTyp

e =

'gbe

llmf';

ep

och_

n =

20;

in_f

is =

gen

fis1(

trnD

ata,

num

MFs

,mfT

ype)

; ou

t_fis

= a

nfis

(trnD

ata,

in_f

is,2

0);

plot

(x,y

,x,e

valfi

s(x,

out_

fis))

;

01

23

45

67

89

100

0.2

0.4

0.6

0.81

x1x2

-1-0

.8-0

.6-0

.4-0

.20

0.2

0.4

0.6

0.8

10

0.2

0.4

0.6

0.81

(a)

Initi

al m

embe

rshi

p fu

nctio

ns.

01

23

45

67

89

100

0.2

0.4

0.6

0.81

-1-0

.8-0

.6-0

.4-0

.20

0.2

0.4

0.6

0.8

10

0.2

0.4

0.6

0.81

x1x2

(b)

Mem

bers

hip

func

tions

afte

r 100

epo

chs o

f tra

inin

g.

Page 112: Ljung, System Identification: Second Edition, 1999

#$�)

J&�

14-16

lege

nd('T

rain

ing

Dat

a','A

NFI

S O

utpu

t');

#�&�

7.

� �� �

� �5��

� � G�

T��

AN

FIS

���

+ � �

��

uy

yy

yy

3*5

*5.5*

10*

10�

�����

"

�� ���

F�� $�

'��

�� �

� "%�I

#�]

) J&�

:

?,

,*5

*5.5*

10*

10,

,,

,

32

13

31

23

3

33

21

23

2

23

21

12

1

��

��

��

��

��

��

��

)x

x(x

f

u

x

xx

xx

x)

xx

(x

f

xy

xx

)x

x(x

f

x

yx �

����

J

��6�

�!�+

��f3

# 4�4

#��

3��

� �! &

�! ��

"��

- �

�����

�4

�A .

#�,�

� �$�&

,1� �

4�A M

F) E�

z �

� �

� ���

�� �>

#�

� 4�4

���

<+ #

��! ��

"4�

$� �

� �

.

y3f

y���s 2 S

�!

'���

�od

e45

#

��! #

4�4

PRB

S

�W+��

8 �

� �

#$��

��W�

. �

� �

�W��

D� q

1��

�;!��

$� ��F

���

tt

yt

ty

y1

�1

)(

)(

$� B

*�I

�4�A

�! #$

�� ��

W�od

e45

d0y = y;

�W+��

5�F�

�� �W

��D�

1 U2 43 dt = 0.01;

d1y = diff(d0y)/dt;

d2y = diff(d1y)/dt;

d3y = diff(d2y)/dt;

- U#

&8 #

��� S

��� �

�! �: �

E�z

S

��� #

�: ��

%�� �

&�+ �

��!��!

U ��

� '

� �: �

� $�

3 �

,���

E��,��

! �

� �

��)��

�G1 �

.

n = numel(d3y);

J

&� #

��! �

4�A 4

# 4�4

���

+A

NFI

S

Inputs = [d0y(1:n) d1y(1:n) d2y(1:n)];

Targets = d3y;

&�!

J�I

AN

FIS

'�

:&! p

$��2 ��

. d�

1 $� "

��� �

� �

'su

geno

' �

�1���

�&�+ 4

' �

� � ��

���

)ru

les

( �!

��! ��

�!10

' �

� ��<

�1� .

% Train ANFIS Model

fis = genfis3(Inputs,Targets,'sugeno',10);

fis = anfis([Inputs Targets],fis);

�� "

�� �$

B-�

5��?

! #$�)

'��

�� (

B�8

�� �

6��1

3 #

4�4 �

+y

yy��

� ,,

�! ��

y��� &�

� � B

&W+

.

#$�)

J&�

14-17

'

����

&�! J

�I3f

3��

��! ��

AN

FIS

Ue�

! �&�

� � p

$��2

� #$��

J&�

. % Create Model

fhat = @(t,x) [x(2) x(3) evalfis([x(1) x(2) x(3)],fis)];

'

��

� � ��

��� #

$�� J

&� #

��! KW

� ��

/��

J&� #

�� �!

� �,�

� ���,

�� #$

�,) $�

',

� .

J&,

� �� J

&,� �

,� J

��� �

%� "��

� � �

&�2 "

�&! J

&� 4

���

<+2

�,G1

� ,

���4 J

&� E

����!

�! �

&� �

�����

/��

�!�+

$� ��

� � �

� ���

+ �;A

E����!

�� 4

�� B

/��+

4 '��

'�

. t = 0:0.01:Tf;

x0 = [0 0 1];

[t, xhat] = ode45(fhat,t,x0);

e = x-xhat;

m���4

E��

1 ���

4 4

���<+

J&�

4 �

�A S

!�;+ 4

�;A

�� ��

1

'��

�,>%� �

j�,��

! W,�

��� B

-,�

�,! '

�,���

&,:

AN

FIS

"

�� �&

� J&

�.

J��>

�� (

J&�

�� #

4�4 #

��!PR

BS

"

,�� �&

,� �

,��+

. U

�,��

�� �

� B�

-,�+

$�R

esid

ual

E

2 #��,

! ���

�W��

D�

'���

"

�� �&

� � �

E��

1 B-�

� ��

.

01

23

45

0

0.0

1

0.0

2

0.0

3

0.0

4

0.0

5

0.0

6

0.0

7

t

x1

x xhat

01

23

45

-0.0

4

-0.0

20

0.0

2

0.0

4

0.0

6

0.0

8

0.1

t

x2

x xhat

01

23

45

-0.20

0.2

0.4

0.6

0.81

1.2

t

x3

x xhat

Page 113: Ljung, System Identification: Second Edition, 1999

#$�)

J&�

14-18

05

1015

2025

-0.50

0.51

Cor

rela

tion

func

tion

of re

sidu

als.

Out

put y

1

lag

-25

-20

-15

-10

-50

510

1520

25-0

.2

-0.10

0.1

0.2

Cro

ss c

orr.

func

tion

betw

een

inpu

t u1

and

resi

dual

s fro

m o

utpu

t y1

lag

15-1 15.

Mod

el b

ased

Fau

lt D

iagn

osis

e

F ��

I�% �

XW+

Faul

t det

ectio

n an

d di

agno

sis

(FD

I)

���

�R� GR

� �#yT

� �

�� z

���U 1

� ��

�/L��

� ��?

Abn

orm

al e

vent

man

agem

ent (

AEM

)

��� �

� 4�5W

O �� .

��� X

W+

(��T

= �� �

���F �

E�� �

*��+

�� '

��=�#�

����O

f�+

�� � '

��=�#�

. ��

�U �

$�����

) 1N�&

�� �/

L��� �

�? ��

F �� �

�� ��

220

��� �

� �� �

�� S�

�� �3

� ��

��.

�'� Fa

ult

: ���

�� �

��= �

�� ���

,� �� G

�T��

��m��

���

��) {

��C�� �

� ��$

% eF

. f

��6P� �

��� �

OP��C

���*

S8�� �

����O

1���+

f�+

���

+�� �

�� "

���U �

���

.

�Fa

ult d

etec

tion

: e

F [ ��

� Yy

$e� �

5�3�

��U |

�bWO

Faul

t iso

latio

n:

eF 4

���% Y

�� '��

���

�Fa

ult i

dent

ifica

tion

: �

���� �

eF _�

� Y��N

O¡ �)

����� �

A �� �

�����)

���+

( �

Faul

t Tol

eran

ce

��� �

���� S

�/L 4

�L ��e

� ��F �

�5#$%

�� ��

���� e

F G?��

#% G�

T�� �

+ '��R

$O.

�Fa

ilure

���

�� S

�� ��

�mO ��

����

�+ G�

T�� �

� ��$

�� ��5

#$% ��

G �� �

�� �

�'� �

�*

Cau

se

% '����

eF

�� �

� �+ �

�� �

� � �

�#�

root

cau

se

���� �

� ����

F .

���6F

� �6�

failu

re

6 m

alfu

nctio

n

�� �=

��.

���� �

� G�T

,O ���

� �� �

� � e

F 4�%

1-

����

��

.����

��� ��

���p�

: �;

A d�

1 ��

5��*

4 �!

1 ( �C

� ���^

+ �&

�1 #

��� �$

�&1� #

4�4

4 J

&,�

%�&

�2 (

'��

�� #

�:����

��O ��

�^+&1�

� �

�&

. &1�

�����O

� ��

�^+ �!

�6��

5��*

4 �:

Page 114: Ljung, System Identification: Second Edition, 1999

%��

I�

15-2 2-

Str

uctu

ral

chan

ges

: &�

)� � �

�� $� �

&�8 �

�;! '

����

#��1

��%� $�

-

�;A

w�1 �

� �

�,

� #�,D

1 �!

��

� '

����

J&�

���^+

�! �6

��.

3-�B7

�S� "

�.�'

��

�� ��

���

4- �

��4 �

����

��6

�8; ?

�N :

��

��

���

;� 7&

8 4 0

�1 &�

1�� B�

��8 B

W� $�

&1� �&

�1 J

&�)

�,�%4

� 5�,8

Kc�

��&1

��4

E�12

��� �

(

�� &�

��!

� �$

�I �

FDI

&1�

�&1 ���

6���

� 7! ��

�� +"�

.89!

%FD

I

1-D

etec

tion

time

: �!

B!�F+

� �

�� �

��fa

lse

alar

m

�� �

���.

2- "

����

ISe

nsib

ility

�;

A B!

�� ��&

F� �!

3-

Isol

atio

n er

rors

:�:�

;A (

�-�+

"�j!�

4-

Rob

ustn

ess

:&�

�! 74�F

� "��;

� 7&8

4 0�

1 �! "

W�1 &

�!.

,,,,��

� �,,,

,! �,,,

,�Fa

lse

alar

ms

4

Mis

sed

dete

ctio

n

"��

'�

5-N

ovel

ty id

entif

iabi

lity

: �,

;A �

,� B�

�8 ��

&�� 7

K8� &

1���! �

� #�D

1 �! �;

A B�

��8 �

�! (�-

�+ "

�j!��

'��

�� �

KW�

"��

�&�1

���

+ .

6-C

lass

ifica

tion

erro

r est

imat

e :

�;A

#&�! �

�� "

D* $�

���<

+ �_���

7-

Ada

ptab

ility

:&�

� 7K8

� �;A

E���8

�! �� $

�6� 5

����^+

&�W1

'���

8-Ex

plan

atio

n fa

cilit

y :

�;A

E&�2

���

! ��

z ~�

/�+ E

�-��

9-

Mod

ellin

g re

quire

men

ts :

�� �

1� K!

'��

�� (

���

� #�

�! &

�! &��

� �

�����

��

%&� ��

�A��

�&�

�! \��

��

10-

Stor

age

and

com

puta

tiona

l req

uire

men

ts :

"8��

4 �G

)�I ��&

F�cp

u

$��1

���

11-M

ultip

le fa

ult i

dent

ifiab

ility

:�1�

� &�z

#�:�

;A l

�<�+

"�j!�

,��

1*FD

I

�� ��

��PFD

I

1�� �

� 'R�

= '�

��

1��

�� �

�� �W

� 45�

�� �+

1 ( ]'

��= �

����2 (

'6R

�=v �

j��b�

�� e

F � I

����

S�E��

��T�

��3 (

eF �

=v � �

S�E�

� �=v

� Y�� n

�/eO

4 (eF

Y��N

O

%��

I�

15-3

�� �

�� ��

hb�

� 'vO��

��� Q

�� ��

4 �

=FD

I

��� �

6W� 4

5� ��

�+ ��

� �� �

� � R

5��5O

�� '� �

%�$��

1�� �

�.

�;�

%" <��

��

3 '

��� (

�� ���

�FD

I

���� �

���

Qua

ntita

tive

mod

el-b

ased

met

hods

: �

� XW+

S�� �

G�T�

� ��5

#$% {

7�F�

�� eF

R��

� Y � �

���� .

]�E�

�� �� �

��/� '

R���

parit

y���

�� '�

���� Y

� �� Y

�$bO �

Y$�+

��#�P

].

�Q

ualit

ativ

e m

odel

-bas

ed m

etho

ds :

'R$

� ��E

��

����

Si

gned

dire

cted

gra

ph (

SDG

) , Fa

ult

Tree

s ] Q

ualit

ativ

e Si

mul

atio

n (Q

SIM

) , Q

ualit

ativ

e Pr

oces

s The

ory

(QPT

) �

Proc

ess h

isto

ry b

ased

met

hods

.

����

���+

'R$

� ��E

��

expe

rt sy

stem

s ]

qual

itativ

e tre

nd a

naly

sis

(QTA

) �

�6���

�6$+

'6R

$� ��E

�� �ne

ural

net

wor

ks ]

PCA

�st

atis

tical

cla

ssifi

ers

���

�� ���L

. ]�

+��F '

R5��5

O Y � G

?��#%

FDI

1�

� ��O��)

� �� �

5�� �

�u$�

. )�8

Dec

isio

n m

akin

g

���� �

$� }C

� �� �

� 1��

'� �

'���

��+ x

��W� �

= Y

Page 115: Ljung, System Identification: Second Edition, 1999

%��

I�

15-4 15-1

Qua

ntita

tive

mod

el-b

ased

app

roac

hes

��Z

� ��

I�% �

����+

"%�2

�� ��

"m

odel

-bas

ed F

DI.

1�

� .

�6� �

6� 6e

F S�E

�6� R

��� Q

7+ Y

� ��

��$

�L�

Res

idue

(r)

1�

eF {

�N� �+

���=

�� ��

��O .

�E��

�P� ��

�+ ~

C� � �

+ Y

����

= �� "

��& .

.>�%

?@�R

edun

danc

y

1�� �

�� �E��

�P� ��

�� I

�% '��

� .

�#�#C

O '

���P� 1

b� 1

�� Y5

$� �E

���P�

anal

ytic

�6�

� .

�#6&

� {�6�

eF �

��+ �

T ,�

�* �

�� �NL��

G�T�

� ��P

� ����

� �+ �

�+ ���

�O G�

� G�T

�� ��

S�� �

�+ 1

�� �*

�E���

P����

|�b

WO ��

. �"

�?@� �

A� .

>�%?@�

��6

T� '

6����

+�� �

6�$�

)��� ��

�6+ �

�6� �

6� n,

C� �

P2� ��

T�� 7

8� IZ

� �

'�

��� �

� ��

���

.� (

�� Y

�1�

� �P2

� 'g

P |�Z

bO � �

� ��

� ��$

.

�B� .

>�%?@�

) fu

nctio

nal,

artif

icia

l (

'6R

����F

� 6R

����

]���m

�� Y�

� ����

'�

/� >

���� >

��O

��� �

� ���

�� G�T

�� .

��� �

� G�T

,O ����

� G�

,�T� _

�� �� �

� �E��

�P� Y

�.

��6�

��� .

>�%?@�

���

,�x

= ���

�� ��T

�� �

>��

O ���

,� �7

N� ���

�� '

��x

6� �6

E � �

�,� �

�T��

��1�

� �#&�

��T�

� ��e

F ��N�

�� ��

�* Y�� {

7�F�

]��� �

� �/�

C� '

�/� >

����.

��

.�� �

.>�%

?@�

1��

� ��+

�� �

����

R+�C�

'���

� � �

��T��

���

�F Y

�� i/O�

� �+ ^

��� �

"3�N

� �

� * �

�.

�� �

E���P�

���$

% ��F

� 45

���

� �� �

W� ��

��

I�% G

�T��

.

.�B

� .>�%

?@� S

�E��

� �R�

��� ��

eF |

�bWO

'��� [

��� S

�E��

O ���

��

����

� �2

� 'R��

� �� �

#�#CO �

E���P�

�����

� �NL��

G�T�

� .

1�� e

F ��N�

�� S

�� �

�NL��

G�T�

� '��

�m�� Y

�� {7�

F� .

�6 �

�� �

� ��$

�L� Y

�O �

�� ��

&���

�,#O

G�� G

�T��

.

�� ��

��6F G

�6T��

�� {

�6N��

��? �

��mO �

�R

esid

ue

�6�� �

6� �6

W� .

�/�C

�R

esid

ue

1�� �

���

��

�/N�

S��

�#�#C

O �2

� S��

Y��

�� ��#�

T� .

�� G�

6T��

Y6 �

456�

��� �

� �W

%��

I�

15-5

6�

��� 0

���T

� ���

��) R

$�T��

�A �=

� '

R$� �

�E�� �

��FD

I

��TT

=���

� �� �

����

. ��

G�T�

� S��

'R�

�� I#

?� �

� \�P

�eF

���= �

eF �+

�e,� S

�U �

� ���

�eF

��? G

�T��

�=� �

���.

S��

G�T�

� "

��Z� �

� G��

1�U

'gP

��+ �

� ���N

O � � "

��Z� S

�� ��

�= ���

L eF �

�!O 1

CO G�

T�� �

�L�

�* �

� �=

p 16

�� G�

T�� '

eF �

S7�F

� ]��T

�� ]x

�C� '

eF �

���= �

� �� .q

�6�=

���6��

'6e

F �6�

$�

1��

.'�

��� S�

�-

1��� �

��O ��

���E

� � ���*

��H�

����F

C�

��� D

2E �!

�1F �

�G�'�

eF

Y�� �

� �5

� � ��5

����

[$� '

�ad

ditiv

e

����

V�2

�m

ultip

licat

ive

��

4tL

��5�

O .

��� S�

� '

"��Z

� ����

V�2

'�

eF

��

�� [$

� �

�+

� 1�

� ��F

��� '

�eF

� � �

� ]�W

� S��

"37

�F�

. [6

$� '

6eF �

6+ ��6

� �6�

� � S

�� ��

�T ,�

� �

6� ��

��� S

�R�� ^

�O�

����2

��#N�

S�E

�� "

��Z� �

��� V

�2 '

eF �

S�R�

� S�E

�� "

��Z� �

��� ��� .���

�� �

��= 1

�NeL �

�% R

� � �$

O �� �

����+

"���

� ��.

Page 116: Ljung, System Identification: Second Edition, 1999

%��

I�

15-6

��

&'( )

�* % �

'�

'R�

��FD

I

���� 4

tL �

�5�O S

�� ��

1�Ne

L ��%

� eF

Y�� �

��� �

�L �

� .

�� ����

L �� �

��!O

��$�

L����

�,#O

eF ��

��N� �

�����$�

��$

�L� ��

{��C

�� �� Y

�����

����hE

� .

1�Ne

L ��%

'���

� ��

�#�P (

�� �

����

� ��$O

4�L

eF �!

� O ��

�= ��

��0

. re

sidu

als

& st

ruct

ural

onal

Dir

ecti

N�O �

#+ 1�

U ��

��$�

L� '

�����

1�� G

�T��

���

�F �

'����

��

r=g(

y,u)

���

�� 'R�

$�� �$

O S��

� 1�U

��r

���T�

��&

. di

rect

iona

l re

sidu

e:

�U��

0 ��

r s

F '

eF �

���

�� �*

�$�� �

� �+ �

�� 4

$% �/

�O�O �

� 1��

Y5$�

���

. �

� I�

O�O Y

� ��

r 1�

� 4$�C

� '�

eF ���

NO ����

� .

(��

Y � �

�di

rect

iona

l res

idue

��

�= ��

st

ruct

ural

res

idue

$�� ��

� ��/

� ���E

� � 1�

� Y5$

� 4�,�

��r

�+ ��

� �W

� �� �

eF ��

'� �%�

$�� �

� ���

�� ��R�

$�� ��

�,� Q

�� ��

'��=

G�$Z

O fb�

��r

���� �

�5�O �

eF .

��F�

Y � �

�st

ruct

ural

res

idue

��

�= ��

. �;1�!"

�>$�

�� �

�O�/%

��=

Y � '

R$� �

�E�� �

� �gN

�:

odi

agno

stic

obs

erve

rs,

opa

rity

rela

tions

, o

Kal

man

filte

rs a

nd

opa

ram

eter

est

imat

ion

15-2 2�

.���

�%"

Obs

erve

r

����

eF {

�N� ��

���ZC

�� "�

�Z� �

+ 1��

��$�

L� '

R��E��

����O

'�E�

�� V

I�%

{��

. �

�$�L

� Y �

���� �

�,� S

�� 1

�NeL �

�% �

� �� �

� 1/T

� � �

�.

�� �+

����=

�� X

�NO �

�E� �

� �� '

� �%�$

�� �

(��

Y � ��

"3F

�� ��

� sF

'eF

XW+

|�b

� �

�6���

O 6� �

6Z�Z

bO �6E

� �� s

F '

eF ��

�� "��&

�� �

���+

�� ��

��O �

A�+ �

���F

��E

� �� �

$� '

�%��+

�� �

7%� ��

eF _

�L� �

��� �

���F

. .

�1* 2

>�!%"

%��

I�

15-7

� � G�

T�� '

���

1�

�� ��L

Y � ��

�E� �

� �e��

��

�E� �

eF X

W+ '

��� ��

$�L�

��� �

� X �N

O

L

�+ ��

�= ��

Vb�

�� '�C

� ��

A-L

C

��� �

�� )

. '

�6TO

�6�� �

h6) �

�5�O e

F �� 1

/T� �

e��� �

5� � '

��� O

�/�C�

� �

W � *

1��

�.

��

�e���

V�2

�W

�e���

]se

lect

ive

� *

�� �

����

eF '

���.

0�;�

�+%"

% 2>�!

%"

'���

'�E�

�� Y�

�A Y

� 1F�

�C�

� � G�

T��

�� �+

Fp ��

4,�T

� � Q

TU

d � �

"��Z

� ���

S�R�

��

�� �

N��O

. Q

�� ��

�+ 1

�� ��

� �$�

��E�� S

Uu �y

Y�6$

bO �� 1

6�U '

���m�

� �����

� �� '

��= �

�������

� .

�+ ��

� �� �

��� �

� '���

S���P

� �+

Y �

e �

Y�$b

O 'eF

r 1�

� ��$

�L�

��

4,�T

� �e��

� �5�

� '���

d ��� .

��H�

� Y � '

���T �J

�+ ��

��= �

� Vb�

�� '�C

� �� �E

� ��

TE=0

�J=

TB

��� . ��

��� ��

Vb�

�� � S

UG

�+ '

�C� �

� �E� �

�G

C-T

A=-

HT

�+

H � *

�� 1

��� 1

�� ���

).

Page 117: Ljung, System Identification: Second Edition, 1999

%��

I�

15-8

�H� ��

�� '

eF ��

>,P

3U �+

Fp �

�$�L

� I�O�

O Y�$�

�� �

1�� �

�T���

r . �6

+ S��

� 1�U

��Fp

=0

16�

� ���

,�e

�* [/

O �� �

r ���

�� �

�& 1

$� ��

.

e

F ���

� 1�U

�� �

�e

S�E�

�Fp

S�6R�

� '���

� �� 4

,�T� Y

� � ��

+ �� S

/�� ��

d 16

�� .

�* �6

� ��6�

� ��0�

;� �

+%"% �

� 2>�!%

"

�� �=

��

#�

&� 1.

eF �

� G�T

�� ��

���� �

��� �

�T��

' .

1�� �

��EA

��$�L

� �e��

� 1��

����� �

���F

��T�

� 'eF

��

�����

F � � �

��L ��

��$�

L� � �

E� ��

'eF

�����

��.

��� �

� ���

� ��#�P

� �+ 1

�� ��

� ���

�F Y

�$bO >

,P (

�� Y

� ��.

�1�

� GR�

�#yT�

� �

+$+

���� �

�,�

.'

� 2�I

6���

����

�� �

eF ��

? 'R$

�T��

� �e

faul

t af

fine

�6

� "��6

Z� G�

6T��

�6+ 1

6P�= �

��O ��

f�) �

� �� �

� (��

��� ��

���

1�

�� ���O

�� �

� "��Z

� �� �

eF ��

? �E�

��

1

�� � �

���L �

� RT

�O� >

��� �+

��

4,�T

� �e��

� �� ��

�� O

d '

���e

���.

%��

I�

15-9 �

'�E

� '

RU�0

V I

�% �U

��0 '

��� �6

�P�= "

��6&

�6eF

�6�?

'R$

�T��

�� �

R�7+

'���

'�E�

��1�

�.

�JK�

��� �

���� 4

���% �

E � �

�H� ��

�� '

eF Y

�� ���/

L 4�L

��5�

O ��$

�L� �

+ 1��

Y � {

��

� '

��� �

� �#��

O � ��

3�$N

� '��=

G�$Z

O fb�

��r

��� �

� ��

��� e

F �7%

� ��%

�7%

� '���

. �,

/01�

� ��P�

= ���L

����

� ����

��� �

/Z% �

5/� �

'��*

'��

� .

� �

� ��� �

� ���5

Or

1�� �

��$0

� 1�#�

L � 1

%�� �

�e���

��

15-3 �

%" M

��'� N

��%" P

arity

rela

tions

�E

�� �+

���� �

��� �

NL�� G�

T�� �

�+ 1

�� Y

� (��

Q��

S�6�

�6��$

� ��6�

�6�

'��=

����� �

* 'R�

(��

]�6�+

�6� '

�6� �

�/� '

���� Q

�� ��

�� G�T

�� �

�P� �+

1��

�����

G�T�

� �� �

$��

parit

y

n6�/

eO1�

� ��&

S��� �

=���

1�U

�� �+

��+ �

� �A �

� G�T

�� ��

��P�

Y��

.. ��

% ]'�

�= ���

�� � ��

��P �

�� 4���

�� �

NL�� 1

�U ��

��

�� �

�6+�C

� � �

��6T�

� '6�

eF ]S

�6� ��

1�Ne

L1�

� ��&

��? ��

5#$% �

� eF

1 R

�.

� '

��� �e

���� ��

��� �

��pa

rity

��

� eF

���+

^5N�

� >,P

�+ 1�

� ���

. '

��6N�

� 'R6

��� >

��� 1

CO1�

� �� �

t���

� �=

�n

� ��

�= ���

�� ���N

Om

� ��

� 1�U

'��

�m�� �

N�n>

m

�����

�E��

�P����

� ���

� '��=

. 2�8

C����

� ��'�

G ���

eF ��

��� ��

^

�O�

Y�P�=

�H� ��

�V

�e���

parit

y

� * �

� 1��

�.

Y

�P�= �

H� ��

�V

�+V

C=0

1�

�� G���

�F ��

Page 118: Ljung, System Identification: Second Edition, 1999

%��

I�

15-10

����

�+ ��

� ��

� �ith

^ �O

�V

��T�

� 1�N2

� ���

+ ^5N�

�ith

����� �

�p

1��

. 2�8

C����

� % ��

!�2@ �

�'�

��G�

T��

���+

~C�

� �

��� �

E���P�

y(t-k

), k=

0,…

n

� * �

� 1��

� � � >

����

� 1

�� ����

� �T

�O� "

��Z� >

����

�� V

�2 �

�� ��

��

�+

���=

�U��0

'�C

� �� �

� ��

$�L�

faul

t se

lect

ive

�6

�P�= �

��L ��

�O ���

� 'vO��

��� ��

�e���

Y � ��

���

1��

15-4O

ptim

izat

ion-

Bas

ed A

ppro

ach

���

�� Y�

$bO �

�� ���

� G?��

#% ��

eF ��

�R� �E

��$bO

� ���

�� '

��� S�

��P e

F R�

�� Y

� ��

15-5 K

alm

an fi

lters

��

� �� ��

� � \

���� >

��� 1

CO G�

T�� 1

�U ��

m�� Y

�$bO Y

$�+ �

�#�P

). ��

6��� �

6���F

�6O '

��6� >

�������

��(

Y

�$bO

x ���

�� �

����P

���E�

%��

I�

15-11

S�

E�� �#

yT� >

��� 1

CO

1�� �

��� .

���

�F '

�� �*

�!� �+

eF ��

�� "

��& ��

yi ��

� �W

�e i

��� �

� ���m

O (�b

���

15-5-1 P

aram

eter

est

imat

ion

���

6� �

� {�C

�� ��F

���

���,�

�� G�T

�� ��

� ��

����)

�����

) eF

_�L�

� .

���6) Y

�6$bO

'R6�

�� 6�

����+

�&� ��

�����

) {��C

�� ���O

�� G�

T��

. 1�

� �� �

t��� ��

0 �� 4

� ��

1

�� �O

/�C�

'R�

=��u

�) '����

(��

Y �

1�� I

���

���� V

�2 '

�eF

'���

&�ZF

�.

f�6)

S�� �

=���

� �NL��

����

e 1�

� ����

. 1

��� �

��mO

e 1�

eF �

��� �

W� ���

ba

sed

-Fu

rthe

r di

scus

sion

on

quan

titat

ive

mod

el

Page 119: Ljung, System Identification: Second Edition, 1999

%��

I�

15-12

� ��

(��

�6#$%

���

6�� �

�+ ��

45W

� �� n

�L� '

�T���

�+ R

$�T��

�� �

eF��?

4���

% ���

� ]�=�

�u�)

1�� �

�+ ���

C�

����

� |�b

WO 4�

L �W

� X �N

O '�

eF �+

�����

����

���$g

O .