ECE 636: Systems yidentificationLectures 5‐6

Statistics and hypothesis testingyp gPower spectral density estimation

Nonparametric identification: Coherencep

1

• Stochastic vectors – the covariance matrix

• Uncorrelated random vector elements: diagonal covariance matrix

• Multivariate normal distributionMultivariate normal distribution

( )11 1/2/2

1( ,..., ) exp ( ) ( )(2 )

( )

N Np x x

Nπ

Τ −= − − −Σ

X x μ Σ x μ

X μ Σ∼

• Sample statistics ‐ unbiasedness, consistency:

( , )NX μ Σ

• Estimates of correlation/covariance functions:1ˆ ( ) ( ) ( )

N

∑

2

1

1ˆ ( ) ( ) ( )xxnx n x n

Nϕ τ τ

=

= +∑

1

1ˆ ( ) ( ) ( )N

xynx n y n

Nϕ τ τ

=

= +∑

• Random signals in the frequency domain – power spectrum

• White noise signal: flat power spectrumWhite noise signal: flat power spectrum2( ) { ( ) ( )} ( )xx xE x t x tϕ τ τ σ δ τ= + =

2( )xx xω σΦ =

3

Stochastic signals and LTI systems• The output of an LTI system to a WSS random signal is also WSS

h(τ) y(t)x(t) H(ω) y(t)x(t)

Time domain Frequency domain ( ) ( ) ( )xy xxω ω ωΦ = Η Φ

2

( ) ( )* ( )xy xxhϕ τ τ ϕ τ=

Mean power variance

( ) ( )* ( )* ( ) ( )* ( )yy xx xx hhh h Cϕ τ τ ϕ τ τ ϕ τ τ= − =2( ) ( ) ( )yy xxω ω ωΦ = Η Φ

Mean, power, variance(0)y xHμ μ=

22 1{( ( )) } (0) ( ) ( )2yy xxE y t d

π

ϕ ω ω ωπ

= = Η Φ∫2 2

2

(0)y yy y

ππ

σ ϕ μ−

= −

4

Basic statistics• The standardized Gaussian (normal) distribution results from normalizing the random variable x:

• The resulting r.v. is normal with zero mean value and unity standard deviation, i.e.:

•We define the value of zα that corresponds to a probability distribution of 1-α as the 100αto a probability distribution of 1-α as the 100αpercentage point of the standardized normal distribution:

z0.05

or equivalently that E.g. , i.e. z0.05 is such that P(z0.05)=0.95 and z0.05≈1.64•We will use these values in model order selection, selection of significant coefficients in linear regression etc.

5

Basic statistics• The chi‐square variable with n degrees of freedom is defined as the r.v. that is equal to the sum of squares of n independent r.v.’s that are normally distributed with zero mean and unit variance:• The pdf of the chi‐square variable is the chi‐square distribution with n degrees of freedom:

• As before, we define the value of zα that corresponds to a probability distribution of 1-αcorresponds to a probability distribution of 1-αas the 100α percentage point of the chi squaredistribution:

•We will also use these values in model order selection

6

Basic statistics• The random variable tn (Student’s t variable with n degrees of freedom) is defined as the following ratio of r.v.’s:

where y is a chi‐square r.v. with n degrees of freedom n and z is a standard normal r.v. N(0 1)N(0,1)• The pdf of tn is:

• The 100α percentage point of the t distribution is:

• The t distribution approaches the standard normal distribution for large values of n

7

Basic statistics• The F random variable with n1 and n2 degrees of freedom is defined as the following ratio of r.v.’s:

where y1 and y2 are chi‐square r.v.’s with n1and n2 degrees of freedom respectively.Th 100 t i t f th F• The 100α percentage point of the Fn1,n2

distribution is:

• Also will be used in model order selection

8

Sampling distributions• As we already mentioned, in practice we estimate the statistical properties of a random variable using a finite number of samples, e.g. for the mean value:

1ˆN

x xμ= = ∑• For different sample sets, we will get different values for      ; therefore    is a random variable and its probability distribution function is called the sampling distributionf

1i

i

x xN

μΧ=

= = ∑x x

( )P xof• Let x~N(μx,σx

2). What is the sampling distribution of     ?xx

-0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 19-2 -1 0 1 2 3-2 -1 0 1 2 3-2 -1 0 1 2 3-2 -1 0 1 2 3

Sampling distributions•We have seen that this estimate is unbiased therefore its mean value is:

• Also, we have seen its variance is , assuming that σx2 is known. ˆ x x xμ μ μ= =

22 xx N

σσ =

• From the central limit theorem will be also normally distributed• Equivalently, the normalized random variable:

(1)

xN

(1)follows a standard normal distribution (N(0,1))•What happens if the random variable x is not normal? Again, due to the central limit theorem for large sample sizes N the sampling distribution of the random variable xtheorem for large sample sizes N the sampling distribution of the random variableapproaches a normal distribution (eg even for N>4 we have reasonable accuracy). Therefore equation (1) holds in this case too.•What happens when the variance is unknown? The distribution of the sample mean 

x

at appe s e t e a a ce s u o ? e d st but o o t e sa p e eain this case is a t random variable with n degrees of freedom, i.e.:

10

Sampling distributions• For the variance estimate:

2 2

1

1ˆ ( )1

N

iix x

NσΧ

=

= −− ∑

• If x is normally distributed and we have independent samples, the sum in the right hand is a scaled chi‐square variable with n=N-1 degrees of freedom.

2 2 2( ) ~ , 1N

i x nx x n Nσ χ− = −∑• Equivalently:

• Distribution of ratio of two sample variances: If x and y are normal rv’s with means

22

2

ˆ~ , 1x

nx

n n Nσ χσ

= −

1i=∑

• Distribution of ratio of two sample variances: If x and y are normal r.v. s with means μx and μy and variances σx

2 and σy2 respectively and we have Nx and Ny independent 

samples from each variable, then the ratio:

follows the F distribution with nx and ny degrees of freedom. We will use this result when we will compare the error variances achieved by two different models

11

Confidence intervals•When we estimate quantities of a random variable as described before we only obtain a point estimate – however, this knowledge is not complete as we do not quantify how sure we are of this estimated value• A more complete procedure involves the estimation of intervals around this value which quantify the uncertainty of our estimation – confidence intervals•We can estimate these intervals if the sampling distributions of the estimated 

t kparameters are known• For example for the sample mean we can state that:

since the normalized sample mean value followsa N(0,1) distribution (when the variance is known)• As α becomes smaller the value of 1‐α becomes s α beco es s a e t e a ue o α beco eslarger – wider interval• This interval states the range of values within whichwe expect the estimated quantity (in this case) to lie, with a specified probability• Typically, a value of 5% is used – 95% confidence interval

12

Confidence intervals• Equivalently we can construct a confidence interval for the true mean value μx as:

Note: 

• If σx is unknown we saw that • The confidence interval becomes:

Note: 

• For α=0.05 the true mean value falls within this interval with a 95% probability• Similarly, for the sample variance, as

22

2

ˆ~ , 1x

nx

n n Nσ χσ

= −

the confidence interval is: x

•Matlab: normpdf, normcdf, norminv egnorminv(0.975)=1.96, tpdf, tcdf, tinv,chi2pdf, chi2cdf, chi2inv

13

Hypothesis testing• How do we compare the estimate of a random variable to a deterministic value? We cannot draw conclusions that are 100% certain!• E.g. if we estimate a parameter with true valuefrom a finite sample which yields a value ϕ̂

0ϕfrom a finite sample, which yields a value, how do we test the hypothesis that           ? • This question can be answered statistically (i.e., with a specified level of certainty) if the 

ϕ

0ϕ̂ ϕ=

x

sampling distribution of      is known. E.g. if theprobability of the difference between the estimate

and the value           is small, we would reject the hypothesis that

ϕ̂

xϕ̂ 0ϕ̂ ϕ−

0ϕ̂ ϕ=hypothesis that • Specifically in order to reject/accept a hypothesis with probability α we need to compute the following probabilities

0ϕ ϕ

• The probability that a value of  lies within these two values is equal to αϕ̂

Hypothesis testing• The value of α is termed level of significance

• As mentioned, α is typically set to 0.05• The lowest α is, the less likely it is that the hypothesis is rejected, i.e. that         is outside ϕ̂the region between             and • Two‐sided test, one‐sided test (             )• Two error types:

• Rejection of the hypothesis when it is true

ϕ1 /2αϕ − /2αϕ

0ϕ̂ ϕ≥

(Type Ι error – probability = α)• Acceptance of the hypothesis when it is wrong (Type II error) 

• Example: Assume there is reason to believe that the mean value of a normal r.v. is 10 and that its variance is known and equal and equal to 4. Assume also that we have 9 independent samples of the r.v. and that the estimate of the mean value based on these samples is 10.5. We have seen that 

Therefore for the given values we should equivalently test whether (10.5‐10)*3/2=0.75 is different than 0. The value of φα/2 is equal to 1.96, therefore we can state (with probability 95%) that the hypothesis/is true. ‐> What if the variance was unknown?

Power spectral density estimation• We have seen that the PSD of a random signal is defined as the DTFT of its autocorrelation 

• How do we estimate the power spectral density from finite length samples of a signal in practice?T i h• Two main approaches:• Direct estimation from the data using the DFT• Indirect: Estimation of the autocorrelation function and computation of its DFTe g we can use the estimatee.g. we can use the estimate

and compute the DFT of this quantity

| | 1

0

1ˆ ( ) ( ) ( | |),| | 1xxn

x n x n NN

τ

ϕ τ τ τΝ− −

=

= + ≤ −∑a d co pute t e o t s qua t ty

16

Power spectral density estimation• Reminder: For a DT signal the Discrete Fourier Transform (DFT) is defined as:

‐ Frequency resolution Δf=2π/Ν. The value of the DFT at k correspondst f f 2 k/Nto a frequency of ω=2πk/N  

‐ The DTFT is the Z transform evaluated on the unit circle. The DFT corresponds to equally spaced samples of the DTFT.• The DFT is periodic with period Ν therefore the values between k=0 and N‐1 define• The DFT is periodic with period Ν, therefore the values between k=0 and N‐1 define it completely:

• From Parseval’s theorem

• Therefore the squared magnitude of each DFT value corresponds to the fraction of the signal power that resides at frequency 2πk/N. This quantity is termed the periodogram 17

Power spectral density estimation• Direct estimation – the periodogram method:

21ˆ ( ) ( ) , ω=2πk/N, k=0,1,...N-1xx Xω ωΦ =Ν

• Therefore we can estimate the power spectral density from the samples of the signal x(t) {t=0,…,N‐1} simply by taking the square of its DFT (periodogram) at each discrete f 2 k/Nfrequency ω=2πk/N• It can be shown that this estimate is asymptotically unbiased:

However:ˆlim { ( )} ( )N xx xxE ω ω→∞ Φ = Φ

However:

This estimate is not consistent and its variance is frequency dependent and equal to 

2ˆ{ ( )} ( )N xx xxVar ω ω→∞ Φ ≈ Φ

s est ate s ot co s ste t a d ts a a ce s eque cy depe de t a d equa tothe square of the true value of the spectrum at each frequency!•Modified periodogram: First multiply the signal with a window of length N and then compute its DFT

18

• Windowing: Reduction of spectral leakage• Finite length sample

• Equivalent to multiplying with a rectangular window in the time domain• Equivalent to multiplying with a rectangular window in the time domain• Frequency domain: convolution with frequency response of rectangular windowxN(t)=x(t)w(t)XN(ω)=X(ω)*W(ω)

/2sin( ( 1) / 2)( )sin( / 2)

j TTW e ωωωω

−⎛ ⎞+= ⎜ ⎟⎝ ⎠XN(ω) X(ω) W(ω) sin( / 2)ω⎝ ⎠

19

Power spectral density estimation• How can we improve the variance of this estimate?• Bartlett Method

• Divide the signal into M (non‐overlapping) segments of length K,take the DFT of each segment, take the mean value:

21K j knπ−( ) ( )

0

( ) ( )

( ) ( ) , 1,2,..., , ω=2πk/K

1ˆ ( ) | ( ) |

j kni i KK

n

i ixx k

X x n e i M

XK

ω

ω ω

−

=

= =

Φ =

∑

The frequency resolution is reduced by a factor of M. This estimate is also 

1( )

0

1ˆ ˆ( ) ( )M

ixx xx

i

K

Mω ω

−

=

Φ = Φ∑

e eque cy eso ut o s educed by a acto o . s est ate s a soasymptotically unbiased but its variance is reduced by a factor of M as well:

21ˆ{ ( )} ( )N xx xxVarM

ω ω→∞ Φ ≈ Φ

• Welch Method: Similar procedure after multiplying with a window function, overlapping segments• Improved estimate variance, reduced resolution in the frequency domain 20

Power spectral density estimation ‐ Example( ) cos(2 200 ) ( ), 1( ) (0,1)

sx t t t f KHzt N

π εε

= + =

∼

• Matlab:• Matlab:• randn: normal random number generation• periodogramperiodogram• pwelch: Welch, Bartlettmethods

21

Power spectral density estimation• Parametric spectrum estimation: Model the signal with an autoregressive moving average model (ARMA model) – if bi=0 we have an AR model)

1 1( ) ( 1) ... ( ) ( ) ( 1) ... ( )M Qy t a y t a y t M w t b w t b w t Q= − − − − − + + − + + −2where w(t) is a white noise signal with mean power     . After estimating the 

coefficients ai ,bi the power spectrum is given by:2

ˆ1Q

j kkb e

ω−+∑

2wσ

• This method improves the frequency resolution compared to the Bartlett and Welch

022

1

ˆ ˆ( )ˆ1

kxx w M

j kk

ka e ω

ω σ =

−

=

Φ =

+

∑

∑• This method improves the frequency resolution compared to the Bartlett and Welch methods.•Main issue: Model selection – how do we determine the values of M, Q?

22

Example( ) cos(2 200 ) ( ), 1( ) (0,1)

sx t t t f KHzt N

π εε

= + =

∼

• Matlab:• Matlab:• pyulear(x,order)

23

Nonparametric identificationNonparametric identification

24

Nonparametric identification• Objective: Obtain estimates of h[τ] (time domain) or H(ω) (frequency domain)

•When talking about random signals and LTI systems, we have already derived relations that may be used to perform nonparametric identification in the frequency domainmay be used to perform nonparametric identification in the frequency domain

( )Φ

h(τ) y(t)x(t) H(ω) y(t)x(t)

( )( ) ( ) ( ) ( )

( )xy

xy xxxx

ωω ω ω ω

ωΦ

Φ = Η Φ ⇒Η =Φ

2 2 ( )( ) ( ) ( ) ( )

( )yy

yy xxxx

ωω ω ω ω

ωΦ

Φ = Η Φ ⇒ Η =Φ

•When we have input/output data, we can estimate the auto/cross‐power spectral densities appearing in the above relations, as shown previously, in order to obtain estimates of the frequency response

( )xx

•More to follow on these estimators in Lectures 7‐8•We will also examine methods that are used to obtain h[τ] in the time domain in Lectures 7‐8

25

Nonparametric identification ‐ Coherence•We have seen that for the cross‐correlation function:

• Similarly, for the cross‐spectral density we have: (1)

2( ) (0) (0)xy xx yyϕ τ ϕ ϕ≤

2( ) ( ) ( )ω ω ωΦ ≤ Φ Φ (1)

This is a more powerful relation as it holds for all frequencies• The coherence function/ coherency squared function is defined as:

( ) ( ) ( )xy xx yyω ω ωΦ ≤ Φ Φ

2

2( )

( ) xy ωΦ

• Because of (1) :• This function is the analogue of the cross‐correlation coefficient                                      in the frequency domain

2 ( )( ) ( )y

xyxx yy

γ ωω ω

=Φ Φ

20 ( ) 1xyγ ω≤ ≤( )

( )(0) (0)xy

xyxx yy

rϕ τ

τϕ ϕ

=

frequency domain• For a linear system without noise:

2 22

2

( ) ( )( ) 1

( ) ( ) ( )xx

xy

H

H

ω ωγ ω

ω ω ω

Φ= =Φ Φ

H(ω) y(t)x(t)

• If x,y are uncorrelated:• Therefore, if the coherence function is between 0 and 1:

• There is noise in our measurements

( ) ( ) ( )xx xxHω ω ωΦ Φ2 ( ) 0xyγ ω =

There is noise in our measurements• The relation between x,y is nonlinear• The output y is determined by additional inputs

26

Coherence• Example: Air turbulence

•Matlab: mscohere

27

Coherence• The coherence value at a frequency ω quantifies the fraction of the output mean square value at frequency ω which is contributed by the input at this frequency• Coherence is a measure of how linearly correlated are two signals x(t) and y(t) as a function of frequencyfrequency.• Coherence does not necessarily imply a causal relation between x and y• Therefore we can estimate the (squared) magnitude of an LTI system by:

2 ( )( ) yy ωω

ΦΗ

2( ) ( ) ( )ω ω ωΦ = Η Φ ⇒

2

22(2)

( )( ) ( ) ( ) ( )

( )xy

xy xxxx

ωω ω ω ω

ω

ΦΦ = Η Φ ⇒ Η =

Φ

(1)( )

( )yy

xx

ωω

Η =Φ

( ) ( ) ( )yy xxω ω ωΦ = Η Φ ⇒

2 2

(2)22

(1)

( )( )( )

( ) ( ) ( )xy

xyxx yy

ωωγ ω

ω ω ω

ΗΦ= =Φ Φ Η

The first estimate is biased, unless the coherence is one (i.e. if there is no noise)The second estimate is biased when there is input noise but not when there is output noise 

(next lecture)• Coherence is preserved under linear transformations. If we cannot measure the signals x,y butCoherence is preserved under linear transformations. If we cannot measure the signals x,y but we can measure x’,y’ which are linearly related to x,y then we can obtain the coherence between x,y from measurements of x’,y’

28

Coherence – systems with noise

• In the general case H(ω) y(t)+

e(t)

z(t)u(t)

( ) ( ) ( )( ) ( ) ( )x t m t u ty t z t e t

= += +

( ) ( ) ( ) ( ) ( )Φ Φ Φ Φ Φx(t)

+m(t)

( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( )

xx uu mm um mu

yy zz ee ze ez

xy uz ue mz me

ω ω ω ω ωω ω ω ω ω

ω ω ω ω ω

Φ = Φ +Φ +Φ +ΦΦ = Φ +Φ +Φ +Φ

Φ = Φ +Φ +Φ +Φ

•When we don’t have noise in the input and we have uncorrelated noise in the output:

2( ) ( ) ( )( ) ( ) ( )

zz uu

uz uu

ω ω ωω ω ω

Φ = Η Φ

Φ = Η Φ

When we don t have noise in the input and we have uncorrelated noise in the output:

( ) ( )( ) ( ) ( )x t u ty t z t e t

== +

( ) ( )( ) ( ) ( )

xx uu

yy zz ee

ω ωω ω ω

Φ = ΦΦ = Φ +Φ

( ) 0ze ωΦ =

2

2

( ) ( ) ( ) ( )

( )( ) ( ) ( )

( )

xy uz xx

xyzz xx

H

H

ω ω ω ω

ωω ω ω

ω

Φ = Φ = Φ

ΦΦ = Φ =

Φ ( )xx ωΦ

29

Coherence – systems with noise• Therefore we can obtain Φzz(f) andΦee(f)without measuring z(t) and e(t)!

H(ω) y(t)+

e(t)

z(t)u(t)2( )

( )( )

xyzz

ωω

ΦΦ =

Φ

• Coherencex(t)

+m(t)

2 2( ) ( )ω ωΦ Φ

( )( ) ( ) ( )

xx

ee zz yy

ωω ω ω

ΦΦ = Φ −Φ

2( ) ( )

( )( ) ( ) ( )( ( ) ( ))

11 ( ) / ( )

xy uzxy

xx yy xx zz ee

ee zz

ω ωγ ω

ω ω ω ω ω

ω ω

Φ Φ= =Φ Φ Φ Φ +Φ

=+Φ Φ

So for     Φee(ω)>0

( ) ( )ee zz

22 ( )

( ) 1( ) ( )uz

uz

ωγ ω

ω ωΦ

= =Φ Φ

2 ( ) 1xyγ ω⇒ <

Also:( ) ( )uu zzω ωΦ Φ

2

2

( ) ( ) ( )

( ) [1 ( )] ( )zz xy yy

ee xy yy

ω γ ω ω

ω γ ω ω

Φ = Φ

Φ = − Φ

Coherence breaks down the power spectrum of the output into two uncorrelated components: one is dependent on the input signal and the other is dependent on the output noise

30

Coherence – systems with noise• Uncorrelated noises in the input and output:

H(ω) y(t)+

e(t)

z(t)u(t)( ) ( ) ( )( ) ( ) ( )x t m t u ty t z t e t

= += +

x(t)+

m(t)( ) ( ) 0( ) 0( ) ( ) ( )

ze mu

me

xx uu mm

ω ωωω ω ω

Φ = Φ =

Φ =

Φ = Φ +Φ

2

( ) ( ) ( )

( ) ( ) ( ) ( )

( ) ( ) ( )

yy zz ee

xy uz uu

zz uu

H

H

ω ω ω

ω ω ω ω

ω ω ω

Φ = Φ +Φ

Φ = Φ = Φ

Φ = Φ

• Therefore, if we want to estimate Η(ω), we need measurements of m(t)

zz uu

( ) ( )( ) xy xyH

ω ωω

Φ Φ= =

2

( )( ) ( ) ( )

( ) ( )( )( )( ) ( ) ( )

uu xx mm

yy eezz

uu xx mm

H

H

ωω ω ω

ω ωωωω ω ω

Φ Φ −Φ

Φ −ΦΦ= =Φ Φ −Φ

31

Coherence – systems with noise• Uncorrelated noise in the input and output:

H(ω) y(t)+

e(t)

z(t)u(t)2 2

2( ) ( )

( )( ) ( ) ( ( ) ( ))( ( ) ( ))xy uz

xyxx yy uu mm zz ee

ω ωγ ω

ω ω ω ω ω ω

Φ Φ= =Φ Φ Φ +Φ Φ +Φ

x(t)+

m(t)1 2 1 2

( ) ( ) ( ( ) ( ))( ( ) ( ))

11 ( ) ( ) ( ) ( )

xx yy uu mm zz ee

c c c cω ω ω ω=

+ + +

: Noise‐to‐signal ratios

1( )( )( )( )

mm

uu

c ωωωω

Φ=Φ

Φ

2 ( ) 1xyγ ω⇒ <

1 2( ), ( )c cω ω

•Without knowledge of m(t), e(t) it is not possible to separate the spectra Φxx(f), Φyy(f) into signal and noise components

2( )( )( )

ee

zz

c ωωω

Φ=Φ

32