METODI DI STIMA DELL’ORDINE pMETODI DI STIMA DELL’ORDINE pPer la scelta dell’ordine ottimo p per un modello A R, si definisPer la scelta dell’ordine ottimo p per un modello A R, si definis ce un ce un criterio di criterio di “errore”“errore” che indichi qual è l’ordine “ottimo” per quel model lo.che indichi qual è l’ordine “ottimo” per quel model lo.

L’approccio più semplice è quello di costruire mode lli AR di ordL’approccio più semplice è quello di costruire mode lli AR di ord ine via via ine via via crescente, fino ad ottenere un minimo nella funzion e di errore, crescente, fino ad ottenere un minimo nella funzion e di errore, data dalla data dalla varianzavarianza dell’errore di predizione. Per i metodi visti, però , la dell’errore di predizione. Per i metodi visti, però , la varianzavarianza decresce decresce monotonicamentemonotonicamente al crescere di p.al crescere di p.

Sono stati definiti numerosi criteri basati su Sono stati definiti numerosi criteri basati su funzioni non monotone decrescentifunzioni non monotone decrescenti , , che raggiungono un valore minimo per qualche valore di p per poiche raggiungono un valore minimo per qualche valore di p per poi crescere crescere nuovamente. Il principio è quello di inserire nel c riterio un tenuovamente. Il principio è quello di inserire nel c riterio un te rmine rmine “penalizzante”, funzione di p: infatti, il “penalizzante”, funzione di p: infatti, il “principio di parsimonia”“principio di parsimonia” afferma che afferma che l’ordine del modello deve essere il più basso possi bile.l’ordine del modello deve essere il più basso possi bile.

Vediamo i criteri più noti.Vediamo i criteri più noti.

Ricordiamo comunque che la conoscenza delle caratte ristiche del Ricordiamo comunque che la conoscenza delle caratte ristiche del segnale allo segnale allo studio e del/dei parametri che vogliamo estrarre da esso è di fostudio e del/dei parametri che vogliamo estrarre da esso è di fo ndamentale ndamentale importanza per la definizione di un importanza per la definizione di un rangerange ammissibile di valori entro cui stimare ammissibile di valori entro cui stimare p.p.

CRITERI DI STIMA DELL’ORDINE CRITERI DI STIMA DELL’ORDINE OTTIMOOTTIMO

Final Final PredictionPrediction ErrorError

Spesso sottostima lSpesso sottostima l ’’ordine ottimo.ordine ottimo.

AkaikeAkaike InformationInformation CriterionCriterion

Tende a sovrastimare p per N grandeTende a sovrastimare p per N grande

Minimum Minimum DescriptionDescription LengthLength

Non presenta il problema dell’AICNon presenta il problema dell’AIC

CriterionCriterion AutoregressiveAutoregressive TransferTransfer

Analogo al precedenteAnalogo al precedente

N=nN=n. di dati, . di dati, ρρρρρρρρpp== varianzavarianza delldell ’’errore LPerrore LP

CONFRONTO METODICONFRONTO METODI

p=3?

p=3p=3

p=3

I dati (circa 1000) provengono da un sistema di equ azioni differI dati (circa 1000) provengono da un sistema di equ azioni differ enziali del 3° ordine enziali del 3° ordine

STIMA LS RICORSIVA (RLS)STIMA LS RICORSIVA (RLS)RLS = RLS = RecursiveRecursive LeastLeast SquaresSquares . E’ detta anche stima parametrica “on line”: i . E’ detta anche stima parametrica “on line”: i parametri all’istante t sono stimati sulla base di quelli ottenuparametri all’istante t sono stimati sulla base di quelli ottenu ti all’istante tti all’istante t --1.1.

Caratteristiche:Caratteristiche:

•• Alla base dei sistemi di Alla base dei sistemi di controllo adattativocontrollo adattativo(es: dosaggio farmaci)(es: dosaggio farmaci)

•• Occupazione di memoria modestaOccupazione di memoria modesta

•• Utili per il Utili per il trackingtracking dei parametri tempodei parametri tempo --varianti, e per individuarne cambiamenti varianti, e per individuarne cambiamenti significativi (significativi ( eses: diagnosi di : diagnosi di malfunzionamento).malfunzionamento).

MINIMI QUADRATI RICORSIVIMINIMI QUADRATI RICORSIVICon il metodo LS abbiamo visto che Con il metodo LS abbiamo visto che i parametri i parametri θθθθθθθθ(t) (t) si ottengono da:si ottengono da:

Definiamo:Definiamo: Da cui:Da cui:

Sostituendo Sostituendo nella (1):nella (1):

(1)(1)

Che possiamo scrivere come:Che possiamo scrivere come:

εεεεεεεε(t)= e(t)= errorerrore di predizionedi predizione

(2)(2)

Il calcolo di P(t) implica un’inversione di matrice ad ogni iterIl calcolo di P(t) implica un’inversione di matrice ad ogni iter azione azione (numericamente poco efficiente). (numericamente poco efficiente).

(3)(3)

RLS (RLS (contcont .).)Utilizzano il lemma di inversione di matrici (v. so tto), da (2) Utilizzano il lemma di inversione di matrici (v. so tto), da (2) la la ricorsionericorsione su P(t) su P(t) si può scrivere come segue:si può scrivere come segue:

Divisione fra scalari Divisione fra scalari invece di inversione invece di inversione

di matricedi matrice

Da cui nella (3):Da cui nella (3):

LEMMA DI INVERSIONE DI MATRICILEMMA DI INVERSIONE DI MATRICI

Dimostrazione:Dimostrazione:

RLS CON FORGETTING FACTORRLS CON FORGETTING FACTORModifica del metodo RLS visto, per il Modifica del metodo RLS visto, per il trackingtracking dei parametri nel caso di sistema dei parametri nel caso di sistema tempotempo --variante.variante.

Si modifica il funzionale da minimizzare tramite un fattore Si modifica il funzionale da minimizzare tramite un fattore λλλλλλλλ ((forgettingforgetting factorfactor ):):

λλλλλλλλ<1. Minore <1. Minore èè λλλλλλλλ, pi, pi ùù velocemente vengono velocemente vengono ““ dimenticatedimenticate ”” le misure passate. La le misure passate. La ““ memoriamemoria ”” èè data da: 1/1data da: 1/1 -- λλλλλλλλ. . EsEs.: .: λλλλλλλλ=0=0.99.99⇒⇒⇒⇒⇒⇒⇒⇒ 1/11/1-- λλλλλλλλ=100; =100; λλλλλλλλ=0=0.95.95⇒⇒⇒⇒⇒⇒⇒⇒ 1/11/1-- λλλλλλλλ=20.=20.

La formulazione del metodo generale La formulazione del metodo generale èè quindi (caso precedente: quindi (caso precedente: λλλλλλλλ=1):=1):

Condizioni iniziali:Condizioni iniziali:

ESEMPIO: SIMULAZIONE ESEMPIO: SIMULAZIONE SEGNALE ULTRASONICO SEGNALE ULTRASONICO

Obbiettivo:Obbiettivo: Mappe spettrali per la Mappe spettrali per la differenziazione non invasiva di patologie differenziazione non invasiva di patologie oculari. oculari. RetinoblastomaRetinoblastoma , melanoma, ecc. sono , melanoma, ecc. sono assimilabili a sfere di dimensioni variabili (20 assimilabili a sfere di dimensioni variabili (20 µµµµµµµµ--100100µµµµµµµµ.).)

Valore massimo della PSD con modello AR(3) Valore massimo della PSD con modello AR(3) tramite RLS e tramite RLS e forgettingforgetting factorfactor variabile: 0.7 variabile: 0.7 ≤≤≤≤≤≤≤≤ λ≤λ≤λ≤λ≤λ≤λ≤λ≤λ≤0.99 0.99 (da 3 a 100 campioni passati di memoria) o fisso: (da 3 a 100 campioni passati di memoria) o fisso: λλλλλλλλ=0=0.98.98 (50 campioni passati). (50 campioni passati).

λλλλλλλλ variabilevariabile

λλλλλλλλ fissofisso

Valore Valore teoricoteorico

IDENTIFICAZIONE PARAMETRICA: IDENTIFICAZIONE PARAMETRICA: ASPETTI PRATICIASPETTI PRATICI

•• Scelta del segnale di ingressoScelta del segnale di ingresso (raramente possibile per segnali (raramente possibile per segnali biomedicibiomedici !): deve avere !): deve avere PSD>0 nel PSD>0 nel rangerange di frequenze di interesse.di frequenze di interesse.

•• Presenza di Presenza di valor medio non nullovalor medio non nullo : genera una continua non desiderata e crea una : genera una continua non desiderata e crea una polarizzazione delle stime. Si può eliminare il val or medio primpolarizzazione delle stime. Si può eliminare il val or medio prim a delle elaborazioni o a delle elaborazioni o lavorare sul segnale differenziato: lavorare sul segnale differenziato: ∆∆∆∆∆∆∆∆yy(t)(t)==yy(t)(t)--y(ty(t --1).1).

•• Scelta della Scelta della frequenza di campionamentofrequenza di campionamento : bassa : bassa ⇒⇒⇒⇒⇒⇒⇒⇒ perdita di informazione alle alte perdita di informazione alle alte frequenze; alta frequenze; alta ⇒⇒⇒⇒⇒⇒⇒⇒ esaltazione del contributo delle componenti alle al te frequenzeesaltazione del contributo delle componenti alle al te frequenze (può (può essere solo rumore, non sempre essere solo rumore, non sempre èè ddi interesse).i interesse).

•• PrefiltraggioPrefiltraggio per ridurre il rumore: solo se lper ridurre il rumore: solo se l ’’obbiettivo non obbiettivo non èè proprio quello di stimare il proprio quello di stimare il rumore!rumore!

•• Scelta del modello e dellScelta del modello e dell ’’ordineordine : dipende dalla disponibilit: dipende dalla disponibilit àà o meno di ingressi misurabili o meno di ingressi misurabili e dal tipo di analisi che si vuole effettuare. Vale il e dal tipo di analisi che si vuole effettuare. Vale il principio di parsimoniaprincipio di parsimonia = utilizzare il = utilizzare il modello ottimo di ordine minimo possibile, anche tr amite i metodmodello ottimo di ordine minimo possibile, anche tr amite i metod i visti (AIC, MDL, ecc.).i visti (AIC, MDL, ecc.).

•• ValidazioneValidazione del modellodel modello : analisi statistica degli errori di predizione (do vrebbero esse: analisi statistica degli errori di predizione (do vrebbero esse re re scorrelatiscorrelati con lcon l ’’ ingresso e fra di loro).ingresso e fra di loro).

•• Buon senso e conoscenza del problemaBuon senso e conoscenza del problema : documentarsi sulle caratteristiche del segnale, : documentarsi sulle caratteristiche del segnale, sugli obbiettivi, osservare i dati, osservare i ri sultati, ecc.sugli obbiettivi, osservare i dati, osservare i ri sultati, ecc.

ESEMPIOESEMPIOModello ARMA(1,2): simulazioni con ARMA(n,n), n=1,2 ,3.Modello ARMA(1,2): simulazioni con ARMA(n,n), n=1,2 ,3.

1=segnale vero; 2=segnale simulato.1=segnale vero; 2=segnale simulato.

ARMA(1,1): residui correlati; ARMA(2,2): residui ARMA(1,1): residui correlati; ARMA(2,2): residui scorrelatiscorrelati

ingressoingresso

ARMA(2,2)ARMA(2,2)

ARMA(1,1)ARMA(1,1)

ARMA(3,3)ARMA(3,3)

AC residuiAC residui

AC residuiAC residui

Corr.ICorr.I /O/O

Corr.ICorr.I /O/O

CAMPIONAMENTOCAMPIONAMENTO•• Segnale analogicoSegnale analogico : rappresentazione dell’evento fisico descritto da un segnale co: rappresentazione dell’evento fisico descritto da un segnale co ntinuo. Il ntinuo. Il

segnale cioè è sempre simile (analogo) a se stesso. segnale cioè è sempre simile (analogo) a se stesso.

•• Segnale digitaleSegnale digitale (o numerico): assume solo un numero fisso di valor i, corrispon(o numerico): assume solo un numero fisso di valor i, corrispon denti a denti a determinati istanti temporali. E’ una rappresentazi one “discretideterminati istanti temporali. E’ una rappresentazi one “discreti zzata” di un segnale zzata” di un segnale analogico che viene memorizzato con una serie di “d igits” pari aanalogico che viene memorizzato con una serie di “d igits” pari a 0 o 1, detta codice binario.0 o 1, detta codice binario.

•• Frequenza di campionamentoFrequenza di campionamento FFss:: il teorema del campionamento di il teorema del campionamento di NyquistNyquist afferma che un afferma che un segnale può essere rappresentato in modo esatto se campionato adsegnale può essere rappresentato in modo esatto se campionato ad una frequenza almeno una frequenza almeno doppia della massima frequenza presente nel segnale . doppia della massima frequenza presente nel segnale .

•• AliasingAliasing : distorsione data dalle frequenze oltre : distorsione data dalle frequenze oltre FFss/2. Si usano filtri /2. Si usano filtri passapassa --bassobasso , con valore , con valore di di cutoffcutoff < < FFss/2./2.

•• I filtri non sono in genere perfetti. ES.: nei CD s i usa FI filtri non sono in genere perfetti. ES.: nei CD s i usa F ss=44.100 Hz =44.100 Hz ⇒⇒⇒⇒⇒⇒⇒⇒ l’orecchio umano fa da l’orecchio umano fa da filtro naturale (filtro naturale ( rangerange udibile: 20Hzudibile: 20Hz --20kHz).20kHz).

QUANTIZZAZIONEQUANTIZZAZIONE

(a) Segnale analogico (b) segnale campionato (c) (a) Segnale analogico (b) segnale campionato (c) quantizzazionequantizzazione a 3 bita 3 bit

L’ampiezza di ogni campione di segnale è rappresent ata da un numL’ampiezza di ogni campione di segnale è rappresent ata da un num ero compreso fra 0 e 2ero compreso fra 0 e 2 nn

((eses: 2: 21616= 65.538. Il = 65.538. Il convertitore A/Dconvertitore A/D è in questo caso a n = 16 bit).è in questo caso a n = 16 bit).

Schema di acquisizione e conversione A/D di un segn aleSchema di acquisizione e conversione A/D di un segn ale

ΩΩΩΩΩΩΩΩcc=freq=freq . max. del segnale analogico; . max. del segnale analogico; ΩΩΩΩΩΩΩΩNN=freq=freq . . maxmax del filtro analogico; del filtro analogico; ΩΩΩΩΩΩΩΩsamplsampl =freq=freq . di campionamento; . di campionamento; ωωωωωωωωcc== freqfreq . . maxmaxdel filtro digitale.del filtro digitale.