smo othing cho - johns hopkins bloomberg school of ...ririzarr/talks/jsm2002.pdfrisk estimation and...
TRANSCRIPT
Choosin
gSm
ooth
ness
Para
mete
rsfo
r
Sm
ooth
ing
Splin
es
by
Min
imizin
gan
Estim
ate
ofRisk
Rafael
AIrizarry
Dep
artmen
tof
Biostatistics,
Johns
Hop
kins
University
http://www.biostat.jhsph.edu/~ririzarr
atJS
M2002,
8/14/2002
Outlin
e
•Practical
motivation
•Sm
ooth
ing
splin
es
•REACT
estimators
•Choosin
gsm
ooth
ness
param
eter
•Resu
ltsan
dexam
ples
1
Ack
now
ledgm
ents
•W
ahba
(1990)Splin
eM
odels
for
Obse
rvatio
nalD
ata
,SIA
M.
•B
uja,
Hastie,
and
Tib
shiran
i(1989)
Annals
ofSta
tistic
s26.
•B
eran(2000)
JA
SA
95
•Rudy
Beran
•http://www.stat.ucdavis.edu/~beran/plsrev.pdf
2
Circa
dia
nPatte
rn
0.00.2
0.40.6
0.81.0
−1.5
−1.0
−0.5
0.0
0.5
1.0
1.5
x
y
3
How
do
we
estim
ate
circadia
npatte
rn?
0.00.2
0.40.6
0.81.0
−1.5
−1.0
−0.5
0.0
0.5
1.0
1.5
x
y
4
Nonpara
metric
Sta
tisticalM
odel
•Con
sider
the
signal
plu
snoise
model:
Yi=
s(i/n)+
εi ,
i=
1,...,n
•s(t)
represents
the
circadian
pattern
•N
on-p
arametric
becau
ses(t)
not
describ
edby
param
eters
•εiaccou
nts
form
easurem
ent
erroran
den
vironm
ental
variation
•A
ssum
eG
aussian
white
noise
ε∼N
(0,σ2)
5
Sm
ooth
ing
Splin
es
•Function
sλ∈
Wm2
[0,1]
yieldin
gth
esλ
that
min
imizes
pen
alizedleast
squares
(PLS)
1n |y−
s| 2+
λ
∫
1
0
s(m
)(u)
2du
•For
m=
2,given
aλ,th
esolu
tionis
anatu
ralcu
bic
splin
ew
ithkn
otsat
i/n,i
=1,...,n
.
•Reich
(1967)N
um
ere
risch
Math
em
atik
10
•Larger
λgive
smooth
erestim
ates
6
Perio
dic
Sm
ooth
ing
splin
e
•For
our
data
we
wan
tperio
dic
function
s:s(0)
=s(1)
sλ (t)≈
a0 +
n/2−
1∑j=
1
aj √
2cos(2π
jt)+
n/2−
1∑j=
1
bj √
2sin
(2πjt)+
an
/2cos(π
nt)
•PLS
solution
:U
DU
Ty,z≡
UTy
issp
ectraldecom
position
(Uis
DFT
)
•D
diagon
alm
atrix,en
triesin
closedfrom
function
sof
λ,m
,an
dj
f(λ)
=f
0 ,f1 (λ
),f1 (λ
),...,
fn
/2−
1 (λ),
fn
/2−
1 (λ),
fn
/2 (λ
)′
•Tran
sform,sh
rink,
transform
back
7
Sm
ooth
ing
Splin
eEig
en
Deco
mpositio
n
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
1th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
1th FFT row0.0
0.20.4
0.60.8
1.0
−0.2 0.0 0.1 0.2
2th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
2th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
3th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
3th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
4th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
4th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
5th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
5th FFT row
05
1015
2025
30
0.0 0.2 0.4 0.6 0.8 1.0
Eigenvalues
8
Data
(y),
Tra
nsfo
rm(z
),and
fit
(s)
Tim
e
Temperature
05
1015
20
35.5 37.0
•
•
••
•
••
••
••
••
••
••
•
•
••
••
••
••
••
••
••
••
••
••
••
•
••
•
•
•
•
•
••
•
••
••
•
•
••
••
••
••
••
••
••
•
••
••
••
••
••
••
••
••
•
••
•
•
••
coefficient of z
Absolute value
1020
3040
0 1 2 3 4 5 6
•
•
•
••
••
••
••
••
••
••
••
••
••
••
••
••
••
••
••
••
••
••
••
••
••
9
REACT
Stan
dsfor
Risk
Estim
ationan
dA
dap
tationafter
Coord
inate
Tran
sformation
Basic
idea
isto
estimate
sby:
•Coord
inate
transform
ation:
Ideally,
ξ=
U′s
has
man
yzero
compon
ents
•Risk
Estim
ation:
Estim
ateth
erisk
forsh
runken
estimates
fz
•A
dap
tation:
Fin
dm
inim
um
f,tran
sformback
s=
Ufz
10
Risk
Estim
atio
nand
Adapta
tion
•D
efine
riskfor
anestim
ateof
sas
R(s,s,σ
2)=
E|s−s| 2
=E|ξ
−ξ| 2
•Con
sider
the
linear
estimators
ξ(f)
=fz
:f∈
F
whereF
isa
specifi
edsu
bset
of[0
,1] n.
These
arecalled
shrin
kageestim
ators.
•Fin
df∈F
that
min
imizes
estim
ate
ofrisk,
estimate
with
s=
Ufz
•Prob
lem:F
=[0,1] n
estimator
isin
adm
issible
•B
eran:
consid
ersm
allerF,e.g.
mon
otonic,
yields
nice
estimates
•H
owab
out
shrin
kagefam
ilyob
tained
fromsm
ooth
ing
splin
e?
11
Choosin
gλ
•T
his
motivates
the
REACT
criterionfor
choosin
gλ
•A
ssum
ef
ofth
eform
f(λ),
and
choose
λby
λ=
argm
inλ∈
[0,∞
] E|f(λ)z−
ξ| 2(1)
•W
ecan
alsom
inim
izew
ithresp
ectto
m!
12
Com
puta
tionalIssu
es
•For
perio
dic
smooth
ing
splin
es,th
eestim
ateof
risk
ave[f(λ
)−(1−
σ2/
z2)
2z2]∝
∑
n/2−
1j=
1
(
1−σ
2
a2j
)
−f
j (λ)
2
a2j+
∑
n/2−
1j=
1
(
1−σ
2
b2j
)
−f
j (λ)
2
b2j
•th
isis
weigh
tedleast
squares!
13
Fitte
dValu
es
••
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
••
••
•
•
•
•
••
•
•
••
•
••
••
•
••
•
•
•
••
•
Em
pirical and Estim
ated shrinkage coefficients
j
g_j
510
1520
0.0 0.2 0.4 0.6 0.8 1.0
14
Resu
lts
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
x
y
0.00.2
0.40.6
0.81.0
-1 0 1
RE
AC
TC
VG
ML
15
Conclu
sion
•W
orkswell
inpractice
•Sim
ulation
show
sth
isap
proachworks
aswell
(orbetter)
than
CV
and
GM
L
•G
eneralize
tooth
erpen
alizedleast
squares
problem
s
16
The
End
17
Extra
Slid
es
18
Nota
tion
y=
(y1 ,
...,y
n)′
Data
s=
E[y
]=s(1
/n),
s(2
/n),
...,s(1
)′
Sign
al
|y−
s| 2=
∑
ni=1y
i−
s(i/
n)
2Loss
function
Ab
Matrix
multip
lication
ab
Inner
product
(Slan
guage
multip
lication)
aGen
eralestim
ate(fu
nction
ofdata)
Uorth
onorm
albasis
matrix,
usu
allydiscrete
Fou
riertran
sform(D
FT
)
z=
Uy
spectral
decom
position
ofdata
ξ=
Us
spectral
decom
position
ofsign
al
f (λ)
vectorof
shrin
kageco
efficien
ts
Fsp
aceof
shrin
kagevectors
19
The
Data
•W
ehave
physiological
measu
remen
tsfrom
mice:
–B
ody
Tem
peratu
reM
easurem
ents
–A
ctivityCou
nts
–H
eartRate
•Taken
every30
min
utes
for48
hou
rsevery
weeken
d
•W
ehave
aT
ime
Series
oflen
gth96
foreach
weeken
dfor
eachm
ouse
20
The
Data
Weekend D
ata for Mouse 4
Week
Body Temp
25 30 35
2930
3132
3334
3536
3738
3941
4142
4344
Week
Activity
0 100 300
2930
3132
3334
3536
3738
3941
4142
4344
21
Activity
Counts
• • •• •• • •• •• • •• • • • •••• ••• •• •••• • ••• •• •• ••••• •• •• • • •• •• •••• •••• •• • • • •• •• • •• • •• •• • ••• • •••• • •••••• • •• • ••• • ••• •• •• •• ••• •• •• ••• •• • •• •• ••• •• •• ••• •• • •• • ••• •• ••• • ••• •• •• • •• ••• •••• • •• • •• •• • • •• •• ••
• • •• •• ••• •• • • •• •••• •• •• •••• •••• • •••• • • •• •• ••• • •• •• • • •• • •• ••• ••• • •• ••• •• •• • •• •••• •• • •• • ••• •••• •• •••• • • •• ••• • • •• • ••• •• •• • ••• ••• •• • •• • • • •• • •• •••• ••• •• • •• • •• •• • •• • •• •• • • ••• •• ••• • •• •• • • •• •• •• ••• ••
• •• • ••• •• ••• • •• • •• • • •• ••• • •• ••• • • •• •• •• • •• •• •• •• • ••• ••• •• • • ••• ••• •• • • • •• •••• •• • •• •• •• • • ••• ••• •••• • • ••• ••• •• •• •• ••• •• • • •• •• • • •• • •• •• • • • • • •• ••• •• ••• •• •• ••• •• • •• • •• •• ••• •• • •• •• •• •• •• • ••• •• •• •
• •• • •• •••• • •• •• •• • •• •• •••• • •• ••• •• • •• •• •• •• •• •••• ••• • •• •• •• ••• •• • ••• • •••• ••• •• • ••• •• • • •• •••• • • •
• •• • •• •• ••• •• •• • •• • •• •• •• •• •• •• • •••• • •• •• • •• •• •• •• •• • •••• •• •• • ••• • • •••• •• • ••• •• • •• • • ••••• • •••• •• •• • ••• •• •• ••• • •• •• •• • •• •• •• ••• •• • •• • •••• • ••• •• • •• • •• ••• ••• • ••• • • •• •••• •• • •• • •• ••• •• • ••• ••• •
• •• •• •• • •• ••• •• •• • •• •• •• •• ••••• •• •• •• •• •• •• •• ••• •• ••• •••• •• ••••• •••• •• • •• •• ••••• ••• • •• • •• ••• • • •••• • ••• • ••• ••• •• • •• • •• •• •• ••• • •• •• •• ••• • • ••••• •••• ••• •• ••• • •• • • •• •• • • • • • •• • ••• • •••• •• • •• • ••• • •• • •
• ••• •• •• ••• •• •• •• •• •• ••• • • •• •• •• • •• • •• • • •• •• ••• •• •• ••• • • ••• • •• •• • •• • •• •• •• ••• •• •• • •• ••• ••• ••• ••• ••• ••• •• •• •• •• • • •• •• •• ••• ••• •• •• • • • ••• • ••• •• •• •• •• • •• •• •• •• • •• • •• •• • ••• •• •• •• • • • • • •••• • •• •
•• •• • •• • •• • ••• • •• •• •• • • ••• • •• • •• ••• •• •• • •• •• •• •• • ••• •• •• • ••• •••• •• •• • •• ••• •• ••• •• •• •• • •• ••• •• •• ••• • ••• •••• •• • •• ••• •• • •• •• • •• •••• ••• •• •• • •• ••• • •• ••• •• • • • •• ••• • • •• • • • ••• • • •• •• •• •• • •• •• •• • ••• • •• ••
•• • •• • • ••• •• • •• •••• ••• • •• ••• •• ••• • • ••• • ••• •• • •• • ••• • •• •• • •• • •• ••• • • • •• • •• •• •• •• •• • •• •• • ••• • •• ••• •• •• • •• ••• •• •••••• ••• • •• •• • •• • ••• •• •• •• • ••• •• •• ••• •• •• • •• • • ••• ••• • •• • ••• •• •••• ••• •• •• • • •• • •• ••
• ••• • • •• • •• •• •• • •• • • ••• • ••• •••• •••• •••• •••• ••• ••• ••• •• •••• •• • • •• • • •••• ••• • • •
•• • • •• •• ••• •• • •• •• • • • •• •• • • • •• •• •• • •• ••• • •• • ••• ••• •• •• ••• •• • •• •• • •• •• •• • •• •• •• • •• • •• •• •• •• •• • ••• ••• ••• •• •• •• ••• ••• •• • • ••• • ••• ••• ••• ••• • •• ••• •• • ••• ••
•• • •• •• ••• •• • •• •• ••• • •• •• • •• ••• ••• •• • • ••••• • • ••• •• •• •• • ••• ••• •• • •• •• •• • • •• • • • •• ••• ••• •• • ••• ••• •••• •• •• • ••• •• • •• • ••• ••• •• • • •• ••• •• •• •• • ••• •• •• •••• •• ••••• ••• •• •• • •• • • •• •• •• •• •• ••• • • •• ••• •••• ••
•• • •• • •• •• ••• •• •• • ••• • • •• • •• •• •• • ••• • • ••• ••• • ••• • •• •• • •• •• •• ••• • •• •• • • ••• •• •• • •• • •• •• • • •• • •• •• • • •• •• • • •• •• • •• •• •• • • • • •• ••••• •• ••• ••• •• •• •• ••• •• •• •• •• • ••• • • • •• •• • •• •• • •• ••• • • •• •••• •••
• ••• •• • •• • ••• ••• •• •• • ••• • • ••• •• • •• ••• •• ••• • •• • ••• •• •• ••• •••• ••• • ••• ••• •• •• •• • •• •• • • •• • •••• •• •• •• •• •• ••• ••• • •• •• •• •• • • • • ••• ••• •• •• • •• •• • ••• • •• • • •• • ••• •• • •• • •• • •• •• • • •• • • •• ••• •• •• •• • • •••• ••• •
•• ••• • •• • ••• •• •• •• •• • •• • • •• • ••• • •• • •• • •• ••• • •• • ••• •••• ••• • • • •••• • •• • •• • • •••• • •• ••• • •• • ••• • ••••• • • ••• ••• •• •• • • •• •• • •• • • •• • •••• •••• •• • ••• •••• • •• •• •• • •• • •• ••• •• ••• • •• • ••• •• •• •• •• ••• • •••• • •• ••
• •• •• •• •• ••• •• • • •• • • •• •• •• •• • •• • • •• • • • ••• • •• ••• ••• • •• •• • • •• •• •• •••• •• ••• ••• •• • ••• • • • •••• •• •• •• •• •• •• • •• •• • •• •• •• • • • • • ••• •• •• • ••• • • •••• • ••• • • •• ••• • •••• ••• • •• •• •• • • •••• •• • ••• •• • •• ••• • •• • •
•• •• •• •• •• ••• •• •• • ••• ••• •••• •• •• • •• •• •• ••• •• ••• • •• •• ••• ••• ••• •• ••• • • •••• • • •• • • •• •• • • •• •• •• ••• ••••• •• •• • •• • •• • ••• •• •• •• ••• •• •• ••• ••• •• • •• • •• • ••• • • • ••• • •• • •• • • ••• ••• ••• • •• •• ••
••• • •• • ••• •• • ••• • •• • •• • •••• • ••• • ••• • •• • ••• •• • • ••• • ••• •• ••• • •• •• •• •• •• •• •• •• •••• • • ••• • ••• •• •• •• ••• ••••• • •• ••• ••• ••• • •• ••• •• •• ••• •• ••• • •• •••• • • ••• ••• •• •• ••• •• • •• •• •• •• ••• •• •••• ••• •• •• ••• •• • •• • •• •• ••• ••• • • •• •• • •• ••• • ••• •• • ••• ••• ••• ••• • ••• • •• •• •• ••• • •• ••
• • • •• •• • ••• ••• •• • • •• • •• • •• • • •• •• •• •• •• • •• •• •• • ••• •• • ••• • •• •• • ••• •• ••• ••• •• •••• • • •• •• •• •• •• •• ••• •••• ••• • ••• • •• • •• • • • •• •• •• •• ••• •• •• • •• • ••• •• ••• • •• •• ••• •• • •• •• •• •• • ••• • ••• ••• •• ••• • • • •••• •• • •
•• •• •• • ••• •• • •• •• •• • •• •• •• •• • •• •• • •• • •• ••• ••• •••• ••• ••• ••• •• • •• •• • •• •••• •••• • •• • •••• • ••• •••• ••• ••• • •• ••• ••• •• •• • •• • •• • • •• • •• •• • •• •• •• • •• •• • •• • • •• •• • ••• • ••• •• •• • •• •• • • •• •• • •• • •• • • •••• ••• • ••••
•• ••• •• • ••• •• •• • ••• •• • • •• ••• • ••• •• •• • • •• • ••• •• ••• •• •• •• ••• • • •• •• •• •• • •• • •• • • •• •• • ••• • •• ••• • • ••
•• ••• •• • •• • • •• •• ••• • •• •• • •• •• ••••• • • ••• •• •• • •• ••• • • ••• •• • •• • ••• •• ••• ••• •• •• •• • ••• ••• •••• • •• •• •• •• • ••• •• • •• ••• • •••• •• •• ••• •• ••• • • ••• • •• • •• • •• • • ••• •••• ••• • • • •• • •• •• ••• • •• • •• •• • •••• • ••
•• •• •• • •• •• ••••• • •• •• •• ••• ••• •• • ••• •• •• •••• • ••• •••• •• • ••• •• • • •• •• •• •• • •• •• • • • • •• •• •• • • •• • • •• ••• • •• •• •• •• •• • ••• •••• • •• • •••• •• ••• • •• • •• • ••• •• • ••• •• •• ••• •• • •• • ••• ••• • • ••• •• ••
• •• •• ••• •• ••• ••• • •• ••• ••• ••• • •• ••• •• •• •• •• • •• •• ••• •• ••• •• • •• •• •• •• • ••• • •• • •• • ••• • •••• •• • • •• •• • • ••• • • • •• •• • •• • ••• • • •• •• • •• • • ••• • • •• • •• •• • ••• •• •• •• • •• • ••• • •••• •
• •• ••• • •• ••• •• ••• •• •• • • • •• • •• • •• ••• • •• • •• • •• •• • •• •• • •• • •• • • ••• ••• • ••• •• • ••••• •• • ••• •• •• •• ••• • • • •••• •• • •• •• •• • ••• • ••••• • ••• • • •• •• • ••• •• ••• • ••• ••• •• • •• • •• • •••• •• ••
• ••• ••• •• •• •• •• • •• • •• •• • ••• • •• ••• • ••• • •• ••• • •• • •• •• • •• ••• • •• •• •• • •• •• • •• •••• •• • •• •• •• •• •• ••• ••• ••• •• • •• • ••• •• •••• • • • ••• •••• ••• •••• • •• • • •• •• •• •• • ••• •• • ••• •• •••• • •• • • • •• •• •• •••• • •• • •• ••• ••• • • •• • •• •• ••• • ••• •• ••• •• • •• •• • • •• •• •••• •• • •••• •• •• •• ••• • • ••• •• •• • •• •• •• ••• • ••• • •••• •• •• ••• • •• •• • ••• ••• • •• •• ••• ••• • • •• • •• •• •• •• • • • •••• •• • •• •• •• •• ••• ••• • • • • ••• • •• •• •• • ••••• •• •• • •• •••• • •• • ••• • • ••• ••• • •• • •• •• ••• ••• •• •• •• • • •••• • •• • •••• • •• •• ••• • ••• •• • •• •• • • • ••• • •• •• ••• ••• • •• •• • •• •• • ••• ••• •• ••• •• •• ••• •• •• • ••• •• • •• •• •• • •• ••• • •• • ••• •• • ••••• • •• •• •• •• •• •• • •• • •• • •• ••• •• •• •• ••• • •• •• •• • •••• ••• • ••• ••• •• •••• • •• •• • •• • •• •• •• •• • ••• •• • •••• • • •••• ••• • •• •• • •• • •• •••• •• ••• ••• • • •• • •• ••• •• •• •• • •• •• • • •• • • ••• •• ••• •• •• • •• •• • ••• •• • •• •• •• •• • ••• •• ••• •• • • ••• •• ••• •
• • •• •• •• ••• ••• •• • •• •• •• ••• ••• ••• •• • •• •••• •• ••• •• ••• • •• ••• • •• ••• •• •• ••••• • •• •••• •• • • • • •• ••••• ••• ••• • •• •• •• • •• •••• •• • •• •• • •• •• •• ••• ••• •• •••• • •• • ••• ••• • •• ••• •• •• ••• • •• • • • •• • •• •• • •• •• •• • •••• ••• • •
• ••• •••• ••• •• • •• •• •• •• •••• ••• • • •• •• •• • • •• ••• • • •• ••• ••• •• • •• •• •• • •• • • • •• •• •• •• • ••• •• ••• •• •• •••• •••• • ••• •• • •• • •• ••• ••• • ••• •••• •• •• •• •• • ••• •• • ••• •• •• • •• • •• • • •• • • •• •• • • •• ••• • • ••• •• ••• • • •• • • •• ••• ••
• •• •• ••• •• •••• •• • •• •• • • • •• • •• •••• •• • •• • •• •• ••• •• •• •• • •• ••• • •• • •• • • •• •••• •• • •• • •• ••• • • •• • ••• •• • •
•• •• ••• ••• •• •• •• • •• •• ••• • ••• ••• •• • •••• • •• • •••• •• • •• • •• •• •• •• ••• • • •• ••• •• •• •• •• •• ••• •• • • • ••• • ••••• •• ••• •• • •• •• •• • • ••• ••• • • •• ••• • • •• • • • •• •• • •• • •• ••• •• •• • ••• •• • •• • ••• •• •• • •• •• • •••• • • •• • • ••• • •• ••
• ••• •• • •••• •• •• • • •• ••• • ••• • • •• •• ••• •• •• • ••• • •• •• •• • •• • ••• ••• • ••• •• • • ••• • • •• • •• •• ••• •• • •• ••• ••• ••• • •• •• •• •• •• •• ••• ••• •••• • •• • •• •• • ••• •• ••• • •• • ••• •• • •• • • •• •• •• • • •• ••• • •• • •• •• • •••• •• •• • ••• •• •
• •• •• •• • ••• •• • ••• • ••• •• •• • ••• •• •• •• •• •• • • •••• • •• • •• • •• ••• •• ••• • •• • •• • ••• •• • •• ••• • ••• •• • • •••• •• ••• •• • ••• ••• ••• ••• • • •• • •• • •• •• ••• •• •• •• ••• • • ••• • ••• ••• •• •• • ••• •• • ••• • •• • •• •• •• •• • ••• • •• • • ••• ••• •
••• • •• • •• ••• •• •• •• • •••• ••• ••• •• •• • • •• ••• ••• •• • •• ••• • ••• • •• •• • ••• •• •••• •• •• •• •• •• • •• • •• ••• •• • ••••• • •• • •• ••• • •• • • •• • • •••• • •• • •• • •••• •• ••• • •• • ••• • ••• • ••• • •• • •••• • • • •• •• • •• • ••• •••• • ••• • • • • ••• •• •••
•• ••• •• • •••• •• • •••• • •••• •• • ••• •••• •• •• •• •• •• •• •• ••• •• • •• •••• ••• ••• ••• ••• • ••• ••• •• •• • ••• • • ••• • • ••• •• • • ••• ••• •• • •• • ••• ••• • •• •• • ••• •• •• ••• • • ••• • •• • ••••• ••• ••• ••• •• •• •• •• •• •••• • •• •• • •• ••• •• • • •• • • •• • ••• • •• •• ••• •••• •• •• •• ••• •• • • ••••• • •• •• ••• • ••• ••• •• ••••••
• • ••• • •• •• • ••• •• • •• • •• •• •• • •• ••• ••• •• ••• •• •• • ••• • ••• ••• •• • ••• • •• • •• •• •• •• • •• • • •• • • •• • •• •• • ••• ••• • ••• •• •• ••• •• ••• •• •• •• •• •• •• • •• • • ••• •• • •• • •• • •• • ••• •• •• •• ••• • •• • •••• • • •• • ••• • ••• • ••• ••• ••
•• • • •• •• •• ••• •• • •• • •• • •• •• ••• •• • •• •• •• ••• ••• • • •• •• ••• • •• • •••••• •• •• •• • •• ••• • ••• •• •• • •• ••• • •• ••
•• • •• • ••• • ••• •• • •• •••• •• • •• •• •• • •• ••• •• • • •• •• •• •• •• ••• •• • ••••• •• •• • •• ••• •• • • • •• •• •• • •• •• •••• ••••
•• • •• •• •• • • • •• •• • •••• •• • • •• • •• •• • • ••• •••• ••• •• • • ••• ••• • •• • •• •• •• ••• • •• •• • •• •• • •• • • • ••• • •• •••••• •• • •• • ••• •• ••• • • •• •• • • •• •• •• •• •• • ••• •• ••• • •• ••• • ••• •• •• •• •• ••• •• •• •• • •• • •• •• • •• •• ••• ••• ••• ••
• •• ••• •• •• ••• •• •• •• ••• •• •• •• •• •• •• • •• ••• • • •• •• ••• •• •• • •• ••• •• •• • •• •• • •• • •• • •••• • • •• • ••• • ••• •• • ••••• •• • •• • •• ••• •• • • •• ••• •• •• •• •• • •• •• • • • •• • ••• ••• •• •• ••••• •• •• • ••• •• ••• •• • •••• • •• • •• •• •• • • •• • •
• •• ••• •• •• ••• • •• • •• • •• •• •• •• • • •• •• •• •• • •••• ••• •• •• • •• •• •• • •• •• •• • • •• ••• •• •• •• •• • • ••• ••• ••• •• ••• • ••••• •• •• •• ••• • • ••• • ••• •• • ••• •• ••• • • ••• •••• •••• ••• •• •• •• •• • ••• ••• •• •• •• ••• • •• •• • •• ••• ••• ••
•• ••••• • ••• ••• •• ••• ••• •• • •• • •• •••• • •• • • • ••• • ••• • •• ••• • •• •• • • •• •• • • • •• • • ••• • • •• •••• •• • •• •• • •••• ••• •• •• ••• • •• •• • •• •• ••• • •• •• •• • • ••• • • •• •• ••• •• •• • ••• •• •• • •• • • •• • •• •• • • •• •• • • •• ••• • • • • •• • •• •• ••• ••• •• • • •• ••• ••• •• • ••• • • •• • •• • •• ••••• •• ••• •• • •••• •• • •• • •• •• •• •• •• • •• • •• • • • •• • ••• ••• •• •• •• • •• • ••• •
•• •• •••• ••• • • •• •• •••• • •• •• •• •• • •• • • •• •• • • ••••• • •• • •• •• ••• •• •• • •• •• •• • •• •• •• • •• •• • •• • ••• •• •• • •••• •••• •• •• • ••• • •• • •••• •• • ••• • • •• •• •• •• •• •• •• ••• • • ••• •• • •• ••• •• •• •• • • •• •• ••• • •• • •• •• •• • •••
• • ••• ••• •• • ••• •• •• •• •• •••• •• • • ••• ••• • •• ••• • • •• • •• •• • •• • •• • • •• •• ••• ••• •• ••• •• •••• •• • ••• •• ••• •• •• ••• • ••• • •• •••••• •• •• •• •• ••• •• •• ••• • •• •• • • ••• • ••• • ••• • ••• ••• •• •• • ••• •• •• • •• •• •• • ••• •• •• • •• • •• •• • ••••• • •• ••• •
• • •• •• • •• • ••• •• •• • •• • ••• • • •• • •• ••• • • ••• •• • ••• •• •• •• ••• •• •• •• • •• • • • •• • • •• • •• •• • •• •••• • • ••• • ••• ••• •••• • ••• • ••• •• • •••• • ••• • •••• ••• • • •• ••• • •• • •• • ••• ••• •• • • ••• • • ••• ••• • •• • ••• •••• •• • •• ••• ••• •• ••• •• •
• •• • •• • •• •• ••• •• •• ••• •• • ••• ••• • • •• •• • •• ••• • • •••• •• •• •• ••• •• ••• •• • •• •• • ••• ••• •• •• • ••• •• •• • • ••• •• • ••• •• ••••• • • •• • • •• •• ••• • • ••• • • • •••• •• • • •• •• • •• ••• ••• •• • •• • ••• ••• •• ••• • • • •••• • •• • •
• •• • •• •• •• •• •• ••• • •• ••• • •• • ••• •• •• • ••• ••• • •• ••• ••• ••• • •• •• •• ••• •• •• •• •• •• ••• •• •• • •• • •••• •• ••• •• •• ••• • •• •• •• •• ••• •• •• ••• • •••• •• • •• •• •• • ••• •• • • •• ••• •• ••• •• •• •• ••• ••
•• •• • •• • •••• • •• • •• • ••• •• •• •• •• ••• • ••• •• •• • •• •• •• •• ••• ••• •• •• • • •• ••• • • ••• ••• • •• •• •• •• • •••• • ••• •• •• • ••• • •• ••• •• • •• •• • •••• •• ••• • •• •• •• •• •• •• • •• •• ••• ••• • • •••• ••• ••• •• ••• •••• • •• ••• • •• • •• • ••• •• •• •• •• •• •• • •• • •• • ••• • •• • •• ••• •• •• •• ••• •• • •• • •• • • •• ••• ••• • • •• •• • • • ••• • ••
• •• • •• •• • ••• • •••• • • •• ••• • •• • • •• • • ••• •• • ••• •• ••• •• • ••• •• ••• ••• • •••• • •••• •• • •• • •••• •• • ••• ••• • ••• •• •••• ••• • •• ••• • •• • •• • •• •• •• •• ••• •• •• ••• •••• •• ••• •• • ••• ••••• •• • ••• •• •• •• • • • •• • • • • •• •• • •• •••• ••
•• ••• •••• ••• •• • ••• •• •• •• • •• • • •• • •••• • •• • •• •••• •• •• •• •••• • • •• ••• • •• •••• ••• •• •• •• ••• •• •• • •• • ••
• •• ••• ••• •• • ••• •• ••• • •• • • • •• •• •• • •• ••• • ••• • ••• ••• ••• • ••• •• •• •• •• ••• • •• •• •••• • • •• •• ••• •• •••• ••• •• • • •• •••• •• • •• • • •• • ••• • • • •• • •• • •• • •••• • •• ••• • ••• •• •••• •• • ••• • •• ••• •• • •• •• • •• •• • •• •••• • •• ••••
••• • •• •• • •• • ••• •• •• •• ••• • •• •• ••• •• •• ••• • •• •• •• •••• • •• •• •• •• ••• ••• •• • •• • • •• •• •• •• •••• •• •• •• • •••••
•• •• • • • •••• •• ••• •• •• •• •• • •••• •• •••• •• • ••• •• ••••• • •••• ••• •• ••• ••• •• • •• • • •• •• •• •• ••• ••• ••• • •••• •• •••••• ••• ••• • •• •• ••• •• •• • ••• •• •• • •• •• • •• • ••••• •••• ••• • •• ••• • ••• ••• •• •• • •• •• • •• •• ••• ••• •• •• ••
•• ••••••• •• •• • ••• •• ••• • ••• • •••• • ••• ••• ••• • ••• •• • •• ••• •• •••• •••• ••• • •• • •• •• • •• ••• •••• •• •• •• • •• •
• • ••• • •• •••• • ••• • •• • •• • • • •• •• •• •• •• • •• • • •• •• • • •• •••• •• ••• •••• ••• ••• • •• • • •• •• ••• •• •••• •• • •• •• • •• ••
• ••• • ••• ••••••• •••• ••• ••• •• • • •• • •• ••• ••• •• •• • ••••• • •• ••• ••• • •• ••• • •••• •• •• •• ••• •• •• • •• •• • ••••• ••
• • •• • • ••• •• •• • ••• •••• • •• •• •• • •• •• • ••• •• •• •• •• •• • ••••• • ••• ••• ••• • •• •• •• •• • •• •• • •• ••• •• •••••• •• •• ••
••• • ••• • ••• • • • ••• •••• •• • • • •• •• ••• ••• • •••• • ••• •••• ••• • •••••• • • • • •• ••••• ••• •••• •• • • • • ••• •• ••••• • •• •• ••• • • •• • ••• ••• •••• •• • ••• ••• •• ••• • •• •• •• •• ••• • • ••• ••• •• •• ••• ••• • •• •• •• •• ••• •• •• • •• ••• •• •• ••• ••• •• •• • • •• ••• •• • •••• •• •• • ••• • •• •• ••• •• •• •• •••
• • •• •• •• ••• • • • •• ••• • ••• • •• •• •• •• • •• • •• • •• • •• •• •• • •• ••• • •• •• • • •• ••• • • •••• • •• • •• •• ••• •• ••• •• •••• • • ••• ••••• • ••• • • • ••• •• •••••• •• • •• • •• •••• • ••• ••• •• •• •• ••• ••• • • ••• •• •• ••• ••• •• • •• • • ••• • •• •
• •• ••• •• •• •• •••• • •• •• • • •• •• •••• • •• • • ••• • •• • • ••• •• •• • •• • • •• •• •• ••• •• • •• •• •••• • •• •• • ••• •••• ••• •• • •• ••• • • ••• •• •• • •••• •• •• • •• • • ••• •• ••• • •• ••• • ••• • • ••••• • •• •• •• • • •• • • •• ••• •• •• • •• ••• •••• • • ••
• • •• • •• •• •• •• ••• ••• •• • • ••• ••• •• •• •• •• ••••• • ••• •• • •• •• •••• ••• • • •• •• • ••• •• •• ••• •• •• •• •• •••• • ••••• • • •• •••• •••• • •• •• ••• • ••• •• •• •• • • ••• • •• ••• •• • •• • • ••• •• •• • • •• •• • • • ••• • •• •• • ••••• •• ••• ••
• •• • ••••• • •• • •• ••• ••• • •• •• •• • •• • •• •• •••• ••• •• • ••• •• • •• ••• •• • •• • • ••• • • •• • •• ••• •• •• • •••• ••• •••• ••• ••• •• • •• •• • •• •• • ••• •• • • ••• • ••• • • •• •• •• •• • ••• ••• • •• ••• ••• ••• •• • •• •• •• • ••• •• •• • ••• • • ••• ••• •
•• • •• •••• •• ••• •• •• • • ••• •• ••• •• •• •• • • •• • • • •• •• • •• •• •• •• •• ••• •• • •• • •• ••• • • •• • ••••• •• •• •• •••• ••• ••• •• •• • •• •• • •• •• •• •• ••• • ••• ••• •• ••• •• ••• ••• ••• •••• ••••• ••• • • ••• • ••• •• •• •• •• • •• ••• •• • • ••• ••• •
• •• • •• •• ••• • •• • •• • •• • •• ••• •• • •• •• • • •• ••• • ••• •••• ••• ••• •• • • ••• • •• •• • ••• ••• • ••• •• •• ••• ••• ••• • •••••• •• ••• •••• • •• •• •••• • ••• ••• •• • •• •••• • • • • ••• •• •••• •• •• • •• •• •• • •• •• • ••• ••• •• •• ••• •• • ••• •• • ••
• •• •• • •• ••• •• •• •• • •• • • • •• •• •••• • •• •• • • •• •• •• •• • •• •• • • •••• •• • • • •• •• •• •• ••• •• •• •• • •• • •• • • •• •• ••• •
•• • •••• •• • ••• • • •• •• • •• ••• •• • •• ••••• •• • • •••• ••••• ••• •••• ••• ••• ••• • ••• •• •• ••• • ••• • •• •• •• •• •• •• ••• ••• •• •• •• •• ••• • • • •• •• •• •• • • ••• •• • •• •• •• •• • •• • • •••• •• • ••• •• •• • •• ••• •• ••• •••• • •• • ••• • •• ••
•••••••••• • • ••• •• •• •• •• • • ••• •• • ••• • •• •• • •• • •• • ••• • •• ••• • • •• • •••• ••• •• •• • •• •• •• • ••• • • •• • ••• • •• ••• ••• •• •••• •• • •• •••• •• ••• • ••• •• •• • ••••• •• •• •• • •• ••• • ••• • ••• • • •• •• ••• • •• •• •• •• • • •• •• •• ••• •• ••• ••• •• • •• •• • ••• •• • • •• •• •• • •• • •• ••• •• •• •• •• •• •• •• • •• ••• • • •• • •• •• ••• • •• •• •• •• ••• • ••• •• ••• ••• •••• • •• •• ••• • ••• ••• • •• ••• • ••• • ••• •••• •••
•• •••• ••• ••• • •• •• • • • •• ••• •• ••• •• •• •• •• ••• ••• • • ••• •• •• •• •••• ••• ••• •• •• •• •• •• •• •• •• • ••• • •• • •• •••• •• ••• •• •• • •• •• • •• ••• • •• •• •• •• • ••• •••• • ••• ••• • ••• ••• • • •• •• • •• •• • ••••• •• •• • • ••• •• ••••• •• • ••
•• •• •• •• ••• •• •••• • •• • ••• • • •• •• • ••• •• • •••• •• • ••• • •• •• •• •• • •• ••• •• • •• • • •• • ••• ••• • ••• • •••• • •• • ••• •••• • •• • •• •• •• • •• •• •• • • •• •• •• • ••• ••• •• • •• ••• • ••• ••• • ••• • ••• •• •• ••• • •• •• ••• •• •• • ••• •• •• • •• •• ••••• •
• • • ••• ••• • •• ••• • •• •• ••• • ••• •• •• •• • • •• • •• •• •• •• • ••• •• ••• • •• •• ••• • ••• • ••• ••• ••• •• •• • • •• •• ••• • •• •• •••• •• ••• • ••• • •• •• • ••• •••• • •• ••• •• •• • • ••• •• • •• • •• ••• ••• • •••• ••• • •• • •• • •• • • • •••• •• •• •• •• • •• •• • •• •• •
• •• • •• •• •• • • •• • • •• • •• • • • • •• • •• •••• • • ••• •• •• •• •• •• ••• • •• • •• • •• • •• •• • • •• • ••• •••• •• •• • •• • •• • •• •••• •• ••• •• • •• •• •• •• ••• •• ••• •• • ••• •• ••• • • • ••• ••• • • •• •• • • ••• • ••• • •• •• •• • • •• • •• ••• • •• •••• • • • •• ••• ••• •
••••••••••• • •• • ••• •• • ••• • •• •• • • •• •• • •• • • • • •• •• ••• •• •• • • •• •• • • •• ••• ••• •• • ••• • ••• • •• • • •• • •• ••• • •• •• •••
•• •• •• • • •• •• •• •••• • • • •• •• •• •• •• •• •• •• ••• ••• •• • ••• •• ••• •• • •• • •• •• •• • •• •• •• •• • •• •• • •• ••• • • ••• ••• •• • •• • •• • •• ••• •• • ••• •• ••• •• •• ••• • • •• •• •• ••• ••• •• •• •• • •• •• •• •• • • •• •• • •• •• ••• • •• ••• • • • • ••• • •• ••
•• ••• •• • ••• • •• •• ••• • • • ••• •• • •• ••• • • • •• • •• ••• •• ••• •• ••• ••• •••• •• •• ••• •• ••• •• •• • • ••• • •• •• • ••• • ••• •••• •• •• • •• •• •••• • ••• • • • •••• •• ••• • •• • ••• • • ••• • •• • •• ••• • ••• •• •• •• •• •• • •• • ••• •••• • •• •• • ••• • • • ••• •• •
•• •••••• • •• •• ••• • •• ••• •• • • • ••• •• • • ••• • • • • • •••• • •• •• • •• • •• •• ••• •• ••• •• •• •• • •••• •• • ••• •• •• • • ••• • •••• • • ••• •• •• ••• •• •• • ••• •• •• •• • • •• •• • •• • ••• •• •• •• •• •• ••• • •• • •• •• • • • •• •• • • ••• • ••• •• • • •••• • • •
• •• •• •• •• • •• •• •• • •• • • •• •••• •• •• ••• • ••• • • •• • •• • • •• •• • ••• •• ••• • • •• •• • • • •• ••• • •• •• • ••• • •••• • ••• •• •••• •••• • ••• ••• • •• •• • • ••••• •• •• •• • •• • •• • •• •• ••• ••• •• ••• •• • •• •• •• •• • •• •• •• •• • •• • • •• • • •• • • ••• •• •
• •• •• •• •• • ••• •• •• •• •• •• • • • • • •• • ••• • • •• • • •••• • •• • •• ••• •• •• •• • •• •• •• • ••• • •• •• • •• ••• •• • •• •• •••••• • •• •• ••• • •• •••• •• ••• •• • •• • •••• •• •• •• •• • •• • • •• •• •• • ••• ••• •• •• ••• •• •• ••• • • • •• • •••• ••• ••• • ••• •••
• • •• • ••• ••• ••• ••• • • ••• • ••• • •• •• • •• ••• ••• •• • •• •• • •• ••• ••• • • ••• • • ••• •• • • • •• • •• •• •• •• •• ••• •• ••• • ••• • •••• ••• •• •• • •• • ••• •• •• ••• •• •• • •• ••• •• • ••• • •• •••• •• •• • •• •• • • •• • •• • •• ••• •• •• ••• • ••• •• •• • •• •• •
•• •• •• •• •• ••• •• •• •• ••• •••• • • •• • •• •••• • •• •• •• ••• •• • •• •• • • •• • • •• • • • •• •• • •• ••• • • •• • •• • •• ••• •• •••• • ••• • •• •• •• ••• • •••• • •••• •
Tim
e in Days (range =
[199.042,452.391])
Activity (range = [0,1127])
Activity for A
KR
mice
22
Tem
pera
ture
Measu
rem
ents
•• •• • •• ••• • •• •• • •• • • •• • •• ••• •• • •••• ••• ••• • ••• • •• •• •• • • • • •• •• • • • • •• ••••• • • •• • ••• •••• •••• ••••• • •••• •• • ••••• •• • •• • • • •• ••• •• •• ••• •• ••• ••••••• • •• ••••• ••• •• ••• • •• • • •• ••• •• • • •••• • • •• •••• ••
•••• • • •• • •• • •• • •• • • • • ••• •• •• • •• •• • • •• • • ••••• •• •• • ••••• ••• • •• • •• • • • • • •• •••• •• •• • • ••• • •• ••• •• • •••• • • •••• •• •••• • ••• • •• • • ••• •• • •• ••• •• •• •••••• •• • • •• • •• •• • •• • •• ••• • • •• • •• •• •••• ••• •• • •• • • ••• •• • ••
• ••• • •• •• • •• • • • •• • •• • • • •••• •• • ••• ••• •• •• • ••••• •• ••• ••• ••• •• ••• • • ••• •• • ••• •• •• ••• •• •• •••• ••• • •••••• • •• ••• •••• ••• •• • •• • • • • •••• • • •• • •• •••• •• ••• •• •••• •• •• ••• ••• •• • ••• •• • • ••• ••• •• •• •• ••• •• • ••••••• •
• •• •• ••• ••• •• •• ••• •• • •••• •• •••• •• •••• ••••• ••• • •••• • • •• ••• • • ••• • •• • • • •• •• ••• • ••• ••• • • • ••••• • ••• • • • •• • • • •• ••• •• ••• • • • • ••• •• ••• •• • •• •• •• •• • ••• •• ••• •• •• ••••• • •• ••• • • • • • • •• • •• •• ••• • •• •• •••• • •••
• • •• •• •• • ••• •• • •• • • • • •• • • • ••• •• • •• •• • •• • ••• •••• •• • ••• •• ••• •••• • •• • • • • •• •• •• ••• • •• • ••• • ••• •• •• •• •• •• ••• • ••• •• ••• • • • • •• ••••• •• •• ••• •• ••• ••• ••• ••• •• ••• • •• • •••• • •• • •• • •••• ••• • • ••• • •• • •• ••••• ••
•• • •••••••• •• ••• • • •• • • • •• ••• • •• ••• ••••• • ••••• ••• ••• •• • •• •••• • ••• • • • • •• • ••• • •• •• •• •• ••• ••• • •• ••• •• • •• •• •• • •• • •• •• •• • • • • •• ••• • ••• • •• •• • ••• ••• ••• • ••• ••• ••• ••• •• • • • •• •• • • ••• ••• ••• •• ••••• ••• ••
• •• • • ••• ••• •• •• • • •• • • ••• • • ••• •• •••• • •• • ••• •••• • • •• •• •• •••• •• •• •• ••• • • • • •• • ••• •• ••• • • •• •••• ••• ••• •• •• • ••• • ••• •• •• •• •• • •• • •• •• •• •• •• •• •• ••• •••• • ••• • • ••• •• • • •••• •• • • • •• •• • • •••• •• ••• •• •• ••• •• •• •
••• •• • ••• ••• •• •• •• • •• •• • •• •••• •• • • •••• •••• •• • • •••• •••• ••• • ••• •• • • • ••• •• •• ••• • • •• ••• ••• • ••••••• •••• ••• • •• •• • •• •• • • • ••• •• •• ••• •• • •• ••• • •• •• • • •••• •• •• • ••• •• • ••• • • • •• • •• •• • •• • •• • •• •• •••• ••• •
•• •• • • ••• ••• •••• •• •• • • • • •• ••• •• ••• • •••• •••••• •• •• ••• •• •••• • • • • •• • • • •• •• • •• •• •• •• •• • •• •••• ••• • ••• • •• •• • • •• •• ••• •• ••••• •••• ••• •• • ••• ••• •• •• •• •• •• • • • • ••• •• •• • •• •• •• •••• • •• •• •
•• • • • • •• •• ••• •• • •• •••• ••• • ••• •• •• ••• ••• •• •• •• ••• • • •• • ••• • ••• • • •• •••• •••• •• • • • • •• •• •• •• •• • • ••••• ••• •• •• •• ••• •••• • • • ••• ••• • •• • ••• •• • •• •• •• ••••• ••
•• • ••• •• ••• • ••• •• •••• •• •• • • • •• • • ••• •• •• ••••• •••• •••• •• •••• •• • •• •• •• •• • • • •• • •••• • ••• •• •••• ••••• •• •• •• • •••• •• •• • ••• • • • •• • • •• • • • •• • • • ••• ••• ••••• ••• •• • •• •• ••• ••• • •••• • •• • • •• •• • •• • •• •• • ••• ••• • ••
•• • •••• ••• • ••••• •• • •• • • • • • •• • •••• •• •• • •• •••• ••• • •• •• •• ••• ••• ••• • • ••• • • • • • • • •• •• • ••• • ••• • •••• •••• •• ••• • •• • •• •••• • ••• •• •• • • • • • ••• •• •• •• •• • ••••• ••• ••• •• •• ••• •• ••• •••• • • • • ••• ••• ••• •• ••• •• •• ••• •••
•• •• •• • •• • ••• ••• •• •• • • • • •• • •• •• •••• •••• ••• •••• ••• •• •• • • •• •• •• ••• ••• • •• • • • •• • •• •••• ••• • •••••• •• •• ••• • •• •••• ••• ••••• • • •• • • • • •• •• ••• •• • • • •• •••• • •• • ••• • •• ••• • • •• ••• • •• •• • • •• • ••• •• •• •• •• • •• ••• • ••• • •
•• • ••• •• • •••• •• •• •• • • • • •• •• ••• • ••• •• •• ••••• • ••• • ••••• • ••• ••• ••• • •• •• • • • • • •• • •• •• •• •• • • •••• ••• ••• •• ••• • •• • •• ••• • • •• • • •• • •• ••• • • ••• ••••• ••• • •• •• • •• •• •• • •• •• • ••• • •• •• • ••• • • •• • •• • • ••• • •• ••••• • •• ••
• •• •• ••••• ••• ••• •• •• • •• • •• •••• •• • •• •• •• ••• ••• ••• • •• • ••• •• • • •• • •• •• • • • •• • • •• • •• • ••• ••••• •• •• ••• • ••• •• •• ••• •• •• •• •• • • • •• •• •• •• ••• • • •••• • •••• •• • ••• • ••• • • •• •• • •• • • • • • • •• •• •• • •• •• •• • •••• • •••• •
• • •• •• •••• ••• ••• • •• •• • • • • • •• •• •• • •• • • •• ••••• ••• ••• • • ••• ••• •••• •• • •• • • •• •• • • ••• • •• • •• ••••• •• ••• •• • •• • ••• • •• • ••• ••• •• • ••• •• ••• • ••• • •• • • ••••••• • • • •• • • ••• •• • ••••• •• • ••• • • •• •• • •••• •• • •• • •••••• • •
•••••• • • • • •• ••• •••• ••• •• • •••• • • ••• • • • • ••••••••• •••• • •• •• •• ••• • • • • ••• • • • •••••• • •••• • •• • • • • •••••• •• •• •• • • •• •••• •• • • ••• ••• • • •••• • •••• • • ••••• ••• • • • • • • • ••• • • • •• •••• • • •• • • • ••••• • • • • ••••• •••• •• • • • •• • •• •• • • ••••••••••••••••••••••••••••••••••
• • ••• • •• •• ••• ••• •••• • • • •• • •• • •• • •• •• ••• •••• ••• •• • •• •• •• ••• •• • •• •••• •• • • •• • • • •• •• • •• • ••• • •• •••• • •••• • ••• • • • • ••• •• • ••• ••• • • •••• • •••• •••••• •• ••• •• • ••• ••• •• • • ••• • • •• ••• • •• • ••• •• ••• ••• •• •• ••
••••• ••• • ••• • ••• • • • •• •• •• •• •• •• •• • •• •••• ••• •• ••• ••• • • •• •• • •• •• • ••• • • • •• • •• •• ••• • ••••• •••••• • •••• •• • • • ••• • •• • •• ••• • •• •• ••• • ••• •• •••• • ••• •••• ••• ••• •••• • • • •• • •• • •• •• • •• •• •••• •• •• • ••••• ••
• ••• • •• •• ••• •• •• •• • ••• • • • • •• •• •• • •• • •• •• ••• ••••• ••• •• ••• •• • •• •• • •• •• • •• •• •• • • •• • •• ••• •••• •• •••• •••• ••• •• •• ••• • •• •• • •• • ••• • ••• •••• • •• • •••••• • ••• •• •• •• • ••• • ••• •• •• •• • •• •• • • •• •• •• • ••• ••• ••• •••
•• ••••• • •• • • •• • •• •••• •• •• ••• • •• •••• • ••••• •• •• •• •• • • • ••• •• • • • • •••• •• •• •• •• •• • •• ••• •••• ••• • ••••• • •• ••• • •• •• ••• •• • • •• • •• • ••• • •• • ••• •••••• •• •••• ••• ••• • •• •• ••• • • • •• •• • ••• ••• ••• • •• •••• • •••
• •• •• •• • •• •• ••• •• •• • • • • •• •• • • •• • •• •• ••••••• ••• •• •• •• ••• ••• • •• • •• •• • • • ••• • ••• •• • • ••• •••• • •• ••• •••• • • •• •• • • • •• • •••• • • •• •• ••• •• •• •• •••• • •••••• • • • • •• ••• • • ••• • • •• • ••• • ••• •• • •• •••• • • • ••••• • •
• •• • • ••• •• • • • •• • • ••• ••••• •• • •••• •• •• • • • •• •• • •••• • •• • • • •• •• • •• •• ••• ••• •• •••• • • • •• • • • • •• • ••••••••••• • • • • ••• ••• •••• • • •• ••• • •••••• • ••• • • • • ••••• •••• •• •••• • • •• ••• • • •• • • • ••• • •• ••• •••• • • •• • •••••• •
• •• • • • • • ••• •• • • • •• •• •••• • • • •••• • • • • ••• •• ••••••• • •• • • • • • •• • • •• •••• • • ••• • ••• • ••• • • • • •• • • • •••• •••• •• • •• • •• • ••• •• • • • • •• • • • •••• • • •• • ••• • • • ••••• •••• ••• • • • • • • ••• • ••• •••• • • •• • • • ••• •• • •• • •••• • ••••••
•• • • • • •• • • •••• • • •• •• • •• • • ••••• • •• • •• • •••• ••••• ••• • •• • •• • •••• • •• • • • ••• • ••••• • •••••• • ••• •••• ••• ••• • • • • • ••• ••• • • ••• • •• •• • • • •••• •• • • •••• • •••••••••• • • • • • • • • •••••• •• • • •••• • •••• • •• • • •• •••••• •••• ••• • • • • ••••• •••• • •• •• • • •••• • ••••• • • ••••• •••••• •• • • • • • •• •• • • •• • • • ••••• •• • • •••••••••••• • • • ••• • • • ••••• • ••• • ••• •• • • • ••• • ••• •• •••••• • ••• •••• •••••• •••• • • •• • • • •• •• • • • •••• • ••• • • • •• •• ••• • ••••••• •• • • • • • • • • •• ••• • •••• • ••• • •• ••• • • • • •••••• • • •••••••••• • • • • • •••• • ••• • • •••• •••• •• • • •••• ••• •••••••••• •• • • • • • • • ••• •• • • • ••• • ••• •••• • • ••••• •••• • ••• ••• • • ••••• • • • • ••• • • ••• • ••• • •• • ••••••• • ••• ••••••• ••• • • • • • • ••• •• ••••• • • • • • •••• •••• •• •• •• • •• • • • • • ••••• • • • ••••••••••••• • •• • • • • • • •• • • •••••• •• •• • •••••• • • • •••••••••• • • • •• • • • • • • • •••• • ••• ••••• • ••••• • • •••••••••••• ••••• • • • • • • •• • •• ••••• • •••• •• ••••••••••••••••••••••
• • •• • ••• • • • •• • • •• • • •• •• •• •• • •• •• • • • ••• •••• ••• •• •• •• •• •• •• • • •• • • •• • • •• •• • •• • • •• •• •• •• ••• •• •••• •••• •• ••• • •• •• • •• • •• • • •• • • •• • •• •• •• •• ••• ••••••• ••• • • ••• • •• •• • • • • • • • •• •• •• ••• • •••• •• •• •• ••••••• •
•• • •• ••••• •••• • •••• •• •• •• •• • •• • •• •••• •• • ••• •••• •• • •••• •• ••• •• •• ••• ••• • •• ••• •• • • •••• • •• ••••• •• •• •• •• • ••• ••• •• • • ••• • • • • • • •• • ••• •• • • ••• •• • ••••••• ••• ••• • • ••• ••• • • • •• • • • •• • • • ••• •• •••• • • •• • •• •• •••••
•• • ••• •• •• •• •• •• •• • • ••• •• • • •• • ••• • •• •• •• ••••• • •• • ••• ••• • • ••• •• • • • • ••• •• •• •••• •• •• • •• • ••• ••• •••• • • •• •• •• •••• •• • •• •• • •• • •• • •• •• • • •• •• • • • •• ••••• •• •• • ••• ••• ••• • •• • • •• • • •• • • ••• • •• • •• • •• •• ••• ••• ••
• •• • ••• •••• •••• •• •• • • • •• •• •• •• ••• •• • • • ••• • ••••••• ••• ••• •• •• ••• •• •• • • • • ••• •• ••• • •• • •• • •• •• •••• •••••• •• •• • •• • •••• •• • • •• • ••• ••• • •• •• •••• •• ••••• •••••• ••• •• • •• • • •• •• • • • • • • • ••• ••• •••• ••••• •• • •••• • •• ••
• ••• •• • •••••• •• • •• • •• • • •• •• ••• •• • • •• • ••• •••• ••• •• •• •• • ••• •• •• •• • • •• • •••• ••• • •• •• •• •• • •••••• •• •••• •• ••• • •• ••••• • •• •• • • ••• •• •• ••• •• ••• •• • ••• •••• ••• • ••••• • •• •• ••• • • •• •• • ••• • • •• • •• • ••• •• ••• ••• •
•• •• • •• ••••• ••• •• •• •• • •• •• •• •• • •• •••• • •• • •••••••• •••• •• • •••• • •••• •• • • • • •• • • •••• •• •• ••• ••••• • •••••• ••• •• •••• ••• ••• • • ••• • • • • •• ••• • •••• •• ••••••• ••• • •• •• •• • ••• ••• •• • • •• •• •• ••• •• •••• • •• •••• ••• •
•• • •••• ••• • •• • •• •• • •• •• •• ••• •• ••• •• • • •• •• ••••• •••• ••• • •••• • ••••• • • •• • •• • ••• •••• •• • • • •• • •••••• •••••• •• ••• ••• • •• • •• • •• • • • ••• •• • • ••• • •• •• ••••• ••• ••• • ••• ••• • •• •• • •• • •• • •••• •• • •••• • ••• • •• •••• •• •••
• •••• •••••• • •• • •••• • •• • • •• • •• •• •• ••• • • • • ••••••• •••• •• •••••• • •• • ••• •• • • •••• • • •• •• •• •••• • ••• ••••••• • • ••• • • ••• • • •••• •• •• ••• • • •• •• •• • •• •• • •••••••• • • •••• •• • ••• • ••• •• • ••• • •••• • •• •••• • ••• • • • •••••• •• • •••• ••• •• • ••• ••• ••• • •• •• •••• ••••••••••••••••••••• •••• • • • • • • • • • •• • • • ••••••••••••••••••••• ••• ••• •••• • • • • • ••••••••••••••
•• • •••• • • ••• • •• • • • •• • ••• •• •••• •• • •••••• •• ••• •••• •• ••• •••• • •• • • • • • • • •• ••• •• ••• •• •• •• •• •••• ••••• ••• • ••• •• • •• ••• • • •• • • •• • • •• ••• ••• ••••• •• ••••• • •• • •• • •••• •••• •• ••• •• •• •• •• • •• •• •• •• •• •• •••••• ••••
••• • ••• •••• • ••••• ••• •• • • • • •• ••• • • •• • •• ••••• ••• • ••• •• •••• •• •• •• • • •• •• • • • • • • ••• •••• • •• ••••••• •• • •••• • • •••• •• • • •• •• •• • • • • • • • •••• • • ••• •• • ••••• •• •••• •• • •• • •• •••• •• • •• • • • •• • • • ••• • ••• • •••••• ••••
•• ••• •• ••• •• •••••• •• •• • • • • •• ••• • •• • •• • •••• •• • •• • • •••• ••• • •• • •• • •• • •• •• • • • •• • ••• • • •• •• •• ••• ••• •••• •• ••• •• •• •• •• •• • •• • •• • • •• •• • •• • •• •••• •• ••• ••• • • ••• ••• •• • • •• •• • •• •• •• •• •• •• • •• ••• • •• ••• ••• ••• ••
• • • •• •• •• ••• •• • • • •• • • •• • •• •••• • •••• • • •• • • •••• • •• • •• •• •• • •• • • • • • • ••• •• •• •••• • •• ••••• ••• ••••• • • • ••• •• • •• ••• • • • • • • ••• • • •• ••• ••• •• • • ••• ••• • ••• •• •• ••• •• • ••• •• • •• • • • •• • • •• •••• • •••• ••••• •••• •
• •••• •••• •• •• ••• ••• • • • • • •• •• • ••• • •• •• • •••• • •••• •• ••• •• • ••• • •• •• • •• • • • •••• • • ••• •• • •• ••• ••• •••• ••• •• •• •• •• •• •• •• • •• •• • • •• • •• •• • ••• •• •• •• ••••• ••• • ••• •• •••• ••• •• ••• • • • •• •• • •• ••• •• ••• • ••••• ••• ••
•••• ••• ••• •••• • •• •• • • • ••• • • ••••• •• •• •• •••• ••• • ••• ••• • •• ••• • • •• •• • • • • • • •• • ••• • ••• • • •• •••• ••••••• •• •• •••• •• • •• •• •• • • • • •• •• •• ••• • ••• •• ••••••• • •••• •• ••• ••• ••• ••• •• • • • • • •• ••• ••• • •••• ••• •• •••• ••• • • ••• • •• ••• • • ••• • • • • • •• • • • • •• •• ••• • •• • •••• • • •• • • •• ••• •• • • • ••• • • • • • • •• •••• • ••••• • • •• •••• ••••
••• • • •••• • •••• ••• • ••• • • •••• • ••••• ••• • • ••••••• • • • • • •• • • ••• • ••• •••• •• • •• ••••• ••• •• ••• •• •• • • ••••••• ••• •• ••• • •• • •• ••• •• •• ••• •••• • •••••• •• • •• •• •• • •••• • • • ••• •• •• ••• • • •• •• • •••••••••• •••
• ••• • • • • • • •••• • •• • • • ••• •• •• • •• • • •• • • •••• • •• • • •••• • • • • ••••••••••• ••• •••• • ••• •• • •• •• • • •••• • ••••••• •• •• •••• • • •••• •• •••••••••••••••••••••••• •••
• •••• •• •••• •• • • • •• • ••• •• •• • •• ••• • • ••••• • •• • ••• •• •• • ••• ••••• • ••• • • •• • •• •• ••• • • •••••• •• • • ••• ••• ••• •••• • •• •• • • •• • • • • • • • •• • •• •• • • •• • •• •• • ••• • ••• •• •••• • • •• •• ••• •• • • • •• • • • •• •• •• •• • •• •• • •••• •••• • •
• • • •• • ••• • ••• •• • •••• •• • • • •••• •••• •• • ••• • • • •••• • •• •• • • • • ••• • ••••• ••• •• •• •• ••• • •• •• • •• • ••• •• • •• •• •• ••• •• •••• • •• • • • • • •• •• •• • ••• • • • • • • • •• •••• • • • •• •• • •• ••• •• •• • •• • • • •• • •• ••• •• • •• ••• ••• • ••••••••• • ••
•• ••••• • • • •••••• • • • • • •• • • ••• •• ••• •• ••• • • • •••• •• • ••••• • • • • ••••• • •• • • •• ••• • •••• • • •• ••• • • ••••• •••• • •• ••• • • • •••• • • • ••• • ••• • ••••• • ••• • ••• • • • • •••••••••• • • • •• •••• • • • •• •• • • •• • •• •• ••• • • •• • ••• • • ••••• • •
••• • •• • ••••• •• • • • ••• • • • • •• •••• • • • •• • •••• • •••• • • • ••••••• • •• • •••• • • • ••• • • • ••• • • •• • ••••• • • •• • •••• •• •• • •• •• • • • ••••• • ••• • • •••• •••• • ••• • •••• • •• •• ••• • •••• • •••• • • •• •••• • ••• • • • ••• ••••• • •• • ••••••••• •••• •• • • ••• • • •• • •••• • • •• • •••• •• •• ••• • ••• • • ••••• • • • • ••• • • ••• ••• ••• • ••• • • ••••• • •••• • • • ••• ••••••• • •• • • • • • • ••• • • •• •• • •••••••••
•• ••••• •• • •• •• • •• • •• • • • •• •• •• • • • •• •• ••••• • ••• •• ••• •• • •• ••• • • •• • •• • •• •• •••• • •• •• •••• •••••• ••• • •• • • ••• • ••• • •• • • ••• •• • •••• ••• • ••• •• • •••• • • •••• • ••••• • ••• • •• • • •• •• ••• • • •• ••• ••••• • •• •••• •• •• •••
• •• •••• ••••• •• •• •• • • ••• ••• •• •• •• • •• • • •••• •• • •••• •• • ••• •• •• ••• •• • •• • •• • ••• •• ••• • • •• • •• ••• ••• • • ••• ••• • •••• • •••• • • • ••• •• • ••• • ••••• • ••• • • •• •• • ••• • •••••• •••• • ••• • •• • • •• • • •• ••• ••• • •• •• • • •••• • ••••
• ••••• •• • •••• •• ••• • •• • ••• • •••• ••• •• •• • •••• •••• ••• •• •• •• ••• • • •• • ••• • • ••• • ••• • ••• •• • •••• • • ••••• •• • ••• ••• •••• •• • ••• • •• • ••••• ••• ••• •• •• •• •••• • ••••• •• •• •• • • ••• •• • •• ••• ••• ••• •••• ••• •• •• •• • ••••
••• • ••• • •• •• •••• • •• •• • • • • ••• • ••• •• •• ••• • ••• •• • ••• • ••• •• •• •• ••• • ••• •• ••• • • •• ••• •• • ••• •• • •• ••• ••••
•• •••• ••• • •• • ••• • •• •• •••• •• • • ••• ••• • •• •• • ••• • •••• •••• • • ••• •• • •••• •• • •• •• •• ••• •• •• •• • •• •• • ••• ••••• •• •••••• ••• •••••• •• •• ••• •• •• •• ••••• ••• •• • • •••••• •••• ••• •• • ••• •••• • • • •• • ••• •• • ••• •••• •• • • •• •• ••
•• • ••••••• • •• • ••• •• •••• • •• • • •• •• •• ••• ••• • •••• ••••• •• ••• • •• ••• •• •• ••• • • • • •• • •••• ••• • • •••• • • •• •••• •• •• •• • ••• •••• •• •• ••• • •• • •• •• • •••• •• •• • ••• • •• •• •• •• ••• •• •• • •• • ••• • ••• •• •• •••• •• • •• • • • ••• •• • ••••
• • •• ••• • •• •• •• • ••• •••• •• • •• • ••• •• •• • • •• • • •• • •• •• • • •• ••• • •• •• ••• •• •• •• • • ••• • •• ••• •• • •• ••• •• • •• •••••• • ••• •••• •• ••••• • • • ••• •• ••• •• •• •• ••• • •• • • • • • •••• • • ••• • •• •• •••• •• •• • •• •• • •• •• •• • ••• • •• •• ••• •
• ••• • • ••••• • • •••• • • •• •• •••• • ••••••••• • ••••• • •• •••• ••• • • ••••••• • • •••• • •••• ••• • ••••••• • • •••• • •• ••••• •••• • • ••• • • ••••• • ••• • •• • ••• • ••• •••• • ••• • •• ••• •••• • • • • ••••• • ••• • ••• • •• ••••• • •••••• • • •• • • •• • •••• • • •• • •••• • • • ••• • • •• • •• • •• • •••••••• • • •••••••••••••• • • • • • • • • •• •• •• • ••• ••• • • • • • •••••• • • ••••• • • •• • • • • • •• ••• ••••• • •••
•• • ••• •• •• •• •• •• • •• •• •• •• •• • •• ••• ••• •• ••• •• ••• •• •• •• • • •• •• • •• • • ••• ••• • • •• •• ••• •• •••• • ••• •• • •••• • •• •• •• • • ••• • ••• • • • • • • ••• •• •••• • •• •• ••••• ••• ••• • ••• •• •• •• • • • • • ••• • • • ••• ••••• • • •• •• •••• ••••
• ••• • ••• • •• • •• • • • • • • • •• • • •• • •• •• •• • •••• •• •••• •• •• •• •• • •• ••• ••• • ••• • • • • • •• •• • • •• • •• •• •• •• •••• ••••• • ••••• • ••• • • •• • • • • • •• •••• • • •• • ••• • ••• ••• • •• •• ••••• •• • ••• • •• • • •• •• • • • • ••• • • ••• •• •• • •• ••••• •••
• •••• •• •• •• •• • • •• • • • • •• •• •• • • •••• • •• •• •• •••• ••• • •• • ••• •• ••• •• • • •• • •• • • •• • • • ••• •• ••• ••• •••• • •• ••• • •••• • ••• •• • • •• •• • • •• •• •• •• •• •••••• ••• • •••• •• ••• •• •• • •• •• •• • • •• • •• • •• ••• • • • •••• •• • ••
• •• ••• •• ••• • •• •• •• ••• • • •• • ••• ••• •• ••• •• • •••• •• ••••• •• • •• ••• •• • • ••• •• •• • • •• •• •••• •• • •• • •• •••• •••• • ••• •••• •• • • • •• •• •• •• • • •• • •• • ••• •• • • ••• ••••• ••• • • •• •• • • •• • • • • ••• •• • • •• •• • • • • •••• ••• • •• • ••• • •• • •
• • • ••• •• •• •• •• • •• •• • • • • • •• •• • ••••• • •• •••• •• •••••• •• ••• ••• •• • •• •• • •• • • • • •••• •• • •• • •• • •• •••• ••• • • ••• •• • •• ••• • •• • •• •• • •• • • •• •• • •• •• •• •• ••• ••• • ••• • •••• •• •• • •• •• • •• ••• • • •• • •• • •• ••• • •• •• ••• • ••• •
• •• ••• •• •• ••• • •• • •• • • • • • • ••• •• •••• •••• •• •• • •••• •• ••• • • • •• • • ••• • •• • • • •• • •• ••• •• ••••• •• •• •••• ••••••••• • •••• ••• • ••• • • •• • • • •• •• •• ••••••• • • •• • ••••• ••••• ••• •• ••• • ••• ••• • •• • • •• •• • •••• • ••• • ••• •• • •• ••
••• •• ••• ••• • •• • • • •• •• • •• •• • • •• ••• ••• ••• • •• •• ••• •••• •• ••• • ••• • ••• • •• • • •• •• •• •• ••• • • •••• •• ••• •
•• • • ••• •• • ••• •• • • •• • • • • •• • •• ••• •• • •• •• ••••• ••• •• ••• •••• ••• • • • • •• • •• • • ••• • •• •••• •• ••• •••• • ••••• • •• • •• ••• •• •• •• • •• • • • •• • •• • • •• ••• • ••• • •• ••• •• ••• • ••• ••• • ••• • • •• •• •• ••• • •••• • •• • •• ••• ••• ••• •
• • ••••• •• • •• ••• • • • • • •• • • •• • • ••• • •• •• •• ••• •• ••• • ••• • ••• • •• • ••• •• • •• •• • • • •• •• • • ••••• •• • • •• ••••••• •••• •• •• • • ••••• • • •••••• ••• • ••• • •• • •• ••• • •••• • • •• • ••• •• • ••• • •• • • • ••••• • ••• •••• • • ••• • • •••••• ••• • ••• ••• •• • •• • ••• • • • • ••••••• •••• • ••• • •••• •• •••••• ••••• •••• • ••• •• •• • •• •• •• ••• • •• • •• ••• • • ••••• ••••• •• • • • • •• ••• •• • •• •• •• • •• •••• • ••• • •• •• • • ••• ••••• •• ••• • ••• •• • •• •• •• • • • •••• ••• • • ••••••• • •••••••••••••••••• •• • ••••• • •••• •••• •••••••••••• ••••••••••••••••
•• •••• •• •• •• • •••• •• ••• • ••• • • ••• • ••• •• • • ••••••• • •••• • •• •• • •••• • •• • • •• •• ••• •• •• ••• ••• • •••• •• •••••• •• •••• •••• •• •• •• • •• • ••• • • •• • • •• •• •• •••• • •• •• •• •• •• • ••• •• • • ••• •• • • • •• ••• ••• • •• •• •• •• •••• • •• •• •
•• • ••• •• ••• •• • • • • ••• • • • • ••• •• ••• ••• ••• • •• •• •••• • •••• •• •• • •• ••••• • •• • ••• ••• • ••• • • • •••••• •••• •••• ••• ••• ••••••• • •• • •• •• • • •• •• •• •• • •• •• • •• ••• •••• •• • •• •• • •••• •• •• • •• • •• • • • •• ••• • •• • •• ••• • •• •• •••• ••
•• • •••• • •••• ••• ••• •• •• • ••• • •• •• •• • •• • • ••• ••••• •••• •• ••• •• •• •• • • ••• •• • • •• • ••• •• •• •• •• •••• • •••• ••• • •• •• • • ••••• •• • •• • • •• • • • ••• • ••• •• •• ••• •••• ••• ••• ••• ••••• ••• • ••• •• • • •• • • •••• •• ••• •• •• ••• • ••• ••• •
• •• • •••• ••• • • •• • •• ••• • • •• • •• • ••• •• • ••• •••• •••• • ••••••• •• • ••• • •• • • •• • • • • • • •• •• ••• ••• • ••• ••• •• •••• ••• •••• •• •• •• •• ••• • •• • ••• ••• • • •• •• • •• • •••• •••••• • •••• ••• ••• • • •• • • • • • •• • • •• •• ••• •• •• •• •• ••••
••••••• •• • •••••••••••••• •••••••••••••• ••• •
•• • • • ••• • • ••• ••••• •• • • •• ••• • • •• • •• •• •• •• •••••• •••• •• •• • •• • •••• •• •• ••• •• ••• • •• • •• •• •••• • ••• ••• •• •• •• ••• • •• •• • • • •• •• •• •• •• •• •• •• • •• •••• ••• •• •••• • •• ••• •••• • • •• •• •• • •• ••• •• • • •• • •• • •• ••••• •••• •
•• •• • •• •• ••• •• • • • • • •• • •••• •••• • •• ••• • • ••••• ••• •• •• ••••• •• •• • •• •• • • • • •••• • • • • • •••• • ••• • •••• ••• •••• •• •••• • • •• •• •• • •• • • •• •• •• • •• • • • ••• • •• ••••• •••• •• •• •••• ••••• • •• •• • • • •• •• ••• •• • •• ••• •• ••••• ••• •
• •• •• •• • ••• • ••• • • •• • • • ••• •• ••• • •• • •• •• • ••••• ••• ••• • •• • ••• • •• • • • •• • • • •• •• •• •••• •• • ••• • •••• ••• •• • ••• ••• ••• • • ••• • •• •• • • • • ••• • •• •• •• •• •• •• •••• •• •• •• • •• ••• •• ••• •• • •• •• •• • •• •• ••• ••• ••• • ••••• ••••
• • •••• •• •• •• • • • •• •• •• •• •• • • • ••• • •••• •• ••••• •• •• • ••• •• ••• •• •• • • • ••• ••• ••• ••• •• •• • •••••• ••• •••• •••••• • •• •• ••• •• •• •• ••••• •••••• •• • •• •••• •• •• •• ••• • ••• • •• ••• • •• • • • • • • ••• •• • ••• •• •• ••••• •• •
• •• •• • • ••• ••••• •••• • • • • ••• ••• • ••• • •• • ••• •• ••• •• •• • ••• •• •• •• • •• ••• • • •• • • • • • •• • • • •• •• • •• •• • •••• •• •• •• •• • •• • ••• ••• •• • ••• • •• • • • • • •••• •• • ••••• • •••• • •• • •• • •••• •• •• •• • •••• •• • • • • • ••• ••• • ••• • •• •••• •••
•• ••• ••• ••• • •••• • • • •• • ••• • •• • •• • ••••• •• ••• ••••• •• • ••• •• •• •• •• ••• •• • •• •• • • ••• •• •• ••• •• • ••• •••• •••• ••• ••• • •• •• • •••• • • •• •• • • •• • ••••• ••• •• ••• •• ••• ••• • ••• •• ••• •• ••• •• • • • ••• •• •• •• •• • •••• •• •••• ••
•• ••••• ••• • •• • ••• • •• • • • • •••• •• •• ••• ••••• • ••• • •• •••• •• •• ••• ••• • •• •• •• •• • • • • • ••• ••• •••• ••••• •• •• ••• •• • •• •• •• •• •• •• •• • • ••• •••• •• ••• •• •••• •••• • ••• ••• •• • ••••• • • • •• • •• • • • • •• • •• •••• • • •• ••• •• ••• ••
••• • ••• • ••• •• • • • ••• • •• •• ••••
Tim
e in Days (range =
[199.042,452.391])
Temperature in C (range = [21.46,39.42])
Body T
emperatures for A
KR
mice
23
Pre
vious
Work
Data
help
spred
ictdeath
byob
serving
•decrease
inaverage
temperatu
rean
dactivity
counts.
•deviation
fromhea
lthy
circadian
pattern
shap
e.
Irizarry,et
al.(2002)
Biom
etrics57
24
Eig
en
Analysis
and
Spectra
lSm
ooth
ing
•W
ecan
write
the
sth
atm
inim
izesPLS
as
sλ
=N
(N′N
+λΩ
)−
1Ny
•N
and
Ωare
n×
nm
atricesdefi
ned
byth
ebasis
function
sfor
the
space
ofnatu
ralcu
bic
splin
esw
ithkn
otsat
t1 ,...,t
n
•B
uja,
Hastie,
and
Tib
shiran
i(1989)
Annals
ofSta
tistic
s26.
25
Perio
dic
smooth
ing
splin
e(d
eta
ils)
•For
our
data
we
wan
tperio
dic
function
s:s(0)
=s(1)
•T
his
(than
ksto
Fou
rier)sim
plifi
esth
ings!
sλ (t)≈
a0 +
n/2−
1∑j=
1
aj √
2cos(2π
jt)+
n/2−
1∑j=
1
bj √
2sin
(2πjt)+
an
/2cos(π
nt)
•Let
Ube
the
n×
north
ogonal
discrete
Fou
riertran
sform(D
FT
)
26
Perio
dic
smooth
ing
splin
e(d
eta
ils)
•z
=U′y
(spectral
decom
position
ofz)
•ξ≡
(a0 ,a
1 ,b1 ,...,a
n/2−
1 ,bn
/2−
1 ,an
/2 )
=U′s
•Fou
rier:m
inim
izing
PLS
iseq
uivalen
tto
min
imizin
g
1n |z−ξ| 2
+λn
n/2−
1∑j=
1
(a2j+
b2j )(2π
j)2m
+12a2n
/2 (π
n)2m
•Take
derivative
and
solvefor
ξ
27
Perio
dic
smooth
ing
splin
e(d
eta
ils)
•T
he
PLS
ism
inim
izedby
f(λ)z
,
•f(λ
)=
f0 ,
f1 (λ
),f1 (λ
),...,
fn
/2−
1 (λ),
fn
/2−
1 (λ),
fn
/2 (λ
)′
areob
tained
inclosed
formas
function
sof
j,λ,an
dm
.
•W
ecall
these
shrin
kage
coeffi
cie
nts
•U
isorth
onorm
altran
sformation
soPLS:U
f(λ)U
′y
•Tran
sform,sh
rink,
transform
back
28
Discre
teFourie
rTra
nsfo
rm
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
1th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
1th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
2th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
2th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
3th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
3th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
4th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
4th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
5th FFT row
0.00.2
0.40.6
0.81.0
−0.2 0.0 0.1 0.2
5th FFT row
29
fin
close
dfo
rm
f(λ)
=f
0 ,f1 (λ
),f1 (λ
),...,
fn
/2−
1 (λ),
fn
/2−
1 (λ),
fn
/2 (λ
)′
f0
=1,
fn
/2 (λ
)=1
+0.5λ
(πn)2m
−1
fj (λ
)=
1+
λ(2π
j)2m
−1,j
=1,...,
n2−
1.
30
More
on
risk
Notice
the
riskfor
ξ(f)
is
ave[σ2f
+ξ
2(1−f)
2]≡ρ(f,ξ
2,σ2)
ifwe
defi
ne
g=
ξ2/(ξ
2+
σ2),
then
g∈
[0,1] pan
d
ρ(f,ξ
2,σ2)
=ave[(f−
g)(ξ
2+
σ2)]+
ave(σ2g
2)
31
Estim
atin
gRisk
Now
we
estimate
ξ2
byz2−
σ2
and
ρ(f
,ξ2,σ
2)by
ρ(f
)=
ave[σ2+
(z2−
σ2)(1−
f)2]
=ave[(f
−g)z
2]+ave(σ
2g)
with
g=
1−σ
2/z2.
Adap
tiveestim
ationcon
sistsof
choosin
g
f=
argm
inf∈F
ρ(f
)
Notice
that
gneed
not
be
inF
.U
sing
g+∈F
yields
anin
adm
issible
estimate.
32
Oth
er
choice
ofF
•T
he
mon
otone
classFM
=f
∈[0,1] p
:f1 ≥
f2≥···≥
fp
•T
he
nested
selectionclass
FN
Sare
the
colum
ns
ina
upper-trian
gular
matrix
limp→∞
sup
ave(ξ
2)≤
σ2r |R
p (ξF
,ξ,σ2)−
Rp (ξ
F,ξ,σ
2)|=
0
limp→∞
sup
ave(ξ
2)≤
σ2r
Eave[(ξ
2F−
ξF
)2]
=0
with
ξF
the
linear
estimator
fz:f∈F
that
min
imizes
ρ(f
,ξ2,σ
2)w
hich
canbe
show
nto
be
min
imax
fora
largeclass
ofξs.
33