linearmethodsforclassificationandtheirextensionskti.mff.cuni.cz/~marta/su2n.pdf ·...
TRANSCRIPT
Linear methods for classification and their extensions
Logistic regressionlinear and quadratic discriminant analysisoptimal separating hyperplaneSupport vector machines with kernels, that are nonlinear.
Machine Learning Linear methods for classification 2 February 26, 2020 1 / 22
Probability of the data given the model
Assume we have 15 red balls and 5 blue balls in a bag.Repeat 5x:
select a ballput it back.
The probability of the sequence red, blue, blue,red, red is 34 ·
14 ·
14 ·
34 ·
34 .
The logarithm log2 of the probability is ≈ −0.4− 2− 2− 0.4− 0.4 = −5.2
Machine Learning Linear methods for classification 2 February 26, 2020 2 / 22
Likelihood of the model given the data
Assume we do not know the probabilities, let θ be the probability of red . Wehave following probabilities of data for different θ.
θ red blue blue red red12
12
12
12
12
12
125
Take the log2 of the probabilities:θ red blue blue red red12 −1 −1 −1 −1 −1 −535 −0.74 −1.32 −1.32 −0.74 −0.74 −4.8634 −0.4 −2 −2 −0.4 −0.4 −5.2
Probability of the data given model is called likelihood of the model θ giventhe data.Maximum likelihood θ estimate is in our case 3
5 .Predicting probabilities, maximum likelihood estimate is the same asmaximum log-likelihood estimate.
Machine Learning Linear methods for classification 2 February 26, 2020 3 / 22
20
(log) Věrohodnost
Trénovací data Predikce likelihood loglik
X G Pzelená Pmodrá Pžlutá
1 zelená 1/2 0 1/2 1/2 -1
2 zelená 1/3 1/3 1/3 1/3 -log3
3 modrá 0 1 0 1 0
2 modrá 1/3 1/3 1/3 1/3 -log3
1 žlutá 1/2 0 1/2 1/2 -1
-2-2log3
U logistické regrese:
P pro index zelené
Machine Learning Linear methods for classification 2 February 26, 2020 4 / 22
Logistic Function
Probability should be from the interval 〈0, 1〉.Linear prediction is transformed by logistic function (sigmoid) with themaximum L.logistic L
1+e−k(x−x0) .Inverse function is called logit.logit log p
1−p , 4.3 Logistic Regression 131
0 500 1000 1500 2000 2500
0.0
0.2
0.4
0.6
0.8
1.0
Balance
Pro
babi
lity
of D
efau
lt
| | | ||| |||| | || | || || || ||| | | | ||| | ||||| | | || || ||| |||| | | ||| || || | || ||| || ||| | | || | || || | ||| | | || | | ||| || || | || || | ||| ||| | |||| | ||| | || | ||| | ||| || || || ||| |
|
|| || || || | ||| || | || || ||| ||| || || | || | | | |
|
| | ||| | |||| | | |||| | || || ||| || |
|
| || |
|
||
|
|| | || || | ||| | ||| | || ||| || | |||| | ||
|
|
|
| || | | | || | || || ||| || |
|
| ||| || | | ||| | || || | | |||| | || |||| ||| | || || | | | || ||| || || | || | || ||| | || || | || | || || | ||| ||
|
| ||
|
| | |
|
||| | || |
|
|| || || ||| || | |||| | | || |||| | |||| | | || | | | | || || || || | ||
|
| | || || || ||| |||||| || ||| || | || ||| | |
||
| || ||||| | ||| | ||| || | | || || | || ||||| ||| | ||| | || ||| |
|
| || | ||| || ||||| | | ||| ||| | | | ||| || | | ||| | | ||||| |||| | | || ||
|
| | ||
|
| | || | | | ||||| ||| || ||| || | || || |||
|
| || |
|
|| | | || | |||| | ||| || || | || || | | || | || || |||| || |||| || | || |||| || | ||| |
|
| || | |||| |
|
| || || || | |||| || | | | ||| ||| | || | || |||| | ||| || | ||| | || | |||| || || || || ||
|
| || |||| | | || | || ||| || | |||| | |
|
||||| | | | |||| | || || | ||
|
| || |||| | || || || | || |||| || | ||| || | | ||| | || ||||
|
| |||| || | | | || ||| || || ||||| | ||| |
|
||| | | ||| | | ||| | | ||| | || || |||| | |||| |
|
|| || | | || || | || ||| | || || || || ||| ||| || | | ||| ||||| | ||| | | || |
|
| ||| ||| | || |
|
|||| |||||| | |||| || | |||| ||||||| || |||| | || | ||
|
|| | || |
|
| ||| || | ||| || |||| |
|
| | ||| | | | || | || | ||||
|
| | ||
|
| || | | |||| | | | | ||| || |
|
|| | |||| | ||| | || || || | || || ||| || || | ||| | | || |||| || || | || | | | ||
|
|| | | || ||||| | ||| | || | || || | || | ||| | || || ||
|
|| || |
| |
|| | | || | ||||| | |||
|
| || | | | || | ||| | || || | || | | | |||| |||| || ||| | | |||| ||| || |
|
|| | ||
|
|| |||| | || | | ||| | ||| | | ||| | ||| | || | | || |||| |
|
|| |||| | || ||| ||| || | || | || |||| || || || | || || | |||| | || || || ||||| | |||| | |||| || || | || || || || || |||| || | | || || || ||| | | | |||
|
|
|
|| |||| | | | |||| | || ||| || | || | | | | |||| |
|
||| | || |||| || ||| | | ||| | || | | || || ||| ||| | | || | | || || || | |
|
|
|
| ||| | ||||||| | | || || |||| || | || || || ||| | |
|
||
|
| | || || ||
|
| ||| |
|
||| ||| | |||| || ||| || |||||| || | || | || || || || ||| ||| |
|
|| ||| || |||| | ||| || |||| || || | ||||| | | || ||| |||
|
| |||| || ||| ||| ||| | |
|
|||| ||| | ||| | |||
|
||| || | || || | | || | || | |||
|
|| | || | || || | || || | | |||| || | || | ||||| ||| || | | ||| ||| || || | || | |
|
|| ||| |
|
| || | | |||| | | || ||| ||| ||| ||| ||| | || || || | ||
|
|| ||| | || || || || | || |||| | | | || | || | |
|
|| | || | | || | | ||| || | |||| | || || || || | ||| ||| |||| || ||||
|
|||
|
|| |||| || || |
|
| || || || || || | | ||||
|
| ||| || || || || |
|
| |||| ||| || | ||| ||| ||
|
| || || | |||| || || ||| ||| || | || | | | ||| |||| | ||||||
|
|
|
| | || | || | | | ||| | | || || ||| | |||| || | || || | || || | || || ||| ||| | || ||| | | ||
|
| |||| ||
|
| | ||| | || ||| | || || | || || |
|
|| | ||| || || | ||| |
|
| ||| || ||| || | | |
|
||| | | |||| | ||| || || || ||| || ||
|
|| | |
|
| ||| | | | ||| |||| |||| | || ||| || |||
|
|| | | || |||| | | | || ||||| | | | | | ||| | || |
|
| | ||| | ||| ||| |
|
|| || ||
|
| || ||| ||| || | | || || | ||
|
|| |
|
| || | | | |||| |
|
| | || | ||| || || |||| | || || |
|
||| | || || ||| || | | ||||| || | | | |||| || || || ||| || ||
|
||| || || | | || ||| || | | | |||| || |||| || || |||| | |
|
|| || |||| ||||| | ||
|
| || ||| || | | || |
|
|| ||||| |||| |||| | | |||| | || | | || | || || ||| | ||| ||| | | ||| ||| | || | || ||| ||| || | || | ||| ||| | || || || | || || || || | |
|
|| ||| | |||||
|
|| | || || ||| ||| || | | | ||||| | | ||| || || || | ||| ||| | |||| || |||| | || || | ||| ||| || | || | | | ||| ||
|
| ||| | || | | | |
|
| | || || || | || || ||| || | || ||| || | ||| || || ||| | ||| || |||| | ||| ||
|
| |||| || | || | |||| || | || || || | ||| || || | || ||| ||| || |||| |
|
||| | || || || ||| | |||| || || || || | ||| | || | ||| |||
|
||||| | | | | ||| || ||| | || || ||| || || ||| || | ||| | ||| | | || | | || | || | |||
|
|| || || || || || ||| | | ||| || | || ||| |||
|
|| | || || | || | | |||
|
|| ||| | ||||| ||| | || | ||| || |||| || || | || || | || | || | || | |||| | || || ||| || | |||||| || || |||| ||| || || |||| | |
|
| || || || | ||| ||| |||| | || | | |||| || ||||| | || ||
|
| | || | || ||| |||| | || ||| || || | || ||| || || | ||||| | || | | | | || | || ||| |||| | | ||| |||| || | | ||| | ||| || | || | || | || ||| | | || | || || |||| | || |
|
|| ||| | |||| ||
|
|| | | || | ||| | || || || | |||| || ||| | || || | | || || | | || | | | ||||
|
|| | || || | || |||
|
| || | |
|
|| | ||| ||| || | ||| ||| | || || ||||| ||| |
|
| || ||
|
|| ||| | || | ||| ||| || |
|
|| | || ||
|
|| | | | | || ||| | ||| | || |||
|
| || ||| | ||| || | | ||| | || | || | | |
|
|| |||| | ||
|
|||| || || ||| || ||| ||| | || | || | ||| | ||||| |
|
|| || | ||| | ||
|
| || ||| ||
|
| | |||| |
|
|| || | |||
|
|| ||| | | ||||| | | | |||| ||| | | || ||| || | || || || | || |||| || | | |||
|
||
|
| | || |
|
|| | | |
|
|| || | ||||| ||| || | | || | | || | || ||| | ||| || | |||| | | |||
|
|| ||| || || || || ||| | | || || ||| | ||| ||| | || || || || || |||||
|
| | |
|
| | | |||| || ||| | ||| | || | ||| ||| | | ||||| | || | || | | ||| | | ||| | || |||| | | || | || || | || |||
|
| || |||| || | | | |||| ||| | || || || |||| | |||
|
||| || | || ||||| |
|
|| ||| | ||| || | | || | ||| | || ||| | ||
|
| || | | || | | || || | ||| || | || | ||||| || | | || | | || || || ||| | | || || | || || |||| || || | | || ||||
|
|| |
|
|| ||| | | | ||| || ||| || | ||| || || || | | | |||| | | || || || ||| || || ||| || || | || | || | |
|
||| | || | || || || | |||| || | || | | ||| |||| | | || | ||| | || | | ||| | || || | ||| |||| || ||| | | ||
|
| || | || || || ||| || ||| | | ||| | |
|
| ||||| || | ||| | || ||| || || | |||| ||||
|
|||| |||
|
| ||| | || ||| | | | |||| | |||| | || || | || | | || |
|
|| | | || | | | ||
|
| || ||| || | | || || || | ||| | ||| || | || | || | || || || || | ||| || | || | ||| || ||| ||| || ||| | || |||| || || |
|
| ||| ||| | | |
|
|| ||| ||| ||||
|
|| |
|
|
|
||| | ||| | ||| || || || ||| || | | |||| | ||
|
| || | || || || || | || | ||| |||| ||| || ||| |
|
||| || || | || || | |
|
|| || || |
|
|| || || ||| ||||| | | ||| | | || || ||| || | | | | ||||| | ||
|
| || || || ||| | | |
|
|| || ||
|
|| || | | ||| | ||| | | ||| | || |||| || | ||| | | | | || |||| | |||||| | | |||| || | || | ||| ||| | | | || ||| ||
|
|| |||| |||| | ||| | | || || || | | | ||| || | ||| | || || | || | | | || | |||| | | ||| |||||
|
|| | || ||| || || | | || ||| || ||| | ||| | || || | ||
|
|| || || ||
|
| || ||| | ||| ||
|
| || | | || | || ||| | || ||| | || | ||| || || | |
|
|| ||| || |||| ||
|
|| | |||| || | || ||| | | || |||| | | || ||| |
|
|||
|
| || | ||| ||||| || | ||| |||| | |||| |||| |||| | | | || || |||| ||| | || | |
|
|| || ||| ||| | || || | || | |
| |
|| |
|
| | || | ||| ||| || | | | || ||||| ||| | | ||||| |||| | || | || | ||| || ||||| || || || | | || ||| | |||| || | || |||||| || |
|
|
|
|| ||| ||| | | |||
|
| ||| || | |||
| |
| || | || | | | ||||| ||
|
|||| | ||| || | ||| ||| ||| | | | ||| | || | |||||| || || ||| | || |
|
|| |||| || || || || | | |||| || | || || || || || | | ||| || | | || | || || || | ||| | || ||| | |||| | ||||| || | || | | | ||| || | || | | || ||| | || || | || || | ||| || | || | ||| | ||| || ||| | || | || || || || | | || ||| | || | || | |||| | || | |
|
| ||| | || | ||
|
| ||
|
|| | | ||| || ||
|
|| | | || ||| |||| || | |
|
| || | || || ||| ||| ||| || || |||| | | ||||
|
| | | || ||| | | |||| || | | || || |
|
| |||| | || | |
|
| | |
|
| || | || | ||| | || || | || | || | | || || || | || || |||
|
| | | || | || ||| || | || ||| ||| || | ||| || | || | || ||| ||| || ||| | | || | || || |||| || | || || | |
|
|| ||||| || ||||| || | ||| || | | || |
|
| || | || || | || || | || |||
|
| ||| || |||| || || |||| || || || ||| | | | | ||| | ||||| || |||| | |||| || | ||| | || | ||| | || || || | || |
|
|| | || | | | || || || ||| |||| || ||||| | ||| | || || || ||| | || | | ||| | | | ||||| ||| | ||||| |
|
|||| ||| ||| ||| || || ||| | ||| || || ||| ||| || | | |||
|
| | |||| || || ||| | | ||| | || ||| || || || ||||
|
|| ||| ||
|
| | ||| | ||| ||| | ||||| | | |
|
||| | || ||| | | ||| || ||| ||| | || | || | || || ||| || || ||| |
|
|| || ||| | | ||| || ||| || | |||| ||| || | ||| || | | ||| | || || ||| | ||| || || ||| | || || || |
|
||| | || | ||| || ||| || |||| | | ||| | ||| || | |||| || | |||| |||| | | | ||| | || ||||| || || || | || | | || | |
|
||| | || || || ||
|
| || || |||
|
| | || | || | || ||| ||| | ||| | | ||| || || | || || || || |||| || ||| ||| | | ||| | |||| | |||| || ||| | || | || | || | | ||| || || | || ||||| | | |||| ||| ||
|
|| || || | ||| || | || || || ||| || ||| | | |||| ||| |
|
| ||| || || | ||| ||| ||| || || || || | | ||| | | |||
|
||| | | || || | | | | ||| | |||| || || | | ||| ||
|
||| ||| | || | || | | || ||| | ||| || || | ||| |||| |||| || | | |||| ||| || | || || | | || | | | || | | ||| | || ||| || || | || ||| || |
|
| || || | || || || | || ||| | || |||||| | | | | || | || |
|
|| | || | | || | | |
|
| || || ||| | | |||| | | | | || | ||| || || | || ||| || | || || |
|
|
|
| || ||| | | | || | || | ||| |
|
| || | | ||| || | | || | ||| | | | ||
|
|| | ||| | | ||| ||| |
|
| || || | ||| || |||| | || | | ||| | | || || || | ||||| || | ||
|
| | ||| | ||| |
|
|| | | | ||| || ||| | | || | || | ||| | | || | |||||| | || ||| || | | || | ||
|
|| ||| |
|
||| || || ||| |
|
| | | || || ||| | | | || || | | || || ||| | | || | || | ||| ||| | | ||| | | || | || | |||| | | || | || ||| | |||
| |
| || | || ||| ||| ||| | |||| | || ||| || || | ||| ||
|
| | || || | || | | |||| ||| || | |||| ||
|
| || | ||| | | ||||| | ||| | | |
|
| || | ||| || || || | | ||| || | || | |||
|
|| | ||| || | ||
|
|| | || || ||| | |
|
||| | || |||| | | || | || |||| || | | ||| ||| || | || | || ||| || |
|
| ||| || ||||| || | || || ||
|
|
|
| | | ||||| ||| | | || |||| | | | ||| | | ||| | || | || | |||| | || | | || || | |
|
| | ||
|
| ||||| || | |
|
| || || || || || || | || || | ||
|
| || || | ||
|
|||| | | || | ||| | || | ||| | | ||| || ||| | | ||| | || | || ||
|
| ||| || | || |||| ||| || | | || |||| | | | ||| || |||| | || | || | | ||| || | || ||| | |||| ||| |||
|
|| || | || || |||| | || |||| || || | |
|
| |||| || || ||
|
| || | || | |
|
|||| ||| | || | || ||||| | || || |||
|
|| || | ||| || | | | |||
|
||
|
| ||| | | ||||| | ||| ||| || |
|
|| | || ||||
|
|| | || || | || ||| | | ||| |||| | | | ||| | ||||| || | |||
|
|| | | || | || ||| || | ||| ||| ||| | ||| | | ||| | || ||| ||||| |
|
|||| ||| || | | || ||
|
||| | ||| | || ||||| | ||||| || | ||| |
|
|| | | |||| ||| | || |||| | | ||| | ||| | |||
|
|||| || ||||| | | ||| ||| | | | || || | | | || | ||| | || | | | ||| ||
|
|| || || || ||
|
||| ||| | ||| || ||| || || || |||| || | |||||| |
|
|| || | || ||||| | ||| || |||| || ||| | | |||| | |||| | || | ||| ||| | | || || | || |
|
| | || || ||| | || | ||| | | || | | || || ||| | | || || | | |||| | | || |
|
|| || | || ||| || || | | | ||| || | ||| || ||| || ||| | | ||| || || | ||| | || || | ||| || ||| || |||| | | | || || | | | |||| | | || |
|
|
|
|| | |||| | ||| || | |||| || ||| |
|
|||| | || ||||| | |||||| | || |||| || | || || | | || || | | || || || || | || ||| | | | || ||| ||
|
| | || ||| |
|
| ||| | || | | || | ||| | || || || || | ||| || | | ||| ||| || ||| ||| | |
|
| |
|
||| || ||| | | ||| || ||| || | ||| | | || ||| | ||
|
| | ||| | || ||| || | || || | |||| | | ||
|
|| |||| | |||| || | | ||||| || ||| | || || || || || | | ||||| | || ||| | ||| || || ||| | || || | | ||| ||| || | | | |||| || || || |||| | || ||| || || | ||| ||
|
|| | || || || | || | || ||| | |||| || || ||| | || ||| | | || ||| | ||| || ||| || | ||| || || |||| |||
|
|||| | || | | || ||| || | | ||| | | | || ||| ||| | ||| ||| | | || || ||| || | |
|
||||| |||| || ||
|
|| || | | | |||| |
|
|
|
|
|
|| | ||| | || | |
|
| ||| ||| || | || || |||| | | ||| | ||| | || || ||| | | ||||
|
| || || | || || ||| | | | || || ||| | || | | | ||| |
|
|| || | ||| | || || || ||| | || | | || | || || |||| || || | |||| ||| || | || || || |||| | || | |||| | | | ||| | | ||||| | || || ||| | | || || || ||| | | |||| | | |||| | | | || || | || || ||| | | || | || | | |||| | |||| | || | || | |||| || || || || || ||| || | || || || | || |||| || | || || | || | || || | ||| | | | || | | | ||| ||
|
|| || || || || | || | || || |
|
|||| | | | | ||| | || | || | | |||| | |||| | ||| | ||||||| | |||| ||| |
|
|||
|
| | || || ||| ||| || ||| || | | | | ||| | || || || || |||| | | ||| || ||
|
||||| || ||||| || ||| | ||
|
|| |||| | || | |||| | | |||| | || || | | || | | | || | | ||| || | ||
|
||| ||| || | | || || | || || | | || || | || | || |
|
| || | ||| | || | | |
|
| | ||| | |
|
| ||| || ||||| | ||||| || | | | ||||| | || | || |
|
| || | || || | |
|
| | || ||| || || || || |
|
| |||||| || || || || ||| ||| |||| | ||
|
||
|
||
| |
|| |||| | || | || | ||
|
|| ||| | || |
|
|| | ||
|
| | || ||| | || | ||| | ||| ||| || || || || || ||| ||| | ||| || |||
|
| || | | || ||||| |||| || | || || || |||| | |
|
| | ||| | ||| ||| | || | ||| || || ||||| ||| || | || | | | | |||| || | || ||||| | || || || | | | || || | | || || | ||| || |||| | || ||| | || | | ||| || | || | || | ||| || ||| || || || | ||| || | ||
|
| | | || | | ||| | |||| | | |
|
|| || | | || ||||
|
| | || | | || || || || | || ||| | | ||| ||| | | | | ||| ||| || | || |||| || | ||||
|
|| || || | || | | ||||| | || || | || | | || ||| || ||||| |
|
||
|
||| |||| || |||| ||| | || || ||| || | | || | ||| | || | | ||| || | | || || || ||| | |||| |||| ||| ||| |
|
||| | || || || |
|
||| || | || |||| | ||| ||| || ||| || ||| || || || | | || | | | || || | || || | | | ||| | | || || | ||| | | | ||
|
|||| | || | || | || || || |||| || || || | | ||| | || ||| | | || |||||
|
| |||
|
| || || || ||| | | |||| | | || || ||
|
| | ||| | ||
|
| |||
|
| | | |||| || || || ||| | || | | | | ||||| || ||| || | ||| || | || |||| |||| | | | || ||| || || ||| || | || || ||| || || |||| || | ||||| |
|
| | || | || || |||| | || || | || | | ||| | ||| | ||| ||| ||| | | || | | || | ||| || | | | || | || | | || || || ||| | | |
|
| || || | ||| | || | |
|
| ||| | |||| | || || ||| || | | | |
|
| | |||| ||| || || || || | || | ||| | | | |||| |
|
|| |||| | |||| | || | | || | |||| || || ||| | || ||| ||| |
|
| || || || | ||| ||| ||| | ||| ||| || | | || ||| | || ||| ||| || | |||| | || || || | || || |
|
| |||
|
| ||| || ||| |
|
| | ||| | |||
|
|| ||| | || || | | ||| || |
|
| ||| | ||
|
||| | |||| || || | |
|
| | |||| | ||
|
|| | |
|
|||| | |
|
| | ||| || | ||| | | ||
|
| | ||| |||| | || ||| || | || |||| | ||| | ||| | || || || | | | | || ||| | | |||| | | || || ||| || | |||| |
|
|| || ||| || || || ||| | ||| ||||| ||| || || | | || ||||| ||
|
| || |||| |||||| | | ||| || ||| ||| | || || ||| || || ||| ||| || || || || | | | | || | | || || || ||| | | || | || || || | | || || || || |||| | | || | | |||| || || ||||| | ||| || | | || | ||| |
|
| |
|
| ||| | ||| |
|
| | || || || || | | || ||
|
|| || | ||| | || | | ||| || ||| | | || || || |||| | || ||| | ||
|
|| || ||| | || || | || | |||| || | |||
|
| | || | || ||
|
| ||| || || ||| | || | | | |
|
|| | ||| | |
|
| | || || | | || || | || || || ||| ||| | |
|
|
|
| ||| | || |||| | | | ||| | || |||| ||
|
| || | | || ||| || ||| ||||| |
0 500 1000 1500 2000 2500
0.0
0.2
0.4
0.6
0.8
1.0
Balance
Pro
babi
lity
of D
efau
lt
| | | ||| |||| | || | || || || ||| | | | ||| | ||||| | | || || ||| |||| | | ||| || || | || ||| || ||| | | || | || || | ||| | | || | | ||| || || | || || | ||| ||| | |||| | ||| | || | ||| | ||| || || || ||| |
|
|| || || || | ||| || | || || ||| ||| || || | || | | | |
|
| | ||| | |||| | | |||| | || || ||| || |
|
| || |
|
||
|
|| | || || | ||| | ||| | || ||| || | |||| | ||
|
|
|
| || | | | || | || || ||| || |
|
| ||| || | | ||| | || || | | |||| | || |||| ||| | || || | | | || ||| || || | || | || ||| | || || | || | || || | ||| ||
|
| ||
|
| | |
|
||| | || |
|
|| || || ||| || | |||| | | || |||| | |||| | | || | | | | || || || || | ||
|
| | || || || ||| |||||| || ||| || | || ||| | |
||
| || ||||| | ||| | ||| || | | || || | || ||||| ||| | ||| | || ||| |
|
| || | ||| || ||||| | | ||| ||| | | | ||| || | | ||| | | ||||| |||| | | || ||
|
| | ||
|
| | || | | | ||||| ||| || ||| || | || || |||
|
| || |
|
|| | | || | |||| | ||| || || | || || | | || | || || |||| || |||| || | || |||| || | ||| |
|
| || | |||| |
|
| || || || | |||| || | | | ||| ||| | || | || |||| | ||| || | ||| | || | |||| || || || || ||
|
| || |||| | | || | || ||| || | |||| | |
|
||||| | | | |||| | || || | ||
|
| || |||| | || || || | || |||| || | ||| || | | ||| | || ||||
|
| |||| || | | | || ||| || || ||||| | ||| |
|
||| | | ||| | | ||| | | ||| | || || |||| | |||| |
|
|| || | | || || | || ||| | || || || || ||| ||| || | | ||| ||||| | ||| | | || |
|
| ||| ||| | || |
|
|||| |||||| | |||| || | |||| ||||||| || |||| | || | ||
|
|| | || |
|
| ||| || | ||| || |||| |
|
| | ||| | | | || | || | ||||
|
| | ||
|
| || | | |||| | | | | ||| || |
|
|| | |||| | ||| | || || || | || || ||| || || | ||| | | || |||| || || | || | | | ||
|
|| | | || ||||| | ||| | || | || || | || | ||| | || || ||
|
|| || |
| |
|| | | || | ||||| | |||
|
| || | | | || | ||| | || || | || | | | |||| |||| || ||| | | |||| ||| || |
|
|| | ||
|
|| |||| | || | | ||| | ||| | | ||| | ||| | || | | || |||| |
|
|| |||| | || ||| ||| || | || | || |||| || || || | || || | |||| | || || || ||||| | |||| | |||| || || | || || || || || |||| || | | || || || ||| | | | |||
|
|
|
|| |||| | | | |||| | || ||| || | || | | | | |||| |
|
||| | || |||| || ||| | | ||| | || | | || || ||| ||| | | || | | || || || | |
|
|
|
| ||| | ||||||| | | || || |||| || | || || || ||| | |
|
||
|
| | || || ||
|
| ||| |
|
||| ||| | |||| || ||| || |||||| || | || | || || || || ||| ||| |
|
|| ||| || |||| | ||| || |||| || || | ||||| | | || ||| |||
|
| |||| || ||| ||| ||| | |
|
|||| ||| | ||| | |||
|
||| || | || || | | || | || | |||
|
|| | || | || || | || || | | |||| || | || | ||||| ||| || | | ||| ||| || || | || | |
|
|| ||| |
|
| || | | |||| | | || ||| ||| ||| ||| ||| | || || || | ||
|
|| ||| | || || || || | || |||| | | | || | || | |
|
|| | || | | || | | ||| || | |||| | || || || || | ||| ||| |||| || ||||
|
|||
|
|| |||| || || |
|
| || || || || || | | ||||
|
| ||| || || || || |
|
| |||| ||| || | ||| ||| ||
|
| || || | |||| || || ||| ||| || | || | | | ||| |||| | ||||||
|
|
|
| | || | || | | | ||| | | || || ||| | |||| || | || || | || || | || || ||| ||| | || ||| | | ||
|
| |||| ||
|
| | ||| | || ||| | || || | || || |
|
|| | ||| || || | ||| |
|
| ||| || ||| || | | |
|
||| | | |||| | ||| || || || ||| || ||
|
|| | |
|
| ||| | | | ||| |||| |||| | || ||| || |||
|
|| | | || |||| | | | || ||||| | | | | | ||| | || |
|
| | ||| | ||| ||| |
|
|| || ||
|
| || ||| ||| || | | || || | ||
|
|| |
|
| || | | | |||| |
|
| | || | ||| || || |||| | || || |
|
||| | || || ||| || | | ||||| || | | | |||| || || || ||| || ||
|
||| || || | | || ||| || | | | |||| || |||| || || |||| | |
|
|| || |||| ||||| | ||
|
| || ||| || | | || |
|
|| ||||| |||| |||| | | |||| | || | | || | || || ||| | ||| ||| | | ||| ||| | || | || ||| ||| || | || | ||| ||| | || || || | || || || || | |
|
|| ||| | |||||
|
|| | || || ||| ||| || | | | ||||| | | ||| || || || | ||| ||| | |||| || |||| | || || | ||| ||| || | || | | | ||| ||
|
| ||| | || | | | |
|
| | || || || | || || ||| || | || ||| || | ||| || || ||| | ||| || |||| | ||| ||
|
| |||| || | || | |||| || | || || || | ||| || || | || ||| ||| || |||| |
|
||| | || || || ||| | |||| || || || || | ||| | || | ||| |||
|
||||| | | | | ||| || ||| | || || ||| || || ||| || | ||| | ||| | | || | | || | || | |||
|
|| || || || || || ||| | | ||| || | || ||| |||
|
|| | || || | || | | |||
|
|| ||| | ||||| ||| | || | ||| || |||| || || | || || | || | || | || | |||| | || || ||| || | |||||| || || |||| ||| || || |||| | |
|
| || || || | ||| ||| |||| | || | | |||| || ||||| | || ||
|
| | || | || ||| |||| | || ||| || || | || ||| || || | ||||| | || | | | | || | || ||| |||| | | ||| |||| || | | ||| | ||| || | || | || | || ||| | | || | || || |||| | || |
|
|| ||| | |||| ||
|
|| | | || | ||| | || || || | |||| || ||| | || || | | || || | | || | | | ||||
|
|| | || || | || |||
|
| || | |
|
|| | ||| ||| || | ||| ||| | || || ||||| ||| |
|
| || ||
|
|| ||| | || | ||| ||| || |
|
|| | || ||
|
|| | | | | || ||| | ||| | || |||
|
| || ||| | ||| || | | ||| | || | || | | |
|
|| |||| | ||
|
|||| || || ||| || ||| ||| | || | || | ||| | ||||| |
|
|| || | ||| | ||
|
| || ||| ||
|
| | |||| |
|
|| || | |||
|
|| ||| | | ||||| | | | |||| ||| | | || ||| || | || || || | || |||| || | | |||
|
||
|
| | || |
|
|| | | |
|
|| || | ||||| ||| || | | || | | || | || ||| | ||| || | |||| | | |||
|
|| ||| || || || || ||| | | || || ||| | ||| ||| | || || || || || |||||
|
| | |
|
| | | |||| || ||| | ||| | || | ||| ||| | | ||||| | || | || | | ||| | | ||| | || |||| | | || | || || | || |||
|
| || |||| || | | | |||| ||| | || || || |||| | |||
|
||| || | || ||||| |
|
|| ||| | ||| || | | || | ||| | || ||| | ||
|
| || | | || | | || || | ||| || | || | ||||| || | | || | | || || || ||| | | || || | || || |||| || || | | || ||||
|
|| |
|
|| ||| | | | ||| || ||| || | ||| || || || | | | |||| | | || || || ||| || || ||| || || | || | || | |
|
||| | || | || || || | |||| || | || | | ||| |||| | | || | ||| | || | | ||| | || || | ||| |||| || ||| | | ||
|
| || | || || || ||| || ||| | | ||| | |
|
| ||||| || | ||| | || ||| || || | |||| ||||
|
|||| |||
|
| ||| | || ||| | | | |||| | |||| | || || | || | | || |
|
|| | | || | | | ||
|
| || ||| || | | || || || | ||| | ||| || | || | || | || || || || | ||| || | || | ||| || ||| ||| || ||| | || |||| || || |
|
| ||| ||| | | |
|
|| ||| ||| ||||
|
|| |
|
|
|
||| | ||| | ||| || || || ||| || | | |||| | ||
|
| || | || || || || | || | ||| |||| ||| || ||| |
|
||| || || | || || | |
|
|| || || |
|
|| || || ||| ||||| | | ||| | | || || ||| || | | | | ||||| | ||
|
| || || || ||| | | |
|
|| || ||
|
|| || | | ||| | ||| | | ||| | || |||| || | ||| | | | | || |||| | |||||| | | |||| || | || | ||| ||| | | | || ||| ||
|
|| |||| |||| | ||| | | || || || | | | ||| || | ||| | || || | || | | | || | |||| | | ||| |||||
|
|| | || ||| || || | | || ||| || ||| | ||| | || || | ||
|
|| || || ||
|
| || ||| | ||| ||
|
| || | | || | || ||| | || ||| | || | ||| || || | |
|
|| ||| || |||| ||
|
|| | |||| || | || ||| | | || |||| | | || ||| |
|
|||
|
| || | ||| ||||| || | ||| |||| | |||| |||| |||| | | | || || |||| ||| | || | |
|
|| || ||| ||| | || || | || | |
| |
|| |
|
| | || | ||| ||| || | | | || ||||| ||| | | ||||| |||| | || | || | ||| || ||||| || || || | | || ||| | |||| || | || |||||| || |
|
|
|
|| ||| ||| | | |||
|
| ||| || | |||
| |
| || | || | | | ||||| ||
|
|||| | ||| || | ||| ||| ||| | | | ||| | || | |||||| || || ||| | || |
|
|| |||| || || || || | | |||| || | || || || || || | | ||| || | | || | || || || | ||| | || ||| | |||| | ||||| || | || | | | ||| || | || | | || ||| | || || | || || | ||| || | || | ||| | ||| || ||| | || | || || || || | | || ||| | || | || | |||| | || | |
|
| ||| | || | ||
|
| ||
|
|| | | ||| || ||
|
|| | | || ||| |||| || | |
|
| || | || || ||| ||| ||| || || |||| | | ||||
|
| | | || ||| | | |||| || | | || || |
|
| |||| | || | |
|
| | |
|
| || | || | ||| | || || | || | || | | || || || | || || |||
|
| | | || | || ||| || | || ||| ||| || | ||| || | || | || ||| ||| || ||| | | || | || || |||| || | || || | |
|
|| ||||| || ||||| || | ||| || | | || |
|
| || | || || | || || | || |||
|
| ||| || |||| || || |||| || || || ||| | | | | ||| | ||||| || |||| | |||| || | ||| | || | ||| | || || || | || |
|
|| | || | | | || || || ||| |||| || ||||| | ||| | || || || ||| | || | | ||| | | | ||||| ||| | ||||| |
|
|||| ||| ||| ||| || || ||| | ||| || || ||| ||| || | | |||
|
| | |||| || || ||| | | ||| | || ||| || || || ||||
|
|| ||| ||
|
| | ||| | ||| ||| | ||||| | | |
|
||| | || ||| | | ||| || ||| ||| | || | || | || || ||| || || ||| |
|
|| || ||| | | ||| || ||| || | |||| ||| || | ||| || | | ||| | || || ||| | ||| || || ||| | || || || |
|
||| | || | ||| || ||| || |||| | | ||| | ||| || | |||| || | |||| |||| | | | ||| | || ||||| || || || | || | | || | |
|
||| | || || || ||
|
| || || |||
|
| | || | || | || ||| ||| | ||| | | ||| || || | || || || || |||| || ||| ||| | | ||| | |||| | |||| || ||| | || | || | || | | ||| || || | || ||||| | | |||| ||| ||
|
|| || || | ||| || | || || || ||| || ||| | | |||| ||| |
|
| ||| || || | ||| ||| ||| || || || || | | ||| | | |||
|
||| | | || || | | | | ||| | |||| || || | | ||| ||
|
||| ||| | || | || | | || ||| | ||| || || | ||| |||| |||| || | | |||| ||| || | || || | | || | | | || | | ||| | || ||| || || | || ||| || |
|
| || || | || || || | || ||| | || |||||| | | | | || | || |
|
|| | || | | || | | |
|
| || || ||| | | |||| | | | | || | ||| || || | || ||| || | || || |
|
|
|
| || ||| | | | || | || | ||| |
|
| || | | ||| || | | || | ||| | | | ||
|
|| | ||| | | ||| ||| |
|
| || || | ||| || |||| | || | | ||| | | || || || | ||||| || | ||
|
| | ||| | ||| |
|
|| | | | ||| || ||| | | || | || | ||| | | || | |||||| | || ||| || | | || | ||
|
|| ||| |
|
||| || || ||| |
|
| | | || || ||| | | | || || | | || || ||| | | || | || | ||| ||| | | ||| | | || | || | |||| | | || | || ||| | |||
| |
| || | || ||| ||| ||| | |||| | || ||| || || | ||| ||
|
| | || || | || | | |||| ||| || | |||| ||
|
| || | ||| | | ||||| | ||| | | |
|
| || | ||| || || || | | ||| || | || | |||
|
|| | ||| || | ||
|
|| | || || ||| | |
|
||| | || |||| | | || | || |||| || | | ||| ||| || | || | || ||| || |
|
| ||| || ||||| || | || || ||
|
|
|
| | | ||||| ||| | | || |||| | | | ||| | | ||| | || | || | |||| | || | | || || | |
|
| | ||
|
| ||||| || | |
|
| || || || || || || | || || | ||
|
| || || | ||
|
|||| | | || | ||| | || | ||| | | ||| || ||| | | ||| | || | || ||
|
| ||| || | || |||| ||| || | | || |||| | | | ||| || |||| | || | || | | ||| || | || ||| | |||| ||| |||
|
|| || | || || |||| | || |||| || || | |
|
| |||| || || ||
|
| || | || | |
|
|||| ||| | || | || ||||| | || || |||
|
|| || | ||| || | | | |||
|
||
|
| ||| | | ||||| | ||| ||| || |
|
|| | || ||||
|
|| | || || | || ||| | | ||| |||| | | | ||| | ||||| || | |||
|
|| | | || | || ||| || | ||| ||| ||| | ||| | | ||| | || ||| ||||| |
|
|||| ||| || | | || ||
|
||| | ||| | || ||||| | ||||| || | ||| |
|
|| | | |||| ||| | || |||| | | ||| | ||| | |||
|
|||| || ||||| | | ||| ||| | | | || || | | | || | ||| | || | | | ||| ||
|
|| || || || ||
|
||| ||| | ||| || ||| || || || |||| || | |||||| |
|
|| || | || ||||| | ||| || |||| || ||| | | |||| | |||| | || | ||| ||| | | || || | || |
|
| | || || ||| | || | ||| | | || | | || || ||| | | || || | | |||| | | || |
|
|| || | || ||| || || | | | ||| || | ||| || ||| || ||| | | ||| || || | ||| | || || | ||| || ||| || |||| | | | || || | | | |||| | | || |
|
|
|
|| | |||| | ||| || | |||| || ||| |
|
|||| | || ||||| | |||||| | || |||| || | || || | | || || | | || || || || | || ||| | | | || ||| ||
|
| | || ||| |
|
| ||| | || | | || | ||| | || || || || | ||| || | | ||| ||| || ||| ||| | |
|
| |
|
||| || ||| | | ||| || ||| || | ||| | | || ||| | ||
|
| | ||| | || ||| || | || || | |||| | | ||
|
|| |||| | |||| || | | ||||| || ||| | || || || || || | | ||||| | || ||| | ||| || || ||| | || || | | ||| ||| || | | | |||| || || || |||| | || ||| || || | ||| ||
|
|| | || || || | || | || ||| | |||| || || ||| | || ||| | | || ||| | ||| || ||| || | ||| || || |||| |||
|
|||| | || | | || ||| || | | ||| | | | || ||| ||| | ||| ||| | | || || ||| || | |
|
||||| |||| || ||
|
|| || | | | |||| |
|
|
|
|
|
|| | ||| | || | |
|
| ||| ||| || | || || |||| | | ||| | ||| | || || ||| | | ||||
|
| || || | || || ||| | | | || || ||| | || | | | ||| |
|
|| || | ||| | || || || ||| | || | | || | || || |||| || || | |||| ||| || | || || || |||| | || | |||| | | | ||| | | ||||| | || || ||| | | || || || ||| | | |||| | | |||| | | | || || | || || ||| | | || | || | | |||| | |||| | || | || | |||| || || || || || ||| || | || || || | || |||| || | || || | || | || || | ||| | | | || | | | ||| ||
|
|| || || || || | || | || || |
|
|||| | | | | ||| | || | || | | |||| | |||| | ||| | ||||||| | |||| ||| |
|
|||
|
| | || || ||| ||| || ||| || | | | | ||| | || || || || |||| | | ||| || ||
|
||||| || ||||| || ||| | ||
|
|| |||| | || | |||| | | |||| | || || | | || | | | || | | ||| || | ||
|
||| ||| || | | || || | || || | | || || | || | || |
|
| || | ||| | || | | |
|
| | ||| | |
|
| ||| || ||||| | ||||| || | | | ||||| | || | || |
|
| || | || || | |
|
| | || ||| || || || || |
|
| |||||| || || || || ||| ||| |||| | ||
|
||
|
||
| |
|| |||| | || | || | ||
|
|| ||| | || |
|
|| | ||
|
| | || ||| | || | ||| | ||| ||| || || || || || ||| ||| | ||| || |||
|
| || | | || ||||| |||| || | || || || |||| | |
|
| | ||| | ||| ||| | || | ||| || || ||||| ||| || | || | | | | |||| || | || ||||| | || || || | | | || || | | || || | ||| || |||| | || ||| | || | | ||| || | || | || | ||| || ||| || || || | ||| || | ||
|
| | | || | | ||| | |||| | | |
|
|| || | | || ||||
|
| | || | | || || || || | || ||| | | ||| ||| | | | | ||| ||| || | || |||| || | ||||
|
|| || || | || | | ||||| | || || | || | | || ||| || ||||| |
|
||
|
||| |||| || |||| ||| | || || ||| || | | || | ||| | || | | ||| || | | || || || ||| | |||| |||| ||| ||| |
|
||| | || || || |
|
||| || | || |||| | ||| ||| || ||| || ||| || || || | | || | | | || || | || || | | | ||| | | || || | ||| | | | ||
|
|||| | || | || | || || || |||| || || || | | ||| | || ||| | | || |||||
|
| |||
|
| || || || ||| | | |||| | | || || ||
|
| | ||| | ||
|
| |||
|
| | | |||| || || || ||| | || | | | | ||||| || ||| || | ||| || | || |||| |||| | | | || ||| || || ||| || | || || ||| || || |||| || | ||||| |
|
| | || | || || |||| | || || | || | | ||| | ||| | ||| ||| ||| | | || | | || | ||| || | | | || | || | | || || || ||| | | |
|
| || || | ||| | || | |
|
| ||| | |||| | || || ||| || | | | |
|
| | |||| ||| || || || || | || | ||| | | | |||| |
|
|| |||| | |||| | || | | || | |||| || || ||| | || ||| ||| |
|
| || || || | ||| ||| ||| | ||| ||| || | | || ||| | || ||| ||| || | |||| | || || || | || || |
|
| |||
|
| ||| || ||| |
|
| | ||| | |||
|
|| ||| | || || | | ||| || |
|
| ||| | ||
|
||| | |||| || || | |
|
| | |||| | ||
|
|| | |
|
|||| | |
|
| | ||| || | ||| | | ||
|
| | ||| |||| | || ||| || | || |||| | ||| | ||| | || || || | | | | || ||| | | |||| | | || || ||| || | |||| |
|
|| || ||| || || || ||| | ||| ||||| ||| || || | | || ||||| ||
|
| || |||| |||||| | | ||| || ||| ||| | || || ||| || || ||| ||| || || || || | | | | || | | || || || ||| | | || | || || || | | || || || || |||| | | || | | |||| || || ||||| | ||| || | | || | ||| |
|
| |
|
| ||| | ||| |
|
| | || || || || | | || ||
|
|| || | ||| | || | | ||| || ||| | | || || || |||| | || ||| | ||
|
|| || ||| | || || | || | |||| || | |||
|
| | || | || ||
|
| ||| || || ||| | || | | | |
|
|| | ||| | |
|
| | || || | | || || | || || || ||| ||| | |
|
|
|
| ||| | || |||| | | | ||| | || |||| ||
|
| || | | || ||| || ||| ||||| |
FIGURE 4.2. Classification using the Default data. Left: Estimated probabil-ity of default using linear regression. Some estimated probabilities are negative!The orange ticks indicate the 0/1 values coded for default(No or Yes). Right:Predicted probabilities of default using logistic regression. All probabilities liebetween 0 and 1.
For the Default data, logistic regression models the probability of default.For example, the probability of default given balance can be written as
Pr(default = Yes|balance).
The values of Pr(default = Yes|balance), which we abbreviatep(balance), will range between 0 and 1. Then for any given value of balance,a prediction can be made for default. For example, one might predictdefault = Yes for any individual for whom p(balance) > 0.5. Alterna-tively, if a company wishes to be conservative in predicting individuals whoare at risk for default, then they may choose to use a lower threshold, suchas p(balance) > 0.1.
4.3.1 The Logistic Model
How should we model the relationship between p(X) = Pr(Y = 1|X) andX? (For convenience we are using the generic 0/1 coding for the response).In Section 4.2 we talked of using a linear regression model to representthese probabilities:
p(X) = β0 + β1X. (4.1)
If we use this approach to predict default=Yes using balance, then weobtain the model shown in the left-hand panel of Figure 4.2. Here we seethe problem with this approach: for balances close to zero we predict anegative probability of default; if we were to predict for very large balances,we would get values bigger than 1. These predictions are not sensible, sinceof course the true probability of default, regardless of credit card balance,must fall between 0 and 1. This problem is not unique to the credit defaultdata. Any time a straight line is fit to a binary response that is coded as
Machine Learning Linear methods for classification 2 February 26, 2020 5 / 22
Logistic Regression
For K– class classification we estimate 2× (K − 1) parametersθ = {β10, βT
1 , . . . , β(K−1)0, βTK−1}.
log P(G = G1|X = x)P(G = GK |X = x) = β10 + βT
1 x
log P(G = G2|X = x)P(G = GK |X = x) = β20 + βT
2 x
...
log P(G = GK−1|X = x)P(G = GK |X = x) = β(K−1)0 + βT
K−1x
that is
pk(x ; θ)← P(G = Gk |X = x) = eβk0+βTk x
1 +∑
l=1,...,K−1 eβl0+βTl x
pK (x ; θ)← P(G = GK |X = x) = 11 +
∑l=1,...,K−1 eβl0+βT
l x .
Machine Learning Linear methods for classification 2 February 26, 2020 6 / 22
Fitting Logistic Regression Two classThis model is estimated iteratively maximizing conditional likelihood of Ggiven X .
`(θ) =N∑
i=1log pgi (xi ; θ)
Two class model: gi encoded via a 0/1 response yi ; yi = 1 iff G = g1.Let p1(x ; θ) = p1(x ; θ), p2(x ; θ) = 1− p(x ; θ). Then:
`(θ) =N∑
i=1(yi log p(xi ;β) + (1− yi ) log(1− p(xi ;β))
=N∑
i=1(yiβ
T xi − log(1 + eβT xi ))
Set derivatives to zero:
∂`(β)∂β
=N∑
i=1xi (yi − p(xi ;β)) = 0,
which is p + 1 nonlinear equations in β.First component: xi ≡ 1 specifies
∑Ni=1 yi =
∑Ni=1 p(xi ;β) the expected
number of class g1 matches.Machine Learning Linear methods for classification 2 February 26, 2020 7 / 22
Newton–Raphson Algorithm
We use Newton–Raphson Algorithm to solve the system of equations
∂`(β)∂β
=N∑
i=1xi (yi − p(xi ;β)) = 0,
we need the second–derivative or Hessian matrix
∂2`(β)∂β∂βT = −
N∑i=1
xixTi p(xi ;β)(1− p(xi ;β)).
Starting with βold a single Newton–Raphson update is
βnew = βold −(∂2`(β)∂β∂βT
)−1∂`(β)∂β
,
where the derivatives are evaluated at βold .
Machine Learning Linear methods for classification 2 February 26, 2020 8 / 22
Newton–Raphson Algorithm in Matrix NotationLet us denote:
y the vector of yiX N × (p + 1) data matrix xip the vector of fitted probabilities with ith element p(xi ;βold )W diagonal matrix with weights p(xi ;βold )(1− p(xi ;βold ))
∂`(β)∂β = XT (y− p)
∂2`(β)∂β∂βT = −XTWX
The Newton–Raphson step is (β0 ← 0)βnew = βold + (XTWX)−1XT (y− p)
= (XTWX)−1XTW(Xβold + W−1(y− p))= (XTWX)−1XTWz
z = Xβold + W−1(y− p) adjusted response
p,W , z change each stepThis algorithm is reffered to as iteratively reweighted least squares IRLS
βnew ← argminβ
(z− Xβ)TW(z− Xβ)
Machine Learning Linear methods for classification 2 February 26, 2020 9 / 22
Scatterplot for South African Heart DiseaseElements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 4
sbp
0 10 20 30
oo
o
o
ooo
ooo
o
ooo
oo o
oo
oo
ooo ooo
oooo
o
oo
o
oo
oo oo
o
oo
oo
o
ooooo
oo
oo
o ooooo
ooo o
oo oooo ooo
ooo
o
oo
oo ooo oooooo
o
o
o
oooo
o
o
o
ooo
o
o
o
ooo
o
o
o
oo
ooooooo
oo
o
oo o
oo
oo oooo
ooo
o
ooo
o
o
ooo
o
ooo
oo
oo
o
oo
o
o
ooo o
o
o
o
o
o
oo
o
o oo
ooo
oo
oo
oo
oooo
oo
o
oooo
ooo
o oooo
oo
oooo
oooo
oo
oo
o
oo
o ooo
ooo
o
o
oooo
oo
o
oooo
o
oooooo
o
o
o
ooo o
oo oo
oooo o
ooo
ooo oo
o
o
o
o
oooo
o
o
oo
ooooooo
oo
oooo o
o
oo
o
oooo
oo
o
o
o
oo
o
o
oo
o
oo o
o
ooooo
o
oo
oooo
o
ooo
oo o
o
oo
o
ooo
o
oo
o
oooo ooo
ooo
oo
ooooo o
oo ooo
ooo
o
o
ooo o
oo oo
o
oo
o o
ooo
o
oooo
o
o
o
o
oo
oo
oo o
o
oo
oo
oo o
o
o
o
oooo o
ooo
oooooooooo
o
oooooo
ooo
o
ooo
o
o
o
ooo
oo
o
o
o oo
ooo
o
ooooo o
oo
oo
oo
oooo
oooo
o
oo
o
oo
oo
oo
o
oooo
o
ooo oo
oo
o o
ooo
oo o
ooooo
o ooooo oo
o oo
o
oo
o ooooo
ooooo
o
o
o
ooo o
o
o
o
ooo
o
o
o
ooo
o
o
o
oo
ooo
o ooo
oo
o
oo o
oo
oo oooo
ooo
o
oooo
o
ooo
o
ooo
oo
oo
o
o
oo
o
oo
oo
o
o
o
o
o
o o
o
o ooo o
o
oo
oo
oo
oooo
oo
o
oooo
o oo
oo ooo
oo
ooo ooo
o o
oo
oo
o
o
o
oooo
ooo
o
o
oooooo
o
oooo
o
ooo o
o o
o
o
o
oo
o ooo oo
ooooo
o oo
ooooo
o
o
o
o
oooo
o
o
oo
ooo ooo
o
oo
oooo o
o
o o
o
ooo
ooo
o
o
o
oo
o
o
o o
o
ooo
o
ooo
ooo
oo
o oo oo
o oo
o oo
o
oo
o
oo o
o
oo
o
oo
oo oo
oo
oo
o ooo
o o
o oooo
oo
ooo
o
o
o ooo
oo oo
o
o
o
oo
oo
o
o
oooo
o
o
o
o
oo
oo
oo o
o
oo
oo
ooo
o
o
o
oo
ooooo
o
ooooo ooo
oo
o
ooo oo oo
oo
o
oo
o
o
o
o
o oo
0.0 0.4 0.8
oo
o
o
ooo
ooo
o
ooo
ooo
oo
oo
oo
oooo
o oooo
oo
o
oo
oooo
o
o ooo
o
ooo ooo
ooo
oo
oo
o oo
oo o
oo ooo
oo oooo o
o
oo
ooooooooooo
o
o
o
o ooo
o
o
o
ooo
o
o
o
ooo
o
o
o
o ooo ooooooo
o
ooooo
oooo
oooo o
o
oooo
o
ooo
ooooo
oo
o
o
o
oo
o
oo
ooo
o
o
o
o
oo
o
ooo
ooo
oooo
oo
oo o
oo
o
o
oo oo
o oo
oooo o
oo
oo oo
oooooo
oo
o
o
oo
ooo
oo o
o
o
oooooo
o
ooo
o
o
ooo ooo
o
o
o
oooooooo
o oooo
ooo
oooo o
o
o
o
o
oooo
o
o
oo
ooooooo
oo
ooooo
o
oo
o
oo oo
oo
o
o
o
ooo
o
oo
o
ooo
o
ooo
ooo
oo
oo
ooo
ooo
oo o
o
oo
o
o
o o
o
oo
o
ooo
oo oo
ooo
oo
oo
ooo o
oo oo
oo oo
o
o
oooo
ooooo
o
o
oo
ooo
o
oooo
o
o
o
o
oo
oo
ooo
o
oo
oo
ooo
o
o
o
oo
ooo
ooo
oo
oo ooooo
o
o
oo oooooo
o
o
o
oo
o
o
o
oo
o
oo
o
o
o oo
ooo
o
oooooo
oo
oo
oo
ooo o
o oooo
ooo
oo
ooo
o
oo o
oo
o
oooo
oo
ooo
oo
oooo
ooo o oo ooo
o oo oo oo
o
oo
ooo
o ooo
o oo o
o
o
o
o ooo
o
o
o
ooo
o
o
o
ooo
o
o
o
oo
ooo
oooooo
oo
oooo
oooo
oooo o
o
o o oo
o
ooo
oo
oooooo
o
ooo
o
oo
oo
o
o
o
o
o
oo
o
o ooo oo
oo
oo
oo
ooooo
o
o
ooo o
ooo
oo ooo
oo
oo oo
oooo
oo
oo
o
o
oo
ooo
ooo
o
o
oooooo
o
oooo
o
oooo
oo
o
o
o
oooo
oooo
o oooo
ooo
oo o oo
o
o
o
o
oo oo
o
o
oo
o ooo
ooo
oo
oooo o
o
o o
o
oo oo
oo
o
o
o
oo
o
o
oo
o
oooo
ooo
oo
o
oo
oo
ooo
oo oooo
o
oo
o
o
o o
o
oo
o
ooo o oo
ooo
o
ooo
ooo
ooo oo
oo
oo o
o
o
ooo o
oo oo
o
o
o
o o
oo
o
o
ooo o
o
o
o
o
oo
oo
ooo
o
ooo
o
ooo
o
o
o
oo
ooo
ooo
oo
o o oooo
oo
o
ooo
ooo
ooo
o
o
oo
o
o
o
oo
o
0 50 100
oo
o
o
ooo
ooo
o
oooo oo
oo
oo
oooooo
ooooo
oo
o
oo
oo
oooo ooo
o
o oooo
oo
o o
oo
oooo
ooo ooooooo oooooo
o
oo
oooo ooooooo
o
o
o
o ooo
o
o
o
ooo
o
o
o
ooo
o
o
o
ooo
o ooooo
oo
o
ooo
o o
ooo
oooooo
o
oo oo
o
oooo
oooo
ooo
o
o
oo
o
oo
ooo
o
o
o
o
oo
o
oooooo
ooo
o
oo
oo o
ooo
o
oooo
ooo
ooooo
oo
oo oooo
oo
oo
oo
o
o
oo
ooo
ooo
o
o
ooo
ooo
o
ooo
o
o
oooooo
o
o
o
oo
oooo o
o
ooo
oooooooooo
o
o
o
o
ooo o
o
o
oo
ooooooo
oo
o ooo o
o
oo
o
oooo
oo
o
o
o
o oo
o
oo
o
ooo
o
ooooo
o
oo
oooo
o
ooo
ooo
o
oo
o
o
oo
o
oo
o
oooooo
ooo
o
oo
oooo
oooooo
ooo o
o
o
ooo o
ooo o
o
o
o
oo
ooo
o
ooo o
o
o
o
o
oo
oo
ooo
o
oo
oo
o o o
oo
o
o o oooooo
oooooooooo
o
o ooooooo
o
o
oo
o
o
o
o
oo
o
100
160
220
oo
o
o
ooo
ooo
o
ooo
ooo
oo
oo
oo
ooo o
oo ooo
oo
o
oo
oo o
o
oo
oo
o
o
ooo o
oo
ooo
o o
oo
o oo
oo o
oo oooo oo o o oo
o
oo
oooo oo
oo oo o
o
o
o
oo oo
o
o
o
ooo
o
o
o
ooo
o
o
o
oo
oo o
o oo o
oo
o
oo o
oo
oo oooo
oo o
o
o o oo
o
ooo
o
ooo
oo
oo
o
oo
o
o
o oo
o
o
o
o
o
o
o o
o
ooo
oo
o
oo
oo
oo
o
o ooo
o
o
oooo
o oo
ooo oo
oo
ooooo
ooo
oo
oo
o
o
ooo o
o
oo o
o
o
oooo o o
o
oooo
o
oooooo
o
o
o
oo
o oo o o
o
oo oo o
ooo
oo o
ooo
o
o
o
ooo o
o
o
oo
oooo ooo
o
o
o ooo o
o
oo
o
oo o
oo
oo
o
o
oo
o
o
oo
o
oooo
ooo
ooo
oo
o ooo
o
oooo o o
o
o o
o
o
oo
o
oo
o
oooo oo
ooo
o
oo
oo
o oo ooo o
oo
o oo
o
o
ooo o
oooo
o
oo
oo
ooo
o
oooo
o
o
o
o
oo
oo
ooo
o
oo
oo
ooo
o
o
o
ooo oo
ooo
oooooo o o
oo
o
ooo o
oooo
o
o
oo
o
o
o
o
oo
o
010
2030
o
oo
oo
o ooo o
o
o
o o
o
o
oo
o
o
o
o
oo
o
oooooo o
oo
oo ooo
o
o oooo
o ooo
ooo o
ooo
oo
o o oo
o
oo
oo
oooooo
oooooo
oo
oo
o
oo
o
ooooo oo ooooo
oo
oo oo oo
o
ooo
o
o o
o
oo
oo
ooooo
oooo
ooo
oo
ooooooo
o
oooo oo oo
o
oo
ooo
o
o
o
o
oo
o
ooo
oo
ooo
ooo oooooo
o
oooo
oo
o
oo
o ooo o ooooo
oo ooo
o oo
o oo
ooo oo
o
ooo
o
o oooooo
o
o oo
o
oo o
o
o ooo
oo oo
ooo
oo
o oo
oo o
o
oo
o
ooooo
o
oo
o
o
o
oooo
o
o
oo
ooo oo
o
o
ooooooo o ooooo
o
ooo oooo
oo
oo
oo
ooo
ooo
o
oo
o oo
o oooo
oooo
o
oooo
ooo
o ooo o
ooo
oo
oo
o
o ooo
o o
o
oo
ooo ooo
o
oooo
ooooo
oo
o
oo
o
oooo
oo o oo
o
o
oo
o
oo
oo o
oo
o
o
oo
o
o
o
oo
o
o
ooo
oo
o
ooo oo
o
ooo oo oooooo
ooo
ooooooooo
oo oo o o
oooo
tobaccoo
oo
o
o
oooo o
o
o
oo
o
oo
o
o
o
o
o
oo
o
oo
oooo o
oooo oo
o
o
oooooo o
oo
oo
o o
oo
o
oo
ooo o
o
oo
ooo
ooooo
ooo oooo
oo
o
o
oo
o
ooooo
oo oooo
o
oo
oooooo
o
oo o
o
o o
o
oo
oo
o ooooo ooo
ooo
oo
oo ooooo
o
oooooooo
o
oooo o
o
o
o
ooo
o
o oo
oo
ooo
oo oooooo o
o
o ooo
oo
o
oo
oooo ooooo ooo
o ooooo
ooo
oooo o
o
o oo
o
o oooo o o
o
ooo
o
ooo
o
oooo
oooo
ooo
oo
o o
oo
ooo
oo
o
oooooo
o o
o
o
o
oooo
o
o
o oooooo
o
o
ooo ooo oo ooooo
o
oo
oo ooo
oo
ooo
o
ooo
oo o
o
oo
ooo
oo ooo
ooo o
o
ooo oo
o ooooo o
ooo
ooo
o
o
ooo
ooo
o
oo
oo
ooooo
ooo
oo o
oooo
o
o
oo
o
oo
oo
oo ooo
o
o
oo
o
oo
oo o
oo
oo
oo
o
o
o
o
oo
o
ooo
oo
o
ooo ooo
ooo ooooo ooo
ooo
ooooo oooo
ooooo o
oo oo
o
o o
oo
oo ooo
o
o
oo
o
oo
o
o
o
o
o
oo
o
ooo
oooo
oooooo
o
o
ooo ooo o
ooo
ooo
oooooo oo o
o
oo
oo
oo
oooo
oooo oo
ooo
o
o
oo
o
ooooooooo oo
o
oo
o ooooo
o
ooo
o
o o
o
ooo
ooooooo oo oo
oo
oooo oo oo o
o
ooooo ooo
o
oo
ooo
o
o
o
o
oo
o
ooo
oo
oooo
ooo ooooo
o
o ooooo
o
oooo oooo oo
o ooo
oooooooo o
o oooo
o
ooo
o
o ooooo o
o
ooo
o
ooo
o
o oooo ooo
oo o
oo
oo
oo
ooo
oo
o
oo oooo
oo
o
o
ooo o
oo
ooo
oooooo
o
ooooooooo
oooo
o
oo
oo oo o
o
oo o
o
o
oooo oo
o
oooo o
oo ooooo
oo
o
ooooo
oo oooo o
ooo
oo
oo
o
ooo
o oo
o
oooooo oo
o
ooo
ooo
o oooo
ooo
o
oo
oo
oooo
o
o
oo
o o
ooo
ooo o
o
o
oo
o
o
o
ooo
o
oo
ooo
o
ooo oo
o
ooooo oo ooooo o
ooo oo oo
ooo
oooo oo
ooo
o
o
oo
oo
oooo o
o
o
oo
o
oo
o
o
o
o
o
o o
o
o oo
oo
oo
oooo o o
o
o
ooo o ooo
oo
oo
oo
ooo
oo
oooo
o
oo
ooo
oooo
oo oo oo
oo
oo
o
o
o o
o
oo ooo
oo oo ooo
oo
o ooooo
o
oo o
o
o o
o
oo
o ooo oo
oo o
o oo
oo
oooo
oooo o
o
o oo
ooooo
o
oo
oooo
o
o
o
oo
o
oooo
o
ooo
ooo ooooo o
o
o oooo
o
o
oooo oo ooo ooo
ooo ooo oooo
o
o oooo
o
ooo
o
o oooo oo
o
ooo
o
ooo
o
oooo
oooo
ooooo
ooo
oooo
oo
o
oo ooo
o
oo
o
o
o
o oooo
o
oo
o ooo
oo
o
o ooo ooo oo
oooo
o
oo o ooo o
oo
o oo
o
o oo
ooo
o
oooo o
o oooo
oooo
o
oooo
oo
ooo
oo oooo
oo
oo
o
oo o
ooo
o
ooooo oo
oo
ooo
ooo
oo oo
o
o
oo
o
oo
ooo
o ooo
o
o
ooo
o
oo
oooo
oo
oo
o
o
o
oo
o
o
ooo
oo
o
ooo ooo
ooooooo oooo
ooo
o oo ooooo
o
oooo oo
oo oo
o
oo
o
o
ooooo
o
o
oo
o
oo
o
o
o
oo
oo
o
ooo
ooo o
ooo oooo
o
oooo
oooo ooo oo
oo
o
oo
oooo
o
oo
ooo
oooo
oooooo
ooo
oo
o
o o
o
ooooo
oooo oo
o
oo
oooooo
oooo
o
oo
o
oo
oo
ooooooo
o oo
o o
oo
o oooooo
o
oo oooo
oo
o
oooo
oo
o
o
o
oo
o
ooo
oo
ooo
ooooooooo
o
ooo o
oo
o
oo
ooooooooooo o
oooooo
oo o
ooooo
o
ooo
o
ooooooo
o
oo o
o
oo o
o
oooooo oo
ooo
ooo o
ooo o
o
oo
o
ooooo
o
oo
o
oo
ooooo
o
oooo o
ooo
o
oooo ooooo
o ooo
o
oooooo o
oo
ooo
o
o oo
oo o
o
oo
o oo
ooooooo
oo
o
oo oo
ooo
o ooo o
ooooo
oo
o
o o o
ooo
o
ooooooo
oo
oo
oo
oooo o
oo
ooo
o
ooo
oo
oooo
o
o
ooo
oo
ooo
oo
oo
oo
o
o
o
oo
o
o
oo o
oo
o
oo o ooo
ooooooooooooo
oo ooooo ooo
ooo ooo
oooo
o
oo
o
o
oo oo o
o
o
oo
o
ooo
o
o
oo
o o
o
o oo
oooo
oooo o o
o
o
oooo
oo
ooo
oo oo
oo
o
oo
o oo o
o
oo
ooo
ooo o
oo o o oo
oo o
oo
o
o o
o
oo oo oo
oo oo o o
oo
o oooo
o
o
ooo
o
o o
o
oo
oo
o oo oo
o oo o
ooo
oooo oo
oo o
o
o o oooo oo
o
oooo
oo
o
o
o
oo
o
o oo
oo
ooo
oo o ooooo o
o
oooo
oo
o
oooo oooooo
o ooo oo ooo
oooo
oo ooo
o
ooo
o
o o oo ooo
o
oo o
o
ooo
o
oooo
oooo
oooo
ooo
oo
ooo
o o
o
ooo oo
o
oo
o
o
o
oooo
o
o
oo
oo oo
oo
o
oooo ooo oo
o ooo
o
ooo o oo o
o
oo
oo
o
oo
oooo
o
oo
o oo
oo ooo
oo oo
o
oo oo
oo
ooo
o ooo o
oo
o
oo
o
ooo
ooo
o
oo
oo
oo o oo
ooo
oo oo oo
oo
o
oo
o
oo
oo
oo o oo
o
o
oo
o
ooo
oooo
oo
oo
o
o
o
oo
o
o
ooo
oo
o
oooo o
o
ooooooooo oo
ooo
ooo ooo oooo
ooo oooo
oo
ooo
o
o
o
ooo
o
oo
o ooo
o
oo
o
oo
ooo
o
o
ooo
oooo
o
o
oo
o
ooo
ooo o
oo
oo
oo
o
o o
o
o oo o
o
o oooo
oo
o
oo oooo ooo
oooooo
ooo ooo
oo
oo
oooo
o
o
o
oo oooo
oo
o
o o
o
o
o
o
o oo
ooo
oo
o
o
oo
o
oooo
oo
o
o ooooooo
ooo
oooo
oooo
ooo
ooo
ooooo
oo
o
o o
oo
ooooo
o
o oo
o
o
o
o
ooooo
oo
oooo o
o
oo
oo
oo o oooo
oo
ooo
o
oo
oo
o
ooo
oo
o
ooo
o
oo
o ooooo
o oo o
o
o
oo oo
oo
oo
oooo
oo
o
ooooo
oo
oo
o
oooo
oo
oo
ooo o o
ooooo
oo
o
o
o
ooooo
o ooo
o
o
ooo
oooo
o o oo
ooo oo oo
ooo o
o
ooooo
o
oo
oo
oo
o
oo
o
oo
o
oo
oo
o o
o
oo
oo
ooo
oo o o
oo ooo o
ooooo
oooo oo
o
o
ooo
o
o
ooo
o oooo
o
ooooo o
o
o
oo ooo
o
o
o
o
oo
oo
ooo oo
ooo
o
oooo
oo
o oooooo
o
o
o
oooo
oo o
oo o
oo
oo
oo
o
o
o ooo
o
o
o
ooo
o
oo
oo oo
o
oo o
oo
oo o
oo
ooo
oo ooo
ooo
ooo
oo
oo o
oo
oo
oo
o
oo
o
o ooo
o
o ooo o
oo
o
ooo oooooo
ooo
ooooo
ooooooo
ooooo
o
o
o
ooooo
o ooo
o o
o
o
o
o
oo o
ooooo o
o
oo
o
ooooo
o
o
oooooooo
ooo
oo oo
oooo
ooo
ooo
oooo oo
o
o
oo
oooo
o
oo
o
ooo
oo
o
o
oooo
ooooooo o
o
oo
oooooo
ooo
oo
ooo
o
ooo
o
o
oo o
ooo
oooo
oo
oo ooooo oo
o
o
o
oo oo
oo
oo
o
ooo
oo
o
oooo o
oo oo
o
ooo
o
oo
oo
ooooo o
oooooo
o
o
o
ooooo
oooo
o
o
ooo
ooo
o
ooo
o
ooo ooo o
oooo
o
o ooo o
o
oo
oo
oo
o
ooo
oo
o
oo
o ooo
o
oo
oo
ooo
oo oo
ooooo
oo
oo ooo ooo oo
o
o
o ooo
o
ooo
ooo oo
o
o
oo oo o
o
o
ooooo
o
o
o
o
oo
oo
oo ooo
ooo
o
oooo
ooooooooo
o
o
o
ooo
oooooo o
ooo
oo
oo
o
o
ldlo
o ooo
o
oooo
oo
oo oo
o
ooo
oo
ooo
oo
o oooo oooo
oo
ooo
oo
ooo
oo
oo
oo
o
oo
o
ooo o
o
ooo
o oo
o
o
oooooo
oo oo ooo
oo
ooo ooooooooo oo
o
o
o
o ooooo ooo
o o
o
o
o
o
ooo
oooooo
o
oo
o
oooooo
o
o oo oo ooooo o
oooo
oooooo
oooo
oooooo
o
o
oo
ooo o
ooo
o
ooooo
o
o
oo
ooo oooo ooo
o
oo
ooo oo o
ooo
oo
ooo
o
oooo
o
oo o
oo
o
oooo
oooooo
oooo oo
o
o
o oo
oo
ooo
oooo
oo
o
o oooo
ooo
o
o
oo oo
ooo
o
oooooo
oooooo
o
o
o
oooooo ooo
o
o
o oo
oo oo
o ooo
o oo oo ooo
ooo
o
oooo o
o
oo
oo
oo
o
ooo
oo
o
oo
oo
oo
o
oooo
o oo
oo oo
ooo oo
oooo o
ooo oooo
o
o
ooo
o
o
oooooooo
o
oo
ooo oo
o
ooooo
o
o
o
o
oo
oooooooooo
o
oooo
ooo oo oooo
o
o
o
ooo
oooo
oo o
ooo
ooo
o
o
o oooo
oo
oooo
oo
oooo
o
ooo
oo
ooo
oo
o oo
oo o
ooo
oo
o
oooo
o oo
o o
oo
oo
o
oo
o
oooo
o
ooo
o oo
o
o
ooo oo o
oooooo
oooo oo ooo
ooo
oo
o oo
o
o
o
o ooo
oo ooo
oo
o
o
o
o
ooo
oo o
ooo
o
oo
o
oooo
oo
o
ooo ooo o oo
oo
oooo
ooo
ooo
oooooo
o ooo
o
o
oo
oo
oo
ooo
o
oooo
o
o
o
ooooo oo
ooo
o o
o
ooo
ooo oo
ooo
oo
oo
o
o
ooo
o
o
ooo
o oo
ooo
o
oo
ooooooo oo
o
o
o
ooo
oo
oo
o
ooo o
ooo
o oooo
oo oo
o
o ooo
oo
oo
o ooo ooo
o ooo o
o
o
o
oooo
oo oo
o
o
o
o oo
oo o
ooo o
o
ooo
ooooo oo o
o
ooo
o o
o
oooo
ooo
ooo
oo
o
oo
oooo
o
oooo
ooo
oooo
oo oo
oo
oo oo
o
ooo ooo
o
o
oo o
o
o
ooo
oo o oo
o
o
o
oo ooo
o
ooooo
o
o
o
oo
oo
ooooo
oooo
o
oo oo
ooooo oooo
oo
o
o oo
ooo
oooo
oo
oo
oo
o
o
o ooo
o
oo
oooo
ooooo o
o
o oo
oo
ooo
oo
ooo
ooooo
oo
oo
ooo
oooo
oo
ooo
o
o
oo
o
oooo
o
o ooo oo
o
o
ooo oooo
oo o ooo
oo
o oooooo
oo
ooo oo
o
o
o
ooooo
oooo
oo
o
o
o
o
oo o
oooo
oo
o
oo
o
o ooo
oo
o
ooooo
oo ooo o
oooo
oooo
ooo
oo
o
oooo oo
o
o
oo
oo
ooo
oo
o
oooo
o
o
oo
ooo
ooo
oooo o
o
oo
ooo o
ooooo
oo
ooo
o
oo
oo
o
ooo
oo
o
ooo
o
ooo ooo
ooo oo o
o
o
ooooo
ooo
oooo
ooo
ooooo
ooo
o
o
oooo
ooo
o
ooo
oooooo
oo o
o
o
o
oo
oooooo
o
o
o
ooo
o oo
o
oo o
o
ooooo oo oooo
o
ooo
o o
o
oo
o o
oo
o
oo
o
oo
o
oo
oooo
o
ooo o
o oo
oo ooo oo
ooo
ooooo
ooo oo
oo
o
o ooo
o
ooo
ooooo
o
o
oo
o ooo
o
oo
ooo
o
o
o
o
oo
ooo o oo
ooo o
o
ooooooooooooo
o
o
o
o ooooo
ooo o
oo
ooo
oo
o
o
26
1014
o ooo
oo
ooo
oo
ooo oo
o
o oo
o o
o
oo
o
o
oo o
oo o
o oo
o
oo
ooo
ooo o
oo
oo
oo
o
o o
o
o oo o
o
o ooo oo
o
o
oo o oo
oo
oooo o
oooo o
ooo oo oo
oo
oo o
o
o
o
o oooo
ooo
o
o o
o
o
o
o
o o o
ooo
ooo
o
oo
o
oo
ooo
o
o
ooo ooo o oo
oo
oo oo
ooo
ooo
oo
oo
oo oo oo
o
o
oo
oo
oo
ooo
o
ooo o
o
o
o
oo ooo
oo
oooo o
o
oo
oo
ooooooo
oo
oo
o
o
ooo
o
o
ooo
ooo
ooo
o
oo
oo o oooo oo
o
o
o
oo o
oo
oo
o
oo
oo
oo
o
oo oo ooo oo
o
oooo
ooo
o
ooo o oo
ooooo o
o
o
o
oo
oooo oo
o
o
o
o oo
ooo
oo ooo
ooo oo oo
oooo
o
o oo
o o
o
oo
o o
ooo
ooo
o o
o
oo
oo
oo
o
oooo
ooo
oo o o
oooo
oo
ooo o
ooo oo o
oo
o
oo o
o
o
ooo
o ooo
o
o
o
oooo o
o
o
ooooo
o
o
o
o
oo
ooooo oo ooo
o
oooooooooo
o o o
o
o
o
ooo
ooo o
oo o
oo
ooo
oo
o
o
0.0
0.4
0.8
o
o
o ooo
o
oo o
o
o
o o
oo
o
o oo
o
o o
oo
o
o o
o
oo o
o
o oo oo
ooo
oo
o
oo
oo
o o
o
o o
o
ooooo
o
o
o o
oo
oo
o
o
oo oo
o
ooo
o
o
oo
o
o
o
o
oo
oo
ooo oo oo
ooo
o
o
o
o
oo oo
o
ooo
o
o
o
o
o
o o
o
oooo o o
o
o
o
o
o
ooooo
o
o
o
o
o
o
o
ooo o
o o
oo oooo
o o
o oo oo oo oo oo
oo o o
oo o
ooo
ooo o
o oooo
oo
oo
o
oo
oo
o
o o
o
oo
o
oo
o
o
oo
o
o
o
o
o oo o ooo oo
o
o
o
oo
o
o
o oo
ooo ooo
o
oo o
o
oo
o
o
o o
o
o
oo o
o oooo
o
o
o
oooo
oo o
o oo
o
o
oo
o o
oooo o oo
o
ooooooo o
o
ooooo
oo
o o
o
o
o o
oo
o o
o
o
o oo
o
o
o
o
oo
o
o
o o
o
oo oo
oo
oo
oo
o
o
oo
o o
oo
oo
o
o
o
o o oooo
oo
o
o
o
o
o oo
o o
oo
o
oo
o
o o
oo
o
o oo
oo
oo
oo
oo
oo o
oooo
o
o
o
ooo
o o
o
o o o
oo ooo
ooo
o
oo
oo o
o o
oo
o
o
o
ooo oo
o
o
o
oooo
o
ooo
o
o
oo o
oo
oo
oo
o
oooo
o o
o
o o oo
o
ooo
o
o
oo
oo
o
oo o
o
oo
o o
o
o o
o
ooo
o
ooooo
o oo
oo
o
o o
oo
o o
o
oo
o
o oo oo
o
o
o o
oo
oo
o
o
ooo o
o
ooo
o
o
oo
o
o
o
o
o o
oo
oo oo ooo
oo o
o
o
o
o
oooo
o
ooo
o
o
o
o
o
oo
o
oooo o o
o
o
o
o
o
ooo oo
o
o
o
o
o
o
o
oooo
oo
o ooooo
o o
o oo oo oooo o o
oo oo
ooo
ooo
oo oo
o oo oo
oo
oo
o
oo
oo
o
o o
o
oo
o
oo
o
o
o o
o
o
o
o
ooo oooo oo
o
o
o
oo
o
o
ooo
oooo oo
o
oo o
o
oo
o
o
o o
o
o
oo o
oo ooo
o
o
o
oo o o
oo o
o oo
o
o
oo
oo
oooo ooo
o
oooooooo
o
oooo o
oo
oo
o
o
o o
oo
o o
o
o
o oo
o
o
o
o
o o
o
o
oo
o
o ooo
o o
oo
oo
o
o
oo
oo
oo
o o
o
o
o
ooo ooo
o o
o
o
o
o
ooo
oo
oo
o
oo
o
oo
o o
o
o oo
oo
o o
oo
oo
ooo
oo oo
o
o
o
o oo
oo
o
o oo
oo oo o
o oo
o
oo
o oo
oo
oo
o
o
o
ooooo
o
o
o
oo oo
o
ooo
o
o
ooo
oo
oo
oo
o
o ooo
o o
o
o oo o
o
oo o
o
o
oo
oo
o
ooo
o
o o
oo
o
oo
o
oo o
o
ooo oo
o oo
oo
o
oo
oo
o o
o
o o
o
o ooo o
o
o
oo
oo
o o
o
o
oooo
o
oo o
o
o
oo
o
o
o
o
o o
oo
oo oo o oo
oo o
o
o
o
o
ooo o
o
oo o
o
o
o
o
o
o o
o
o ooooo
o
o
o
o
o
ooo oo
o
o
o
o
o
o
o
oooo
o o
oo oooo
oo
o oo ooooooo o
oo oo
o oo
o oo
o ooo
ooo oo
oo
oo
o
oo
oo
o
oo
o
oo
o
oo
o
o
o o
o
o
o
o
ooo oo oo oo
o
o
o
o o
o
o
ooo
oooooo
o
ooo
o
o o
o
o
oo
o
o
ooo
ooooo
o
o
o
oooo
o oo
o oo
o
o
oo
o o
ooooooo
o
ooo ooo oo
o
oooo o
oo
oo
o
o
o o
oo
o o
o
o
o oo
o
o
o
o
oo
o
o
oo
o
oo oo
o o
o o
oo
o
o
o o
oo
o o
oo
o
o
o
oo oooo
o o
o
o
o
o
oo o
oo
o o
o
oo
o
oo
oo
o
ooo
o o
oo
oo
oo
oo o
oooo
o
o
o
o oo
o o
o
ooo
oo oo o
o oo
o
oo
ooo
oo
oo
o
o
o
ooo oo
o
o
o
ooo o
o
ooo
o
o
o o o
oo
o o
oo
o
ooo o
o
famhist
o
o
o oo o
o
oo o
o
o
oo
oo
o
ooo
o
oo
oo
o
oo
o
ooo
o
ooo o o
oo o
oo
o
oo
o o
o o
o
oo
o
o oooo
o
o
oo
oo
o o
o
o
ooo o
o
oo o
o
o
oo
o
o
o
o
oo
oo
oo ooo oo
ooo
o
o
o
o
oooo
o
oo o
o
o
o
o
o
oo
o
oooooo
o
o
o
o
o
o oo oo
o
o
o
o
o
o
o
o ooo
o o
oooooo
oo
o ooooooooo o
oo oo
oo o
o oo
o ooo
ooo oo
oo
oo
o
oo
oo
o
o o
o
oo
o
oo
o
o
oo
o
o
o
o
o oo oooo oo
o
o
o
o o
o
o
ooo
oooooo
o
oo o
o
o o
o
o
oo
o
o
ooo
ooo oo
o
o
o
oo oo
oo o
o o o
o
o
oo
oo
oo ooo oo
o
o ooo ooo o
o
oooo o
oo
o o
o
o
oo
o o
oo
o
o
ooo
o
o
o
o
oo
o
o
o o
o
oo oo
oo
oo
oo
o
o
oo
oo
oo
oo
o
o
o
oo oooo
o o
o
o
o
o
ooo
o o
oo
o
oo
o
o o
oo
o
ooo
oo
o o
oo
oo
oo o
oo oo
o
o
o
oo o
o o
o
o oo
ooo oo
o oo
o
oo
ooo
oo
oo
o
o
o
ooooo
o
o
o
ooo o
o
oo o
o
o
oo o
o o
o o
oo
o
ooo o
o o
o
o o oo
o
ooo
o
o
oo
o o
o
o oo
o
oo
oo
o
o o
o
oo o
o
oo ooo
o oo
oo
o
oo
oo
oo
o
oo
o
o oooo
o
o
o o
oo
oo
o
o
ooo o
o
ooo
o
o
oo
o
o
o
o
oo
oo
ooooooo
ooo
o
o
o
o
oo oo
o
ooo
o
o
o
o
o
oo
o
oooooo
o
o
o
o
o
o ooo o
o
o
o
o
o
o
o
o ooo
oo
oooooo
oo
o oo oo oooo oo
oooo
ooo
ooo
oooo
ooo oo
oo
oo
o
oo
oo
o
oo
o
o o
o
oo
o
o
o o
o
o
o
o
ooooooooo
o
o
o
oo
o
o
oo o
ooo ooo
o
oo o
o
oo
o
o
oo
o
o
ooo
o oooo
o
o
o
oo oo
ooo
ooo
o
o
oo
oo
ooo o ooo
o
oooo oooo
o
o ooo o
oo
oo
o
o
oo
o o
oo
o
o
o oo
o
o
o
o
oo
o
o
oo
o
oooo
oo
oo
o o
o
o
oo
o o
oo
oo
o
o
o
ooo oo o
oo
o
o
o
o
ooo
oo
oo
o
o o
o
o o
o o
o
ooo
oo
o o
oo
o o
ooo
oooo
o
o
o
oo o
o o
o
oo o
ooo oo
oo o
o
oo
o oo
oo
o o
o
o
o
ooooo
o
o
o
oooo
o
oo o
o
o
oo o
oo
oo
o o
o
o ooo
o o
o
o ooo
o
oo o
o
o
oo
oo
o
o oo
o
o o
oo
o
o o
o
ooo
o
o ooo o
o oo
oo
o
o o
oo
o o
o
oo
o
ooo oo
o
o
o o
oo
oo
o
o
oo o o
o
o o o
o
o
o o
o
o
o
o
o o
oo
oo oo o o o
o o o
o
o
o
o
oo oo
o
ooo
o
o
o
o
o
o o
o
o oo o oo
o
o
o
o
o
ooo oo
o
o
o
o
o
o
o
o ooo
o o
o ooooo
o o
o oooo oooo o o
oo oo
o o o
ooo
o o oo
o oo oo
oo
oo
o
oo
oo
o
o o
o
oo
o
o o
o
o
o o
o
o
o
o
o oo oooo oo
o
o
o
oo
o
o
oo o
oooo o o
o
oo o
o
o o
o
o
oo
o
o
oo o
oo oo o
o
o
o
o oo o
oo o
o o o
o
o
o o
oo
ooo o o oo
o
oooo ooo o
o
o ooo o
oo
o o
o
o
oo
oo
o o
o
o
o o o
o
o
o
o
oo
o
o
oo
o
o o oo
o o
oo
o o
o
o
o o
oo
o o
o o
o
o
o
oo oooo
o o
o
o
o
o
o oo
oo
o o
o
oo
o
oo
oo
o
o oo
oo
o o
oo
oo
oo o
oooo
o
o
o
ooo
oo
o
o oo
oo ooo
ooo
o
oo
oo o
o o
oo
o
o
o
ooooo
o
o
o
o o oo
o
ooo
o
o
oo o
oo
o o
oo
o
oooo
o
oooo
oo
oooo
ooooooo
ooo
oo ooo
o
o
o
ooo o
oo o
o
oo
ooo
ooo
o
o oo
o
oo o oo o
oooo o oo oo
oo
oo
o
oo o
o
o
oo
ooooo
o
ooo
o
o
oo
o
o
o oo
o
oooo
oo
oooo o
o
o
ooo o
oo
o
oo oo
oo
oo o o
oo
oo
o
oo
oo
ooo oo
o o
ooo
o oo
ooo oooo o oo
oo oo o
ooooo oo
o
ooo
o
ooo
ooo
o
o
oo
oo
oooo o
o
oo
ooo
oooo o
ooo
oooo
oo
o
o oo
o
oooo
o
o
ooo
oo oo oo
ooo ooo ooo
oo o
oo
oo ooo oo oo oo
o
oo
o
ooo
ooooo
ooo
o
o ooo
oo
ooo o
ooo
ooo
oooo
oo
o
oooo
ooo
o
oo
o o
o
oo
oo o
o
o
ooo oo oo oo
o
oo
oo
oo
ooo
o ooooo
oo o
ooo
o
o
o oo oo
oo ooo
o oooo ooo
oo
o
ooooo
oo
ooo o
o
oo
oo
o
ooo oo
o
oo
o
oo
oooo
o
oo
oo
o ooo
o
oo
o
o
o oo
ooo o
o
ooo
oo
oo
oo oooooooo
o
o
ooo
o
o
ooo
oo
oo
oo
ooo
o
o
o
ooo o
oo
ooo
oo
ooo oo o
oo o
ooo
o oo
o
o
oo
oo
ooo
o
oo
oo
o
ooo
o
oo
o
o
oooooo
oo ooooo ooo o
o
o
o
ooo
o
o
oo
oooo
o
o
o ooo
o
ooo
o
ooo
o
ooo o
oooooooo
o
ooo oo
oo
o
ooo
oooo oo
oo
oo
o
o
o
ooooooo
o o
oo
oooo
oo
ooooo o oo
oo oo
oooo
oooo
o
ooo
o
ooo
o
o oo
o
oo
oo
ooooo
o
o
o
ooo
oo
oooo
ooo
o oo
ooo
ooo
o
oooo
o
o
ooo
oo oo
oo
oooo
ooooo
ooo
oo
oooooo
oo oo o
o
o o
o
ooo
oo
ooo
oo
o
o
ooooo
o
oooooo
o
oooooooo
oo
oooo
oo
oo
oo
oo
o
oo
ooo
o
o
oooo
oo ooo
o
oo
o o
oo
oooo oo
oo
ooo
ooo
o o
o
o o ooo
oooo
o
ooo
oo
ooo
oo
o
ooo
o ooo
ooo o
o
oo
oo
o
ooo oo
o
oo
o
oo
ooo o
o
oo
oo
ooo
oo
oo
o
oo o
o
oo
ooo
ooooo
oo
oooooooooo
o
o
ooo
o
o
ooo
oo
oo
oo
oo o
o
o
o
ooo
oo
o
ooo
oo
ooooo o
ooo
oo o
ooo
o
o
ooo o
ooo
o
oo
o oo
ooo
o
o oo
o
o oo ooo
oooooo ooooo
oo
o
ooo
o
o
o
o
oooo o
o
ooo
o
o
oo
o
o
ooo
o
ooo o
o oooooo
o
o
oooo
oo
o
oooo
oooooo
o
o
oo
o
o
o
oo
o oooo
o o
oo
o
ooo
ooooooo ooo
oo ooooooo o oo
o
oo oo
ooo
oooo
o
oo
oo
ooooo
o
o
o
ooo
oo
oo oo
oooo o
o
oo
o
ooo
o
o ooo
o
o
ooo
o ooooooo
ooooo
ooooo
oo
ooo oo ooo oo o
o
o o
o
ooo
oo
o oo
oo
o
o
o oo
o o o
ooooooo
ooo o
oo o
oo
o
oo
oooo
oo
ooo
o
o
oo
ooo
o
o
oo oooooo
o
o
o o
oo
ooo o
oooo o
oooo
oo o
oo
o
oooo
oooo
o
o
oo oooo oo
oo
o
ooo
ooo
ooo
oo
o
o o
ooo
ooooo
o
oo
o
oo
o ooo
o
oo
oo
oooo o
o
o
o
o
o oo
oo
ooo
ooo
oooo
ooooo
oo
ooo
o
o
ooo
o
o
oo
o
ooo
ooo
ooo
o
o
o
oo o
ooo
o ooooooo ooo
ooo
ooo
oo
o
o
o
oooo
ooo
o
oo
ooo
ooo
o
ooo
o
o ooo
oooooo oo oooo
oo
oo
ooo
o
o
o
o
ooo oo
o
ooo
o
o
oo
o
o
oooo
ooooo o
ooo
ooo
o
ooo oo
oo
o
oo ooooooo
o
o
oo
o
o
o
ooo oo oo
oo
ooo
oo o
ooooooo ooo
oooooooooo oo
oo
ooo
ooo
o
ooo
o
oooo
oo ooo
o
o
o
o ooo
ooo ooo oo ooo
oo
o
ooo
o
oooo
o
o
o ooo
oo ooooooooo oooo oo
oo
o ooooo
oo ooo
o
oo
o
ooo
oo
ooo
ooo
o
ooo
oo
o
oooooo
o
oooooooo
oo
oooo
oo
oo
oo
oo
o
oo
oo o
o
o
o oooo oooo
o
o o
oo
oo
oooo ooo
ooo o
ooo
oo
o
oo oo
o
ooo
o
o
oooooooo
ooo
ooo
ooo
oo o
oo
o
oo
oo
o
ooo oo
o
oo
o
oo
o oooo
oo
oooo
ooo
oo
o
oooo
oooo
o
ooo
oo
oo
oooo
ooo
ooo
o
o
ooo
o
o
ooo
oo o
ooo
ooo
o
o
o
obesityo
ooo
oo
ooo
oo
oooooo
ooo
ooo
ooo
o
o
oo
o oooo
o
oo
oo
o
ooo
o
ooo
o
oooo
oo ooooooo ooo oo
oo
ooo
o
o
oo
ooo o
o
o
o oo
o
o
oo
o
o
o oo
o
oooo
oooooo o
o
o
oooooo
o
o
oo oo
ooooo
oo
oo
o
oo
oo
ooooo
oo
oo
oooo
ooooooo ooo
oo oo
oooo
oooo
o
oooo
ooo
oooo
o
oo
oo
oo ooo
o
o
o
ooo
oo
o oooo o
oo oo
oo
o
ooo
o
oooo
o
o
ooo
oo ooo oooo oooo
oooo o
oo
ooooo o
ooooo
o
o o
o
ooo
ooooooo
o
o
oooo
oo
oo o ooo
o
oooo
oooo
oo
ooo
oo
o
oo
oo
oo
o
oo
ooo
o
o
ooooo oo oo
o
oo
oo
oo
oooo o oo
o ooo
ooo
oo
oooo oo
oo o
o
o
oooo
ooo ooo
o
oo o
oo
oo oo
oo
o
oo
oo
o
oo ooo
o
oo
o
oo
oooo
o
oo
oo
o oooo
o
o
o
o
o oo
oo
ooo
ooo
oooo
ooooooo
ooo
o
o
ooo
o
o
ooo
oo ooo
o
oo o
o
o
o 1525
3545
ooo
oo
o
o ooo
oooo ooo
ooo
oo o
ooo
o
o
o ooo
oo o
o
oo
oo
o
ooo
o
oo
o
o
o o ooo o
oo oo oo o oo
oo
oo
o
oo o
o
o
oo
oooo
o
o
ooo
o
o
oo
o
o
ooo
o
oo o o
o oo
ooo oo
o
ooo o
oo
o
o
o oo
oooo oo
oo
oo
o
o
o
oo
o oooo
oo
oo
o
ooo
oo
ooooo o oo
oo oo o
o oo oooo
o
oo o
o
ooo
oo oo
o
oo
oo
oo ooo
o
o
o
ooo
oo
oo oo
ooo
o oooo
o
oo
o
o
oooo
o
o
ooo
oo o oo
ooo
ooo oo
ooooo
oo
oooo
ooo ooo o
o
o o
o
oo o
oo
ooo
oo
o
o
o oo
ooo
oo o o
ooo
oooo
ooo
oo
o
ooo
o oo
oo
oo
oo
o
oo
oo o
o
o
ooooo oo o
o
o
o o
o o
oo
o ooo
o oooo
o oo
o oo o
o
o oooo
ooo
oooo
ooo
oooo
oo
ooo
oo
oo
oo
o o
o
oo
oo
o
ooooo
o
oo
o
oo
o oooo
ooo
ooo
oo o
o
o
o
o
o oo
ooo oo
ooo
o oo
o
oooooooo o o
o
o
ooo
o
o
oo
o
oo o
oo
o
ooo
o
o
o
050
100
o
ooo
o
oooo o
o
oo oo
ooo
o
oo o
ooooooooo
ooo o
oo
ooo
o ooo
oo oo
o
ooo
o
oo
o
ooo o ooo
oo
o
ooooo
o
o
oooooo
o
o ooo
o
o
o ooooooo ooo
ooo
o oooo
o
ooooo oo o
o
ooo
ooooo
o o
o ooo
oo
o
oo
o
ooooo ooo
oo oo
ooo oooo
oo
o
o
oo
o
o
ooooo
oo
o ooo ooooooo o
oo
oo
o oooo ooo oooo
ooo
oo
oo
o
ooo
oo
oo
o oo oooo
oo oo
ooo
ooo o
o
ooo
o
oooo
oo
o
o
oooo ooo
o
o oo
oooo
o o
ooooooo oo oooo oo o o
oooo
o
oo
o
ooooooo o
o
oo
oo
o
ooo oooo
oo
oo
o
o
oo
o
o
oo
oo
o
o
ooo oooo oo
oo
ooo
o
o
o
o
oo
ooo
o
ooo ooo
oo
o
oo
oo
oooo o
oo
ooo oo
o
oo
o
o
o
o
o
oo
o
oo
o
ooo
o oo o
oooo o
o
o
ooo
oooo
o
o
oo ooo
oo
oo
ooo
o
o
o
ooo
oo
oooo oo oooooooo
o
o
o
oooo
o
oo
o
o o
o
o ooo o
o
o
ooo
o
ooooo
o
ooo oo o
o
o
oo
ooo ooo
oooo
o ooo
oooo
ooooo
o ooo
o
ooo
o
oo
o
oooooo
ooo
o
oo
oooo
o
oooooo
o
o oo oo
o
ooooooo oooo
o oo
ooooo
o
ooooo ooo
o
o oo
ooooo o o
ooo
ooo
o
oo
o
ooooo o
oo
oooooo ooooo
oo
o
o
oo
o
o
oooo o
oo oooooo oooo oo
o oo o
o ooo
oooooooo
ooo
o
o
oo
o
oo
oo
o
ooooo o
ooo oooo oo
oo
ooo
o
ooo
o
oooo
ooo
o
o ooo oo o
o
o o o
o ooo
oo
ooo
oooo oo o
ooooo ooooooo
o o
o
ooooo
ooo
o
oooo
o
oo oooooo
o
oo
oo
oo
oo
oo
oo
o
oooo
ooo oooo
o oo
oo
o
o
o
oo
ooo
o
ooo o ooo
o
ooo
oo
ooo
ooo
o
oo oo o
o
oo
o
o
o
o
o
oo
o
oo
o
oo o
o o
oooo
oo o
oo
o oo
oooo
o
o
oo oo oo o
oo
ooo
o
o
o
ooo
oo
ooooooooooo ooo
o
o
o
oooo
o
oo
o
oo
o
ooooo
o
o
ooo
o
oooo o
o
ooooo o
o
o
ooo
ooo oooo oooooo
o oo
ooooo
ooo oo
o
o oo
o
oo
o
ooooo oo
oo
o
oo o
ooo
o
ooo ooo
o
ooooo
o
ooooooo o oo
o
o oo
ooooo
o
oooo ooo o
o
oooo
oooo
oo
ooo
oo
o
o
oo
o
ooooo o
oo
ooo
oooo oooo
oo
o
o
oo
o
o
o ooo o o
o oooooo ooo
ooooo
oo
o ooooooo
ooooo oo
o
o
ooo
ooo
oo
oo
oo o oo oo
oo oooo
oo
ooo
o
ooo
o
oooo
ooo
o
ooooo oo
o
oo o
ooo
oo o
ooo
ooo ooo oooo oo o o oooo
o
oo
o
ooo oo
o ooo
oo
oo
o
oo oo ooo
oo
oo
o
o
oo
oo
oooo
o
o
oooo oooo
oo
oo o
oo
o
o
o
oo
ooo
o
oo oooo
o
o
oo
o
ooooo
ooo
o
oooo o
o
oo
o
o
o
o
o
oo
o
oo
o
oo ooo
o ooooo o
oo
oooo
o ooo
o
oo oo
oo o
oo
o oo
o
o
o
ooo
oo
oooo ooooo ooo oo
o
o
o
o oo o
o
oo
o
oo
o
o ooo oo
o
o oo
o
oo ooo
o
ooo o
ooo
o
oooooo oo
ooo
oo ooo
ooo
oooooo
oo oo
o
o ooo
oo
o
ooo oo oo
oo
o
oo oooo
o
oooo oo
o
oo ooo
o
o ooooooooo
ooo
ooo ooo
o
ooooo oo o
o
ooo
ooooooo
ooooo
o
o
oo
o
oo oo oo
oo
ooo
oo
oooooo
oo
o
o
ooo
oooooo ooooooo ooooooo oo
oo
oooooo ooo
ooo
o oo
oo
ooo
o o
oo
o
oooooo
ooooo oo
ooo
oo
oo
o
ooo
o
oooo
oo
o
o
o oo ooo o
o
oo o
oooo
o o
o ooooooooooo ooo ooooo
oo
oo
o
oooooooo
o
oooo
o
oooo oooo
o
oo
o
o
oo
oo
oo
oo
o
oo
ooo ooooo o
ooooo
o
o
o
oo
ooo
o
oo oo oooo
oo
o
oo
oooooo
o
o ooo o
o
oo
o
o
o
o
o
oo
o
oo
o
ooo
o o
oooooo o
oo
ooo
ooo oo
o
ooooo
oo
oo
ooo
o
o
o
ooo
oo
oooooo oo ooooo o
o
o
o
oo oo
o
oo
o
oo
o
ooooo
o
o
ooo
o
oooo o
o
oooo
ooo
o
ooo
o ooo oo
oooo
ooo
oo
oo
oooo
oooo o
o
oooo
oo
o
ooooooooo
o
oo oooo
o
o oo ooo
o
o oooo
o
o oo oo ooo o
oooo
oo o ooo
o
oooo ooo o
o
ooo
ooo oo
ooooooo
o
o
oo
o
oooo
ooo
oo
ooo oo
ooooo
oo
o
o
oo
o
o
oooo oo
o oooo oo ooo oo ooo
oo
o ooooo oo
ooo o
ooo
oo
ooo
oo
oo
o
oo
ooo oooo oo oo
ooo
oo
oo
o
ooo
o
ooooooo
o
oooooo o
o
ooo
oo oo
o o
o ooo
ooooo o
o oooo oooo oo
o
oo
o
o oooo
oo o
o
oo
oo
o
oo o ooooo
o
oo
o
o
oo
oo
oo
oo
o
oo
oooooo oooo
oo
oo
o
o
o
oo
ooo
o
oo oooo
oo
oo
o
ooo
oooo
oo
ooo oo
o
oo
o
o
o
o
o
oo
o
oo
o
oo o
oo
o oo o
oo o
oo
ooo
oo oo
o
o
oooo
oo o
oo
ooo
o
o
o
ooo
o
o
o ooo oooo oooo oo
o
o
o
o ooo
o
oo
o
oo
o
oooo o
o
alcoholo
ooo
o
oo oo o
o
ooo ooo
o
o
ooo
o ooo oo
o ooo
oo o
o oo
oo
oooo
o o oo
o
o oo
o
oo
o
o oo oo oo
oo
o
oo ooo o
o
o o o ooo
o
o oooo
o
ooo oo oo o o oo
o oo
oo ooo
o
ooooo oo o
o
ooo
oo oo o
oooo
o oo
o
o
oo
o
oooo oo
oo
ooo
oo
oooooo
o
o
o
o
oo
oo
o ooo ooo ooo o
oooooo oo
o oo
o
o ooooo oo
oooo
o oo
oo
o oo
ooooo
ooo oo o
ooo oo o oo oo
o
o
oo
o
ooo
o
o ooo
ooo
o
o oooooo
o
o oo
o oo
ooo
oo oo
ooo oo oooo o o ooooo
oo
oo
o
ooooo
oo o
o
oo
oo
o
ooo oooo
oo
oo
o
o
oo
o
o
oo
oo
o
oooo
o oo o oo
oo oo
oo
o
o
o
oo
oo o
o
o oo oooo
o
o
oo
oo
ooo
o o
oo
o o oo o
o
oo
o
o
o
o
o
oo
o
oo
o
o oo
o o
o ooo
oo o
o
o
ooo
ooooo
o
oo ooo
oo
oo
ooo
o
o
o
ooo
o
o
oooooooooo o ooo
o
o
o
o ooo
o
oo
o
oo
o
ooooo
o
100 160 220
o
o
o
oooo
o
o
oo
o
o o
ooo
ooo
o
oo
oo
oo
ooo
o o
o
oo
oo
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
oo
o
o
o
o
o
o
o
o
o
o
oooo
o
oo
o
oo
oo o
oo
ooo
o
oo
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
oo
ooo
o
oo
o
o
oo
o
o
o
o
o
o
oo
o
o
o
oo
oooo
o
o
o
o
oo
o
o o
o
o
o
o oo
oo
ooo
oo
o
o
o
o
oo
o
o
ooo
oo
o
o
oo
o
o
ooo
o
oo
o oo
o
oo
o
o
o
oo
oo
o
oooo
o
o
oo
oo
oo
o
o
o ooo
oo
o
o
o
o
oo
o
o
o
o
o
o
oo
o
o
oo
oo
o o
oo o
o
o
ooo
oooo ooo
o
o
o
ooo
o
oo
o
oo
o
o
o
oo
o
o
oo
o
o
o
oo o
o
oo
o
oo
o
o
oooo
o
oo
o
o
oo
oo
oo
o
o
oo
o
oo
o
oo
o
o
o
oo
o
o
o
oo
o
o
ooo
o
o
o
o
o
o
oo
oo
o
oo
oo
o
o o
oo
o
oo
o
o
o
o
ooo
o
o
oo
o
o
o
o
oo
o oo
oo
o
oo
o
o
o
o
o
o
o
ooo
o
o
ooo
o
o
o
o
oo
o
o
o
ooooo
o ooo
o o
o
o
ooo
o
oo
o
oooo
oo
o
ooo
o
oo
oo oooooo
oo
o
o
o
o
ooo
oo
o
oo
oo
o
o
o oo
o
oo
o
o
o
o
ooo
o
o
oo
o
oo
oo o
o
o o
o
ooo
ooo
oo
o
oo
o
oo
oo
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
oo
o
o
o
o
o
o
o
o
o
o
oooo
o
oo
o
oo
oo o
oo
oo o
o
oo
oo
o
o
o
o
ooo
o
o
o
o
o
o
o
oo
ooo
o
oo
o
o
o o
o
o
o
o
o
o
oo
o
o
o
oo
ooo
o
o
o
o
o
ooo
o o
o
o
o
ooo
o
o
ooo
oo
o
o
o
o
oo
o
o
ooo
oo
o
o
oo
o
o
oo o
o
oo
ooo
o
o
o
o
o
o
oo
ooo
oooo
o
o
oo
oo
oo
o
o
oooo
ooo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
oo
oo
o
oo
o
o
ooo
oo
oo oo
o
o
o
o
oo
o
o
o
o
o
oo
o
o
o
oo
o
o
o
o
o
o
o
ooo
o
oo
o
oo
o
o
oooo
o
oo
o
o
oo
oo
oo
o
o
oo
o
o o
o
oo
o
o
o
oo
o
o
o
oo
o
o
ooo
o
o
o
o
o
o
oo
oo
o
oo
o o
o
oo
oo
o
oo
o
o
o
o
o ooo
o
oo
o
o
o
o
oo
ooo
oo
o
o
o
o
o
o
o
o
o
o
oo
oo
oo
oo
o
o
o
o
oo
o
o
o
oo
o oo
oooo
oo
o
o
ooo
o
oo
o
ooo o
oo
o
o
oo
o
oo
oooooooo
oo
o
o
o
o
ooo
oo
o
oo
oo
o
o
oooo
oo
2 6 10 14
o
o
o
o
oo
o
o
o
oo
o
oo
oo o
ooo
o
oo
oo
oo
oo
o
o o
o
oo
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
oo
o
o
o
o
o
o
o
o
o
o
oooo
o
o
o
o
oo
ooo
oo
ooo
o
oo
oo
o
o
o
o
oo
o
oo
o
o
o
o
o
oo
ooo
o
o o
o
o
oo
o
o
o
o
o
o
oo
o
o
o
o
o
ooo
o
o
o
o
o
ooo
o o
o
o
o
ooo
o
o
ooo
oo
o
o
o
o
oo
o
o
oo
o
oo
o
o
oo
o
o
oo o
o
oo
oo oo
oo
o
o
o
oo
oo
o
oooo
o
o
oooo
oo
o
o
ooo o
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
oo
oo
o
oo
o
o
ooo
ooooo oo
o
o
o
oo
o
o
oo
o
oo
o
o
o
o o
o
o
o
o
o
o
o
oo o
o
oo
o
oo
o
o
ooo o
o
o o
o
o
oo
oo
ooo
o
oo
o
oo
o
oo
o
o
o
oo
o
o
o
ooo
o
ooo
o
o
o
o
o
o
oo
o o
o
o o
ooo
oo
oo
o
oo
o
o
o
o
ooo
o
o
oo
o
o
o
o
oo
oo
ooo
o
oo
o
o
o
o
o
o
o
oo
oo
o
oo
o
o
o
o
o
oo
o
o
o
oo
o oo
o o oo
oo
o
o
ooo
o
oo
o
oooo
oo
o
oo o
o
oo
oo ooooo o
oo
o
o
o
o
ooo
o o
o
oo
oo
o
o
o ooo
oo
o
o
o
ooo
o
o
o
oo
o
oo
oooooo
o
oo
oo
oo
o oo
oo
o
oo
oo
o
o
o
oo
o
o
o
o
o
o
o
o
ooo
o
oo
o
o
o
o
oo
o
o
o
o
oooo
o
o
o
o
oo
o oo
oo
o oo
o
oo
oo
o
o
o
o
ooo
o
o
o
o
o
o
o
oo
ooo
o
oo
o
o
oo
o
oo
o
o
o
oo
oo
o
oo
ooo
o
o
o
o
o
o oo
oo
o
o
o
ooo
oo
ooo
oo
o
o
o
o
oo
o
o
ooo
oo
o
o
oo
o
o
o oo
o
oo
oooo
oo
o
o
o
oo
ooo
oo oo
o
o
oo
oo
oo
o
o
oo oo
ooo
o
o
o
oo
o
o
o
o
o
o
oo
o
o
ooo
o
oo
o
o o
o
o
o oo
ooo oo
oo
o
o
o
ooo
o
o
o
o
o o
o
o
o
oo
o
o
o
o
o
o
o
ooo
o
oo
o
o
o
o
o
oooo
o
oo
o
o
oo
oo
ooo
o
oo
o
oo
o
o o
o
o
o
ooo
o
o
oo
o
o
o oo
o
o
o
o
o
o
oo
oo
o
oo
oo
o
oo
oo
o
oo
o
o
o
o
oooo
o
o o
o
o
o
o
oo
oo
ooo
o
o
o
o
o
o
o
o
o
o
ooo
o
o
oo
o
o
o
o
o
oo
o
o
o
oo
ooo
oooo
oo
o
o
ooo
o
oo
o
oooo
ooo
oo o
o
oo
oooo oo oo
ooo
o
o
oo oo
oo
o
oo
oo
o
o
oooo
oo
15 25 35 45
o
o
o
oo
oo
o
o
oo
o
oo
ooo
ooo
o
oo
oo
oo
oo
o
oo
o
oo
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
ooo
o
oo
oo
o
o
o
o
o
o
o
o
oooo
o
o
o
o
oo
ooo
oo
ooo
o
oo
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
oo
ooo
o
o o
o
o
oo
o
o
o
o
o
o
oo
o
o
o
o
o
o ooo
o
o
o
o
ooo
oo
o
o
o
ooo
oo
oo
o
oo
o
o
o
o
oo
o
o
ooo
oo
o
o
oo
o
o
oo o
o
oo
ooo
o
oo
o
o
o
oo
o
o
o
ooo o
o
o
ooo o
oo
o
o
oo oo
ooo
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
oo
oo
ooo
o
o
ooo
oooo
oo
o
o
o
o
ooo
o
oo
o
o o
o
o
o
oo
o
o
o
o
o
o
o
ooo
o
o o
o
oo
o
o
o ooo
o
oo
o
o
oo
oo
oo
o
o
oo
o
oo
o
o o
o
o
o
oo
o
o
o
ooo
o
o oo
o
o
o
o
o
o
oo
oo
o
oo
oo
o
oo
oo
o
oo
o
o
o
o
oooo
o
oo
o
o
o
o
oo
oo
oo o
o
o
o
o
o
o
o
o
o
o
oo
oo
o
ooo
o
o
o
o
o o
o
o
o
oo
oo o
oo oo
oo
o
o
o oo
o
oo
o
oooo
oo
o
o
o o
o
o o
oo oooo oo
oo
o
o
o
o
ooo
oo
o
oo
o
o
o
o
oooo
oo
o
o
o
oo
oo
o
o
oo
o
oo
ooo
ooo
o
oooooo
ooo
o o
o
oo
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
oo
oo
o
o
o
o
o
o
o
o
oooo
o
oo
o
oo
oo o
oo
oo o
o
oo
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
oo
ooo
o
oo
o
o
o o
o
o
o
o
o
o
oo
o
o
o
o
o
oo o o
o
o
o
o
oo
o
oo
o
o
o
ooo
o
o
ooo
oo
o
o
o
o
o o
o
o
ooo
oo
o
o
ooo
o
ooo
o
oo
oooo
oo
o
o
o
oo
oo
o
oooo
o
o
o ooo
oo
o
o
oo oo
ooo
o
o
o
oo
o
o
o
o
oo
o
o
o
o
ooo
o
o o
o
oo
o
o
ooo
oooo
ooo
o
o
o
ooo
o
oo
o
oo
o
o
o
oo
o
o
oo
o
o
o
ooo
o
oo
o
oo
o
o
oooo
o
oo
o
o
oo
oo
oo
o
o
oo
o
oo
o
oo
o
o
o
oo
o
o
o
oo
o
o
ooo
o
o
o
o
o
o
oo
oo
o
oo
o o
o
o o
oo
o
oo
o
o
o
o
o oo o
o
o o
o
o
o
o
oo
ooooo
o
oo
o
o
o
o
o
o
o
oo
oo
o
ooo
o
o
o
o
oo
o
o
o
oo
ooo
ooo
o
o o
o
o
o oo
o
oo
o
oo
o o
oo
o
oo o
o
oo
oooooooo
ooo
o
o
o
ooo
oo
o
oo
oo
o
o
oo oo
oo
20 40 60
2040
60
age
FIGURE 4.12. A scatterplot matrix of the SouthAfrican heart disease data. Each plot shows a pair ofrisk factors, and the cases and controls are color coded(red is a case). The variable family history of heartdisease (famhist) is binary (yes or no).
Machine Learning Linear methods for classification 2 February 26, 2020 10 / 22
South African Heart Disease
Analyzing the risk factors of myocardian infarction MIprevalence 5.1%, in the data 160 positive 302 controls122 4. Linear Methods for Classification
TABLE 4.2. Results from a logistic regression fit to the South African heartdisease data.
Coefficient Std. Error Z Score
(Intercept) −4.130 0.964 −4.285sbp 0.006 0.006 1.023
tobacco 0.080 0.026 3.034ldl 0.185 0.057 3.219
famhist 0.939 0.225 4.178obesity -0.035 0.029 −1.187alcohol 0.001 0.004 0.136
age 0.043 0.010 4.184
in explaining the outcome. Typically many models are fit in a search for aparsimonious model involving a subset of the variables, possibly with someinteractions terms. The following example illustrates some of the issuesinvolved.
4.4.2 Example: South African Heart Disease
Here we present an analysis of binary data to illustrate the traditionalstatistical use of the logistic regression model. The data in Figure 4.12 are asubset of the Coronary Risk-Factor Study (CORIS) baseline survey, carriedout in three rural areas of the Western Cape, South Africa (Rousseauw etal., 1983). The aim of the study was to establish the intensity of ischemicheart disease risk factors in that high-incidence region. The data representwhite males between 15 and 64, and the response variable is the presence orabsence of myocardial infarction (MI) at the time of the survey (the overallprevalence of MI was 5.1% in this region). There are 160 cases in our dataset, and a sample of 302 controls. These data are described in more detailin Hastie and Tibshirani (1987).
We fit a logistic-regression model by maximum likelihood, giving theresults shown in Table 4.2. This summary includes Z scores for each of thecoefficients in the model (coefficients divided by their standard errors); anonsignificant Z score suggests a coefficient can be dropped from the model.Each of these correspond formally to a test of the null hypothesis that thecoefficient in question is zero, while all the others are not (also known asthe Wald test). A Z score greater than approximately 2 in absolute valueis significant at the 5% level.
There are some surprises in this table of coefficients, which must be in-terpreted with caution. Systolic blood pressure (sbp) is not significant! Noris obesity, and its sign is negative. This confusion is a result of the corre-lation between the set of predictors. On their own, both sbp and obesity
are significant, and with positive sign. However, in the presence of many
Wald test: Z score |Z | > 2 is significant at at the 5% level.124 4. Linear Methods for Classification
TABLE 4.3. Results from stepwise logistic regression fit to South African heartdisease data.
Coefficient Std. Error Z score
(Intercept) −4.204 0.498 −8.45tobacco 0.081 0.026 3.16
ldl 0.168 0.054 3.09famhist 0.924 0.223 4.14
age 0.044 0.010 4.52
other correlated variables, they are no longer needed (and can even get anegative sign).
At this stage the analyst might do some model selection; find a subsetof the variables that are sufficient for explaining their joint effect on theprevalence of chd. One way to proceed by is to drop the least significant co-efficient, and refit the model. This is done repeatedly until no further termscan be dropped from the model. This gave the model shown in Table 4.3.
A better but more time-consuming strategy is to refit each of the modelswith one variable removed, and then perform an analysis of deviance todecide which variable to exclude. The residual deviance of a fitted modelis minus twice its log-likelihood, and the deviance between two models isthe difference of their individual residual deviances (in analogy to sums-of-squares). This strategy gave the same final model as above.
How does one interpret a coefficient of 0.081 (Std. Error = 0.026) fortobacco, for example? Tobacco is measured in total lifetime usage in kilo-grams, with a median of 1.0kg for the controls and 4.1kg for the cases. Thusan increase of 1kg in lifetime tobacco usage accounts for an increase in theodds of coronary heart disease of exp(0.081) = 1.084 or 8.4%. Incorporat-ing the standard error we get an approximate 95% confidence interval ofexp(0.081 ± 2 × 0.026) = (1.03, 1.14).
We return to these data in Chapter 5, where we see that some of thevariables have nonlinear effects, and when modeled appropriately, are notexcluded from the model.
4.4.3 Quadratic Approximations and Inference
The maximum-likelihood parameter estimates β̂ satisfy a self-consistencyrelationship: they are the coefficients of a weighted least squares fit, wherethe responses are
zi = xTi β̂ +
(yi − p̂i)
p̂i(1 − p̂i), (4.29)
Machine Learning Linear methods for classification 2 February 26, 2020 11 / 22
South African Heart Disease
Wald test: Z score |Z | > 2 is significant at at the 5% level.124 4. Linear Methods for Classification
TABLE 4.3. Results from stepwise logistic regression fit to South African heartdisease data.
Coefficient Std. Error Z score
(Intercept) −4.204 0.498 −8.45tobacco 0.081 0.026 3.16
ldl 0.168 0.054 3.09famhist 0.924 0.223 4.14
age 0.044 0.010 4.52
other correlated variables, they are no longer needed (and can even get anegative sign).
At this stage the analyst might do some model selection; find a subsetof the variables that are sufficient for explaining their joint effect on theprevalence of chd. One way to proceed by is to drop the least significant co-efficient, and refit the model. This is done repeatedly until no further termscan be dropped from the model. This gave the model shown in Table 4.3.
A better but more time-consuming strategy is to refit each of the modelswith one variable removed, and then perform an analysis of deviance todecide which variable to exclude. The residual deviance of a fitted modelis minus twice its log-likelihood, and the deviance between two models isthe difference of their individual residual deviances (in analogy to sums-of-squares). This strategy gave the same final model as above.
How does one interpret a coefficient of 0.081 (Std. Error = 0.026) fortobacco, for example? Tobacco is measured in total lifetime usage in kilo-grams, with a median of 1.0kg for the controls and 4.1kg for the cases. Thusan increase of 1kg in lifetime tobacco usage accounts for an increase in theodds of coronary heart disease of exp(0.081) = 1.084 or 8.4%. Incorporat-ing the standard error we get an approximate 95% confidence interval ofexp(0.081 ± 2 × 0.026) = (1.03, 1.14).
We return to these data in Chapter 5, where we see that some of thevariables have nonlinear effects, and when modeled appropriately, are notexcluded from the model.
4.4.3 Quadratic Approximations and Inference
The maximum-likelihood parameter estimates β̂ satisfy a self-consistencyrelationship: they are the coefficients of a weighted least squares fit, wherethe responses are
zi = xTi β̂ +
(yi − p̂i)
p̂i(1 − p̂i), (4.29)
P(MI|xi , θ) = e−4.204+0.081xtobacco +0.168xldl +0.924xfamhist +0.044xage
1+(e−4.204+0.081xtobacco +0.168xldl +0.924xfamhist +0.044xage )
Interval estimate oddstobacco = e0.081±2×0.026 = (1.03, 1.14) increase of oddsof MI based of the increase of xtobacco .
Machine Learning Linear methods for classification 2 February 26, 2020 12 / 22
L1 regularization ’Lasso’-like
argmaxβ0,β(N∑
i=1(yi (β0 + βT xi )− log(1 + e(β0+βT xi )))− λ
p∑j=1|βj |)
Lze řešit podobně jako předtím, nebo nelineárním programováním.Zvyšujícím se λ se postupně koeficienty snižují k 0. Intercept β0 se zpravdilanepenalizuje.
126 4. Linear Methods for Classification
concave, and a solution can be found using nonlinear programming meth-ods (Koh et al., 2007, for example). Alternatively, using the same quadraticapproximations that were used in the Newton algorithm in Section 4.4.1,we can solve (4.31) by repeated application of a weighted lasso algorithm.Interestingly, the score equations [see (4.24)] for the variables with non-zerocoefficients have the form
xTj (y − p) = λ · sign(βj), (4.32)
which generalizes (3.58) in Section 3.4.4; the active variables are tied intheir generalized correlation with the residuals.
Path algorithms such as LAR for lasso are more difficult, because thecoefficient profiles are piecewise smooth rather than linear. Nevertheless,progress can be made using quadratic approximations.
*********************************************************************************************************************************************************************
**************************
******************************
****************
0.0 0.5 1.0 1.5 2.0
0.0
0.2
0.4
0.6
*******************************************
****************
****************
****************
****************
*****************
******************
********************
*************************
************************************
**************
***********************************************************
**************
****************
****************
****************
****************
*******************
********************
*********************
********************
********************
****************************************
************
************
*************
**************
**************
**************
**************
***************
****************
*******************
************************
****************************
**
*********************************************************************************************************************************************************************************************************************************************
***********************************************************************************************************************************************************************************************************************************************************************************
******************
********************
*******************
******************
******************
*******************
*************************
*******************************
*******************************
obesity
alcohol
sbp
tobaccoldl
famhist
age
1 2 4 5 6 7
Coeffi
cients
βj(λ
)
||β(λ)||1FIGURE 4.13. L1 regularized logistic regression coefficients for the SouthAfrican heart disease data, plotted as a function of the L1 norm. The variableswere all standardized to have unit variance. The profiles are computed exactly ateach of the plotted points.
Figure 4.13 shows the L1 regularization path for the South Africanheart disease data of Section 4.4.2. This was produced using the R packageglmpath (Park and Hastie, 2007), which uses predictor–corrector methodsof convex optimization to identify the exact values of λ at which the activeset of non-zero coefficients changes (vertical lines in the figure). Here theprofiles look almost linear; in other examples the curvature will be morevisible.
Coordinate descent methods (Section 3.8.6) are very efficient for comput-ing the coefficient profiles on a grid of values for λ. The R package glmnet
Machine Learning Linear methods for classification 2 February 26, 2020 13 / 22
Linear Discriminant Analysis
LDA gives similar results as LR for two classes. It avoids masking ink–dimensional classification.LDA assumes multivariate gaussian distribution of each class with a commoncovariance matrix.
φ(k) = 1√|2πΣ|
e− 12 (x−µk )Σ−1(x−µk )
Under this assumptions it provides bayes optimal estimate.Different covariance matrix for each class leads to Quadratic DiscriminantAnalysis.Let us denote Nk number of training data in the class Gk .
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 4
Coordinate 1 for Training Data
Coo
rdin
ate
2 fo
r T
rain
ing
Dat
a
-4 -2 0 2 4
-6-4
-20
24
oooooo
ooo
o
oo
ooo
o oo
ooo
oo
o
o o o o oo
ooo o oo
oo
o
o
o o
o oo
ooo
oo oooo
o
o
oo
o
o
oooo
o
o
oooooo
o ooo
o
o
o
o
oooo
ooo o
oo
o
oo
oo
o
ooooo
oooooo
o
o
ooo
o
o
o oooo o
ooo o oo
ooo o
oo
oo o ooo
o ooo
oo
oooooo
oooooo
oo
oooo
oooooo
ooooo o
oooooo
oooooo
oo
oooo
o oo
oo
o
o ooooo
ooooo
o
oooooo
oooooo
oooooo
oooooo
oo
o
o
oo
ooooo oo ooo
o oo o
oooo
oooo
o
o
oo
o
o
oo
oooo
o
o
oooo
o
o oo
o
oo
o
oooooo
oo oooo
oo
oo oo o
oo
oo o
o o o
oo
ooo
oooo
oooo
o
o
oo
o
ooo
ooo
ooo
o o ooo o
o oooo
o
ooooo
o
o o
oo
oo
oo o ooo
ooo
oo o
o
oo
o o o
ooooo
o
ooo
oo
o
o
oo
ooo
ooooo
o
oooo
oo
o oooo
o
oooooo
ooo o
oo
ooooo oo oo
o o o
oooooo
oo
ooo o
oo
o oo o
ooo
ooo
o
o
oo
oo
oo
oooo
oooo
oo
ooo ooo
oo
oo oo
o ooo
oo
ooo
ooo
ooo
ooo
oooooo
oo
o
oo o
••••
•••• •••• ••
••
••••
••
Linear Discriminant Analysis
FIGURE 4.4. A two-dimensional plot of the voweltraining data. There are eleven classes with X ∈ IR10,and this is the best view in terms of a LDA model (Sec-tion 4.3.3). The heavy circles are the projected meanvectors for each class. The class overlap is consider-able.
140 4. Classification
−4 −2 0 2 4 −3 −2 −1 20 1 3 4
01
23
45
FIGURE 4.4. Left: Two one-dimensional normal density functions are shown.The dashed vertical line represents the Bayes decision boundary. Right: 20 obser-vations were drawn from each of the two classes, and are shown as histograms.The Bayes decision boundary is again shown as a dashed vertical line. The solidvertical line represents the LDA decision boundary estimated from the trainingdata.
X = x to the class for which (4.12) is largest. Taking the log of (4.12)and rearranging the terms, it is not hard to show that this is equivalent toassigning the observation to the class for which
δk(x) = x · μk
σ2− μ2
k
2σ2+ log(πk) (4.13)
is largest. For instance, if K = 2 and π1 = π2, then the Bayes classifierassigns an observation to class 1 if 2x (μ1 − μ2) > μ2
1 − μ22, and to class
2 otherwise. In this case, the Bayes decision boundary corresponds to thepoint where
x =μ2
1 − μ22
2(μ1 − μ2)=
μ1 + μ2
2. (4.14)
An example is shown in the left-hand panel of Figure 4.4. The two normaldensity functions that are displayed, f1(x) and f2(x), represent two distinctclasses. The mean and variance parameters for the two density functionsare μ1 = −1.25, μ2 = 1.25, and σ2
1 = σ22 = 1. The two densities overlap,
and so given that X = x, there is some uncertainty about the class to whichthe observation belongs. If we assume that an observation is equally likelyto come from either class—that is, π1 = π2 = 0.5—then by inspection of(4.14), we see that the Bayes classifier assigns the observation to class 1if x < 0 and class 2 otherwise. Note that in this case, we can computethe Bayes classifier because we know that X is drawn from a Gaussiandistribution within each class, and we know all of the parameters involved.In a real-life situation, we are not able to calculate the Bayes classifier.
In practice, even if we are quite certain of our assumption that X is drawnfrom a Gaussian distribution within each class, we still have to estimatethe parameters μ1, . . . , μK , π1, . . . , πK , and σ2. The linear discriminant
Machine Learning Linear methods for classification 2 February 26, 2020 14 / 22
Linear Discriminant Analysis
P(G = Gk |X = x) = φk(x)πk∑K`=1 φ`(x)π`
π̂k = NkN
φk(x) = N(µk ,Σ)
µ̂k =∑{xi :G(xi )=Gk} xi
Nk
Σ̂ =K∑
k=1
∑{xi :G(xi )=Gk}
(xi − µk)T (xi − µk)(N − K )
To classify new instance x we predict the Gk with maximal δk :
δk(x) = xT Σ−1µk −12µ
Tk Σ−1µk + logπk
Machine Learning Linear methods for classification 2 February 26, 2020 15 / 22
Linear Discriminant AnalysisElements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 4
+ +
+3
21
1
1
2
3
3
3
1
2
3
3
2
1 1 21
1
3
3
1 21
2
3
2
3
3
1
2
2
1
1
1
1
3
2
2
2
2
1 3
2 2
3
1
3
1
3
3 2
1
3
3
2
3
1
3
3
21
33
2
2
32
2
211
1
1
1
2
1
3
3
11
3
32
2
2
23
1
2
FIGURE 4.5. The left panel shows three Gaussiandistributions, with the same covariance and differentmeans. Included are the contours of constant densityenclosing 95% of the probability in each case. TheBayes decision boundaries between each pair of classesare shown (broken straight lines), and the Bayes de-cision boundaries separating all three classes are thethicker solid lines (a subset of the former). On theright we see a sample of 30 drawn from each Gaussiandistribution, and the fitted LDA decision boundaries.
Example Vovel data ESL X ∈ R10:train test
Linear regression 0.48 0.67Linear discriminant analysis 0.32 0.56
Quadratic discriminant analysis 0.01 0.53Logistic regression 0.22 0.51
Machine Learning Linear methods for classification 2 February 26, 2020 16 / 22
Quadratic Discriminant Analysis
P(G = Gk |X = x) = fk(x)πk∑K`=1 f`(x)π`
π̂k = NkN
fk(x) = N(µk ,Σk)
µ̂k =∑{xi :G(xi )=Gk} xi
Nk
Σ̂k =∑
{xi :G(xi )=Gk}
(xi − µk)T (xi − µk)(|Gk | − 1)
To classify new instance x we predict the Gk with maximal δk :
δk(x) = −12 log |Σk | −
12 (xT − µk)T Σ−1k (xT − µk) + log πk
Machine Learning Linear methods for classification 2 February 26, 2020 17 / 22
Quadratic and Regularized Discriminant AnalysisRegularized:
Σ̂k(α) = αΣ̂k + (1− α)Σ̂
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 4
Mis
clas
sific
atio
n R
ate
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.1
0.2
0.3
0.4
0.5
•• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •
• • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • •
•
Regularized Discriminant Analysis on the Vowel Data
Test DataTrain Data
α
FIGURE 4.7. Test and training errors for the voweldata, using regularized discriminant analysis with a se-ries of values of α ∈ [0, 1]. The optimum for the testdata occurs around α = 0.9, close to quadratic discrim-inant analysis.
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 4
1
1
1
11
11
11
11
1
1
1
1
1
1
11 1
11
1
1
1
1
1
1
11
1
1
1
1
1
11
11
1
1
1
1
1
1
1 11
1
1 1
1
1
1
1
1
1
111
1
1
1
1
1
1
1 1
11
1
1
1
1
11
1
1
1
1
11
1
1
1
11
1
1
1
1
111
1
1
11
11
1
1
1
1
1
11
1
1
1
1
1
1 1
1
1
11
1
1
1
1 1
1
1
11 1
1
1
1 1
11
1
1
1
1
1
1
1
1
11
1 1
11
1
1
1
11
1
1
1
1 1
1
1
1
11
1
1
1
1
1
1
1
11
1
11
1
1
11
11
1 1
1
11
1
1
11
1
1
1
1
1
1
1
1
1
1
22
22
2
2
2
2
2
2
2
2
22
22
2
22
222
2
22
22
2
2
2 2
2
2
2
22
2
2
22
2
2
2
2
2
2 22
2
2
2
2
2
2
22
2
2
22
2
2
2
2
2
2
2
2
2
2
22
2
2
2
2
2
2
2
2
22
2
2
222
2
2
2
2
2 2
2
2
2
2
2
22
2
2
2
222
2
2
2
2
2
2
2
2
2
2
2
2 2
22
2
2
2
2
2
2
22
2
2
2
22
2 2
22 2
2
2
2
2
2
2
2
2
2
2
2
22
2
22
222
2
2
2
222
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2 22
2
2
22
22
2 2
2
2
2
3
3
3
3
33
3
3
3
3
3 3
3
3
3
3
3
3
3
3
3
33
3
3
3
33
3
33
3
3
3
3
3
3
3
33
3
3
3
3
33
3
3
33
3
3
3
3
3
33
3
3
3
3 3
3 3
3
3
3
3
3
3
3
3
3
3
33
3 3
3
33
33
33
3
3
3
33
3
3
3
3
3
3
3
3
3
33
3
3
3
3 3
3
3
3
33
3
3 33
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
33
3
3
3
33
3
33
3
3
3
3
3
3
3 3
3
3
3 3
3
3
3
33
3
3
3 3
33
33
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
1
1
1
11
11
11
11
1
1
1
1
1
1
11 1
11
1
1
1
1
1
1
11
1
1
1
1
1
11
11
1
1
1
1
1
1
1 11
1
1 1
1
1
1
1
1
1
111
1
1
1
1
1
1
1 1
11
1
1
1
1
11
1
1
1
1
11
1
1
1
11
1
1
1
1
111
1
1
11
11
1
1
1
1
1
11
1
1
1
1
1
1 1
1
1
11
1
1
1
1 1
1
1
11 1
1
1
1 1
11
1
1
1
1
1
1
1
1
11
1 1
11
1
1
1
11
1
1
1
1 1
1
1
1
11
1
1
1
1
1
1
1
11
1
11
1
1
11
11
1 1
1
11
1
1
11
1
1
1
1
1
1
1
1
1
1
22
22
2
2
2
2
2
2
2
2
22
22
2
22
222
2
22
22
2
2
2 2
2
2
2
22
2
2
22
2
2
2
2
2
2 22
2
2
2
2
2
2
22
2
2
22
2
2
2
2
2
2
2
2
2
2
22
2
2
2
2
2
2
2
2
22
2
2
222
2
2
2
2
2 2
2
2
2
2
2
22
2
2
2
222
2
2
2
2
2
2
2
2
2
2
2
2 2
22
2
2
2
2
2
2
22
2
2
2
22
2 2
22 2
2
2
2
2
2
2
2
2
2
2
2
22
2
22
222
2
2
2
222
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2 22
2
2
22
22
2 2
2
2
2
3
3
3
3
33
3
3
3
3
3 3
3
3
3
3
3
3
3
3
3
33
3
3
3
33
3
33
3
3
3
3
3
3
3
33
3
3
3
3
33
3
3
33
3
3
3
3
3
33
3
3
3
3 3
3 3
3
3
3
3
3
3
3
3
3
3
33
3 3
3
33
33
33
3
3
3
33
3
3
3
3
3
3
3
3
3
33
3
3
3
3 3
3
3
3
33
3
3 33
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
33
3
3
3
33
3
33
3
3
3
3
3
3
3 3
3
3
3 3
3
3
3
33
3
3
3 3
33
33
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
3
FIGURE 4.6. Two methods for fitting quadraticboundaries. The left plot shows the quadratic de-cision boundaries for the data in Figure 4.1 (ob-tained using LDA in the five-dimensional spaceX1, X2, X1X2, X
21 , X2
2 ). The right plot shows thequadratic decision boundaries found by QDA. The dif-ferences are small, as is usually the case.
LDA parameters:(K − 1)× (p + 1)QDA parameters:(K − 1)× ( p(p+3)
2 + 1)
Machine Learning Linear methods for classification 2 February 26, 2020 18 / 22
Computations for LDA
O(n3), often O(n2.376)QDA and LDA may be computed using matrix decomposition:
Compute the eigendecomposition for each(x − µ̂k )T Σ̂k (x − µ̂k ) = [UT
k (x − µ̂k )]TD−1k [UT
k (x − µ̂k )]log |Σ̂k | =
∑`log dk`.
Using this decomposition, LDA classifier can be implemented by the followingpair of steps:
Sphere the data with respect to the common covariance estimate Σ̂:X ∗ ← D− 1
2UT X , where Σ̂ = UDUT .The common covariance estimate of X ∗ will now be the identity.Classify to the closest class centroid in the transformed space, modulo theeffect of the class prior probabilities πk .
Machine Learning Linear methods for classification 2 February 26, 2020 19 / 22
Reduced–Rank Linear Discriminant Analysis
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 4
+
++
+
FIGURE 4.9. Although the line joining the cen-troids defines the direction of greatest centroid spread,the projected data overlap because of the covariance(left panel). The discriminant direction minimizes thisoverlap for Gaussian data (right panel).
maxaaT BaaT Wa
Finding the sequence of optimal subspaces for LDA:compute the K × p matrix of class centroids M and the common covariancematrix W (within–class covariance);compute M∗ = MW− 1
2 using the eigen–decomposition of W ;compute B∗ between–class covariance, the covariance matrix of M∗ and itseigen–decomposition B∗ = V ∗DBV ∗T .
order DB in the decreasing orderv∗
` of V ∗ in sequence define the coordinates of the optimal subspacesZ` = vT
` X with v` = W − 12 v∗
` .
Machine Learning Linear methods for classification 2 February 26, 2020 20 / 22
Reduced–Rank Linear Discriminant AnalysisElements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 4
Coordinate 1
Coo
rdin
ate
3
-4 -2 0 2 4
-20
2
oooooo
o
o
oo
o
o
oo
oo o
o
oooooo
o
oo
o oo
o
o
oooo
oo o o o
o oo
oo
oo
o
ooooo
ooooo o
oooo
oo
oooooo
o
o
o
o
o
o
o
o
ooo
o
oooo
oo
oo
oo
o o
oooooo
oo
ooo
oo
ooo oo
oooooo
oo
o
o ooo
ooooo
oo ooo
o
oo
o
o
oo
oooooo
ooo
ooo
oooooo
ooo
o
oo
ooo
oo
o ooooo o
ooo
ooo
oo
oo
o
o
o
o
o
ooo
oooo
oo ooo
ooo
o
ooo
oo
ooo
oo
o
oooo
oo
oooooo
o
oo
o
oo
ooo
o
oo
o o
o
o
o
o
oo
oooo o
ooo
oo
oooo
o
o
oooo
oo
oo
o
o
o
oo
o oo
o
o
oo
oooo
o
o
oooo
o
o
oo oo
oo
oo
o
o
o o ooo
o
oooo
o
o
ooo
o
oo
o
oo
oo
o
ooo
ooo
o ooo
o
o
o
o
oooo
o
oo
oo
o o
o
ooo
ooo
o
oo
oo
o
ooo o
oo
o
o
o o
ooo
ooo
oo
o
o
o
o
oo
o
oo
ooo
o
o
o
o
o
o
oooo
o ooooo
ooo
o
o
o
ooo o o
o
oooooo
o
ooo
oo
ooooo
o
o o ooo ooo
o oo
o
oo o
oo
o
oo o
ooo
o
o
o
o
oo
oooooo
o
oo
oo
o
o
oo
ooo
o
o
oo oo
ooooo
o oooooo
oooo
o
o
ooo
oo
o
•••••• ••
•••• •• •••• ••••
Coordinate 2
Coo
rdin
ate
3
-6 -4 -2 0 2 4
-20
2
oooooo
o
o
oo
o
o
oo
ooo
o
oooo
oo
o
ooooo
o
o
oooo
ooooo
o oo
oo
oo
o
ooooo
oooo
oo
oooo
oo
oooooo
o
o
o
o
o
o
o
o
ooo
o
oooo
oo
oo
oo
o o
oooooo
oo
oo
o
oo
oooooo
ooooo
oo
o
oooo
ooooo
ooooo
o
oo
o
o
oo
oooooo
oooo
oo
oooooo
oooo
oo
ooooo
ooo
oo
oo
oooooo
oo
oo
o
o
o
o
o
ooo
ooooooo
ooooo
o
ooooo
ooo
oo
o
oooo
oo
ooooo
o
o
oo
o
oo
ooo
o
oo
oo
o
o
o
o
oo
oooo o
ooo
oo
oooo
o
o
oooo
oo
oo
o
o
o
oo
ooo
o
o
oo
oooo
o
o
oooo
o
o
ooo o
oo
ooo
o
ooooo
o
oo
oo
o
o
ooo
o
oo
o
oo
oo
o
ooo
ooo
oooo
o
o
o
o
ooo o
o
oo
oo
o o
o
oo o
ooo
o
oo
oo
o
oooo
oo
o
o
oo
oo
oooo
oo
o
o
o
o
oo
o
oo
ooo
o
o
o
o
o
o
oo oo
oooooo
ooo
o
o
o
oooo o
o
oooooo
o
oo
o
oo
oooooo
oooooo oo
ooo
o
oo o
oo
o
ooo
o oo
o
o
o
o
oo
oooo oo
o
oo
oo
o
o
o o
ooo
o
o
oooo
ooooo oo
ooooo
oo oo
o
o
ooo
oo
o
•••• •• ••
•••••••••••• ••
Coordinate 1
Coo
rdin
ate
7
-4 -2 0 2 4
-3-2
-10
12
3
oooooo
ooo
o
o
o
oo
oo oo
oooooo
o o oooo
ooo
ooo
o o oo
o
o
oo
o
ooo
ooo
ooo
oooo
o
o
oooo
oooooo
oo
o
o
oo
o
o
o
o ooooooo
ooo
o
o
oo
o o
oo
oo
oo
oo
oooo
oooo oo
ooo
ooooo
o o
oo
ooo
ooo
ooo
o
oo
o ooo
oo
oooooo
ooooo
o
oooooo
oooo
o
oooo
ooo
ooooo o
o
o
oo
oo
ooo
o
o
o
oooo
oo
o ooo
oo
oooooo
oooo
oo
ooo
oo
oooo
ooo
oo
oooo
oo
o
oo
o
oooooo
oo
oo
o o o oooo
o
oooo
o
o
oo
ooo o o
ooooo
o
o
o
o
oo
o o oooo
oooo
oo
o
ooooooo
oo ooo
oooo o
oo o
o
oooo
oo
oo
ooo
o
oo
o ooo
o
o
oo
oo
oo
oo
ooo o
ooo
o
oo
oooo
oo
oo
oo
oo
ooo oo
o
ooo
ooo o
ooo o oo
oo
o
oo
oo
oo
oo
oo o
ooo
oooooo
oooooo
oo
ooo
o
oo
o
ooo
ooo ooo
oooooo
o ooo
oo
oo
oo
o
o
oo
ooo
o
oo
o o
o
o
oo
oo o
ooo
oooo
o
o
oo
oo
oooooo
ooo
oo
o
ooo o oo
o ooo
oo
o
oooo
ooo
ooooo
o
ooo
o
oo
o
o
o o
•••••• •• •••• •• •••• ••••
Coordinate 9
Coo
rdin
ate
10
-2 -1 0 1 2 3
-2-1
01
2
ooo
ooo
oo
o
oo o
o
oo oo
o
ooo
ooo
ooo
o
oo
oo
o
oo
o
o
oooo
o
oo
o
ooo
o o
ooo
o
o
oo
ooo
oooooooooooo
oo
o o
ooo
o o
o oo
oo
oo
o o
o
o o oo
o
ooo
ooo
oooo o
oooo
ooo
oo
ooo o
oo oo oo
o
o
oo
o o
ooo
oo
o
oooo
o o
o
oooo o oooo
o o
oooooo
o
ooo
o
o
ooo o
oo
ooo ooo
o
oo
ooo
ooooo
o
oo
ooo
o ooooo
o
oooo
oo
oooo
o o ooo
o
oo
oooo
oo
oo oo
oo
oo
ooo
o
oo o
oo
o
oo
oo
oo
ooo
oo
oo
oo
ooo
o
oo
oo
o
oooo
o o
ooooo
o
oo
oo
oo
o oo
ooo
o
oooo
o
oooo o o
oo
oo o
o
o o
o
oo
o
oo ooo
o
oo o
o
oo
oo
oo
oo
ooo oo o
o ooooo
oo
o
o
oo
ooooo o
oo
ooo o
oo
ooo
o
o
o o oo
o
o
o
o
oo
o
o
o
oo o
o
o
o
oo
o
o
o
oo
oo
o
ooo o o
o
oo
oo
o o
ooo
oo
o
oo
ooo
o
oo
oo
oo
oo
o
oo
o
o
o
o o
o
o
o
o
oo o o
ooo
ooo
o
ooooo
oo
o
o
o
o
oo o
oo
o
ooo
o
oo
o ooo
oo
o
oo
oo
o
o
o
ooo
o
oooooo
oo
o oo
o
o oo
ooo
o
ooo
oo
oo
o
o
oo
••••••••••••••••••••••
Linear Discriminant Analysis
FIGURE 4.8. Four projections onto pairs of canon-ical variates. Notice that as the rank of the canonicalvariates increases, the centroids become less spread out.In the lower right panel they appear to be superimposed,and the classes most confused.
Machine Learning Linear methods for classification 2 February 26, 2020 21 / 22
Vovel Example
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 4
Dimension
Mis
clas
sific
atio
n R
ate
2 4 6 8 10
0.3
0.4
0.5
0.6
0.7
LDA and Dimension Reduction on the Vowel Data
•
• •• •
• • • • •
•
•• •
••
• • • •
Test DataTrain Data
FIGURE 4.10. Training and test error rates for thevowel data, as a function of the dimension of the dis-criminant subspace. In this case the best error rate isfor dimension 2. Figure 4.11 shows the decision bound-aries in this space.
Elements of Statistical Learning (2nd Ed.) c©Hastie, Tibshirani & Friedman 2009 Chap 4
o
o
oo
o
o o
o
o
o
oo
o
o o
o
o
o
o
o
o
o
o
oo
o
o
oo
oo
o
oo
o
o
o o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
oo
o
o
o
o
oo o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o o
o
o
o
oo
o
o
o
oo
o
o
o o
o
o
o
oo
o
o
o
o
oo
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
oo
o
o o
o
o
o
o
o
o
o
o
o o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o o o
o
o
oo
o
o
oo
oo
oo
o
o
o
o
o
o
o
o
o oo
o
o
o
o
o
o
o
o
oo
o
o
o
oo
o
o
o
oo
o
o
o
o
o
o
o
oo
o
o o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
oo
oo
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o oo
o
o
oo
o
o
o
o
oo
o
o
o
o
oo
o
o
o
o
oo
o
o
o
o
o
o
oo
o
oo o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
Canonical Coordinate 1
Can
onic
al C
oord
inat
e 2
Classification in Reduced Subspace
••••
•••• •••• ••
••
••••
••
FIGURE 4.11. Decision boundaries for the voweltraining data, in the two-dimensional subspace spannedby the first two canonical variates. Note that in anyhigher-dimensional subspace, the decision boundariesare higher-dimensional affine planes, and could not berepresented as lines.Machine Learning Linear methods for classification 2 February 26, 2020 22 / 22