robert tibshirani, stanford university 50th annual...
TRANSCRIPT
1
The Lasso: some new tools and applications
Robert Tibshirani, Stanford University
50th Annual Actuarial research conference, University of Toronto
Robert Tibshirani, Stanford University selective inference
2
An exciting time for statisticians!
• BIG DATA is everywhere
• Data Science is emerging as a new field
• Enrollment in Statistics/Machine Learning/Data Science classes are way up!
• Graduates are in big demand: Google, FaceBook, Twitter, LinkedIn
Robert Tibshirani, Stanford University selective inference
3
For Statisticians: 15 minutes of fame
• 2009: “ I keep saying the sexy job in the next ten years will bestatisticians.” Hal Varian, Chief Economist Google
• 2012 “Data Scientist: The Sexiest Job of the 21st Century” HarvardBusiness Review
Robert Tibshirani, Stanford University selective inference
4
Sexiest man alive?
Robert Tibshirani, Stanford University selective inference
5
Sexiest man alive?
Robert Tibshirani, Stanford University selective inference
6
But wait! There’s competition
“Actuary is the Top Job Once Again, and Here’s Why”
CIA newsletter, April 2015
Robert Tibshirani, Stanford University selective inference
7
Robert Tibshirani, Stanford University selective inference
8
Outline
Focus is on predictive modeling
1 Review of Forward Stepwise Regression and the Lasso, two methods forpredictive modeling
2 How to do inference (obtain p-values, confidence intervals) after fitting oneof these models: New tools for post-selective inference
3 How to do prediction: Example application of the lasso for cancer diagnosis
Robert Tibshirani, Stanford University selective inference
9
Forward Stepwise regression and the Lasso
• Regression problem: We observe n feature-response pairs (xi , yi ), where xi isa p-vector and yi is real-valued.
• Let xi = (xi1, xi2, . . . xip)
• Consider a linear regression model:
yi = β0 +∑j
xijβj + εi
where εi is an error term with mean zero. βj is the weight given feature j
• Least squares fitting is defined by
minimizeβ0,β
1
2
∑i
(yi − β0 −∑j
xijβj)2
Robert Tibshirani, Stanford University selective inference
10
Forward Stepwise regression
• start with fit equal to the mean y
• at each step, add to model predictor that most decreases training error
• continue until min(n, p) predictors are in the model
• use a criterion like cross-validation to select best member in the path ofmodels.
Robert Tibshirani, Stanford University selective inference
11
The Lasso
The Lasso is an estimator defined by the following optimization problem:
minimizeβ0,β
1
2
∑i
(yi − β0 −∑j
xijβj)2 subject to
∑|βj | ≤ s
• Penalty =⇒ sparsity (feature selection)
• Convex problem (good for computation and theory)
Robert Tibshirani, Stanford University selective inference
12
The Lasso– continued
Equivalent Lagrangian form:
minimizeβ0,β
1
2
∑i
(yi − β0 −∑j
xijβj)2 + λ
∑|βj |
• We choose s or λ by cross-validation.
• Lasso useful for LARGE regression or GLM predictive models. Canapply to large number of features (∼ 10, 000 or 100, 000) and itautomatically selects the most important ones.
• in GLM models, squared error is replaced by the appropriate log-likelihood.Example later.
• I don’t work in actuarial science, but surely the Lasso could be useful forapplications in that field.
Robert Tibshirani, Stanford University selective inference
13
Prostate cancer exampleN = 88, p = 8. Predicting log-PSA, in men after prostate cancer surgery
Shrinkage Factor s
Coe
ffici
ents
0.0 0.2 0.4 0.6 0.8 1.0
−0.
20.
00.
20.
40.
6
lcavol
lweight
age
lbph
svi
lcp
gleason
pgg45
Pathwise version of lasso is called least angle regression (LAR)
Robert Tibshirani, Stanford University selective inference
14
Why does the lasso give a sparse solution?
β^ β^2. .β
1
β2
β1β
Robert Tibshirani, Stanford University selective inference
15
Illustration of the post-selection inference problem
• Suppose that we apply forward stepwise regression to the prostate data, andour software prints out the usual p-values from the F-test at each stage.
• The test statistic is the reduction in sum of squares divided by an estimate ofthe error variance.
Results:
P-value from F-testlcavol 0.000
lweight 0.000svi 0.047
lbph 0.047pgg45 0.234
lcp 0.083age 0.137
gleason 0.883
Do we believe these p-values?
Robert Tibshirani, Stanford University selective inference
16
Illustration of the post-selection inference problem:Forward stepwise-regression- chi-square statistic
0 2 4 6 8 10
05
1015
Chi−squared on 1 df
Test
sta
tistic
N = 100, p = 10, true model null
Test is too liberal: for nominal size 5%, actual type I error is 39%.Can get proper p-values by sample splitting: but messy, loss of power
Robert Tibshirani, Stanford University selective inference
17
Post-selection inference
John Tukey held that too much emphasis in statistics was placed on statisticalhypothesis testing (confirmatory data analysis); more emphasis needed to beplaced on using data to suggest hypotheses to test.
”... confusing the two types of analyses and employing them on the same set ofdata can lead to systematic bias owing to the issues inherent in testing hypothesessuggested by the data. ”
We will show how to get valid post-selection p-values and confidence intervals forLAR, lasso, forward stepwise regression and many other procedures
Robert Tibshirani, Stanford University selective inference
18
Our solution
• gives exact p-values that account for selection;
• applicable very generally- to forward stepwise regression, fixed-λ lasso andbeyond— e.g. principal components analysis,
Robert Tibshirani, Stanford University selective inference
19
Example: Forward Stepwise regression
FS, naive FS, adjustedlcavol 0.000 0.000
lweight 0.000 0.012svi 0.047 0.849
lbph 0.047 0.337pgg45 0.234 0.847
lcp 0.083 0.546age 0.137 0.118
gleason 0.883 0.311
Table : Prostate data example: n = 88, p = 8. Naive and selection-adjusted forwardstepwise sequential tests
Robert Tibshirani, Stanford University selective inference
20
Lasso with fixed-λHIV data: selection intervals for lasso with fixed tuning parameter λ.
−2
−1
01
2
Predictor
Coe
ffici
ent
5 8 9 16 25 26 28
Naive intervalSelection−adjusted interval
Robert Tibshirani, Stanford University selective inference
21
The polyhedral lemma
• Response vector y ∼ N(µ,Σ). Suppose we make a selection that can bewritten as
Ay ≤ b
with A, b not depending on y .
• Then for any vector η
F[V−,V+]η>µ,σ2η>η
(η>y)|{AL,λy ≤ bL,λ} ∼ Unif(0, 1)
(truncated Gaussian distribution), where V−,V+ are (computable) constantsthat are functions of η,A, b.
• Result is exact (finite-sample) and works for any X !
Robert Tibshirani, Stanford University selective inference
22
V+(y)V−(y)
Pη⊥y
Pηy
ηTy
y
η
{Ay ≤ b}
Robert Tibshirani, Stanford University selective inference
23
The polyhedral lemma: some intuition
• Suppose that we have taken one step of forward stepwise regression, enteringpredictor x3. We wish to make inferences about the coefficient of x3.
• We can view the stepwise procedure as a competition among inner products:x3 has a larger inner product with y than the second place finisher, say x2.
• More generally. the set of outcome vectors y that would lead to the sameresults of the competition can be written in the form Ay ≤ b.
Robert Tibshirani, Stanford University selective inference
24
The polyhedral lemma: intuition continued
• Now without selection, the inner product between x3 and y can have anyvalue between −∞ and ∞. But after selection, with orthogonal variables,we know it must be at least as large as the inner product between x2 and y .
• Conditioning on the results of the competition leads to constraints onthe size of the inner products, and these are computable from A and b,namely Vm and Vp.
• We carry out inference using the Gaussian distribution truncated to lie in(Vm,Vp)
Robert Tibshirani, Stanford University selective inference
25
Polyhedral lemma again
F[V−,V+]η>µ,σ2η>η
(η>y)|{AL,λy ≤ bL,λ} ∼ Unif(0, 1)
• Very powerful: can be used to construct p-values and confidence intervalsfor parameters after any selection event of the form AY ≤ b.
• Can generalize to quadratic selections event
• With sampling, can obtain more powerful tests in exponential family:Optimal inference after model selection (Fithian, Sun, Taylor)
Robert Tibshirani, Stanford University selective inference
26
R package soon too be released on CRAN
selectiveInference
Joshua Loftus, Jon Taylor, Ryan Tibshirani, Rob Tibshirani
• Forward Stepwise regression, including AIC stopping rule, categorical variablesforwardStepInf(x,y)
• Fixed lambda LassofixedLassoInf(x,y)
• Least angle regressionlarInf(x,y)
These compute p-values and selection intervals
Robert Tibshirani, Stanford University selective inference
27
Ongoing work on selective inference
• LAR+forward stepwise (Taylor, Lockhart, Tibs times 2)
• Forward stepwise with grouped variables (Loftus and Taylor)
• Sequential selection procedures (G’Sell, Wager, Chouldechova, Tibs) JRSSB
• PCA (Choi, Taylor, Tibs)
• Marginal screening (Lee and Taylor)
• Many means problem (Reid, Taylor, Tibs)
• Asymptotics (Tian and Taylor)
• Bootstrap versions (Ryan Tibshirani+friends)
Robert Tibshirani, Stanford University selective inference
28
PCA example
Scree Plot of (true) rank = 2
●
●
●
●●
● ●●
●●
2 4 6 8 10
510
1520
Singular values(SNR=1.5)
index
Sing
ular
val
ues
●
●
●
●
●
●●
●
●
●
2 4 6 8 10
45
67
89
1011
Singular values(SNR=0.23)
indexSi
ngul
ar v
alue
s
(p-values for right: 0.030, 0.064, 0.222, 0.286, 0.197, 0.831, 0.510, 0.185, 0.126.)
Robert Tibshirani, Stanford University selective inference
29
A Cancer detection problem
• I am currently working in a cancer diagnosis project with co-workers atStanford; Livia Eberlin (PI) —PostDoc (Chemistry); Richard Zare(Chemistry) and George Poulsides (Surgery)
• Eberlin et al (2014). “Molecular assessment of surgical-resection margins ofgastric cancer by mass-spectrometric imaging”. Proc. Nat. Acad. Sci.
• They have collected samples of tissue from a number of patients undergoingsurgery for stomach cancer.
Robert Tibshirani, Stanford University selective inference
30
Livia Eberlin
Richard Zare
George Poulsides
Robert Tibshirani, Stanford University selective inference
31
Normal margin
Cancer
Stromal
Epithelial
Left in patient
Extracted part
Robert Tibshirani, Stanford University selective inference
32
The challenge
• Build a classifier than can distinguish three kinds of tissue: normal epithelial,normal stromal and cancer.
• Such a classifier could be used to assist surgeons in determining, in real time,whether they had successfully removed all of the tumor. Current pathologisterror rate for the real-time call can be as high as 20%.
Robert Tibshirani, Stanford University selective inference
33
Technology to the rescue!DESI (Desorption electrospray ionization)
An electrically charged “mist” is directed at the sample; surface ions are freed andenter the mass spec.
Robert Tibshirani, Stanford University selective inference
34
The data for one patient
��������������������������������������������������������������������������������������������������������������
��������������������������������������������������������������������������������������������������������������
������������������������������������������������
������������������������������������������������
������������������������������
������������������������������
Epithelial
Stromal
Cancer
Spectrum sampled at 11,000 m/z values
Spectrum for each pixel
Robert Tibshirani, Stanford University selective inference
35
Details
• 20 patients, each contributing a sample of epithelial, stromal and cancertissue.
• Labels determined after 2 weeks of testing in pathology lab.
• At each pixel in the image, the intensity of metabolites is measured by DESI.Peaks in the spectrum representing different metabolites.
• The spectrum has been finely sampled, with the intensity measured at about11, 000 m/z sites across the spectrum, for each of about 8000 pixels.
Robert Tibshirani, Stanford University selective inference
36
The overall data
Patient 3
Patient 4
... Patient 20
Pixels
1.3
1
2
13
Patient 2
Patient 1
7.6
Label of pixel: Y
9.4
1=Epithelial2= Cancer
3=Stromal
−−− 11,000 m/z sites −−−−
Robert Tibshirani, Stanford University selective inference
37
Selected negative ion mode DESI-MS ion images of sample GC727.
Eberlin L S et al. PNAS 2014;111:2436-2441
©2014 by National Academy of Sciences
Robert Tibshirani, Stanford University selective inference
38
What we need to tackle this problem
• We are doing pixel-wise classification
• A statistical classifier (algorithm) that sorts through the large number offeatures, and finds the most informative ones: a sparse set of features:
• Use the Lasso!
Robert Tibshirani, Stanford University selective inference
39
The Lasso
The Lasso is an estimator defined by the following optimization problem:
minimizeβ0,β
1
2
∑i
(yi − β0 −∑j
xijβj)2 subject to
∑|βj | ≤ s
• Penalty =⇒ sparsity (feature selection)
• Convex problem (good for computation and theory)
• Ridge regression uses penalty∑
j β2j ≤ s and does not yield sparsity
Robert Tibshirani, Stanford University selective inference
40
Back to our problem
• K = 3 classes (epithelial, stromal, cancer): multinomial model
logPr(Yi = k |x)∑k Pr(Yi = k |x)
= β0k +∑j
xijβjk , k = 1, 2, . . .K
Here xij is height of spectrum for sample i at jth m/z position
• We replace the least squares objective function by the multinomiallog-likelihood
• Add lasso penalty∑ |βj | ≤ s; optimize, using cross-validation to estimate
best value for budget s.
• yields a pixel classifier, and also reveals which m/z sites are informative.
Robert Tibshirani, Stanford University selective inference
41
Fast computation is essential• Our lab has written a open-source R language package called glmnet for
fitting lasso models. Available on CRAN. Largely written in FORTRAN!!!!!
• It is very fast- can solve the current problem in a few minutes on a PC. Somebuiltin parallelization too.
• Not “off-the shelf”: Many clever computational tricks were used to achievethe impressive speed.
• Lots of features- Gaussian, Logistic, Poisson, Survival models; elastic net;grouping; parameter constraints; Available in R and Matlab.
Jerry Friedman Trevor HastieRobert Tibshirani, Stanford University selective inference
42
Results
Cross-validation- min at 129 peaks; overall error rate= 4.2%
Predictedtrue Epi Canc Strom Prop correctEpi 3277.00 80.00 145.00 0.94Canc 73.00 5106.00 13.00 0.98Strom 79.00 86.00 2409.00 0.94
Test set: overall error rate =5.7%
Predictedtrue Epi Canc Strom Prop correctEpi 1606.00 149.00 19.00 0.91Canc 23.00 1622.00 5.00 0.98Strom 67.00 5.00 1222.00 0.94
Robert Tibshirani, Stanford University selective inference
43
Cross-validated estimates of class probabilities
0 2000 4000 6000 8000 10000 12000
0.0
0.2
0.4
0.6
0.8
1.0
1.2
Pixel
Est
imat
ed C
V P
roba
bilit
y ooooooooooooooooooooo
o
o
o
oooo
o
ooo
oo
o
ooo
o
o
o
o
o
ooo
o
ooo
o
oo
o
ooo
o
ooo
o
o
o
o
ooo
oo
oooo
ooo
oo
o
ooo
oo
oo
ooo
ooo
oo
ooooo
ooo
o
o
oooo
o
oo
ooo
oooo
o
oooo
oo
o
o
oooo
oo
o
o
o
o
o
ooooooooooooo
o
o
ooo
ooooooooooo
o
o
o
oo
o
oooooo
oo
ooooooooooooooo
oooooo
o
ooooooooo
ooo
o
oooooooooooooooooooooo
o
oooo
o
ooooo
ooo
oo
oo
ooooooooooo
oooo
o
oooo
ooooooooooooooooooooooo
o
o
oooooooooooo
o
oo
o
ooo
o
ooooooooooo
ooo
ooooo
o
oooo
oo
o
oooo
oooooooo
o
o
o
o
oo
oo
ooooooooooooooo
ooo
oo
o
ooooooooooooo
oo
ooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooo
o
ooooooooooooo
o
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooooo
o
oooooooooooooo
ooooooooooooooooooooooooooooooooooooo
o
o
o
oooooooooooooooo
ooooo
o
oo
o
oooooo
o
ooooo
o
oooo
oo
o
oooooooo
oo
o
oooooooo
o
o
oo
oooooo
o
o
o
oooooo
o
o
o
oo
o
ooooooo
ooo
oooooo
o
ooo
o
ooooooooo
oo
oo
oooo
o
o
oo
o
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooo
o
oo
o
ooooooooooooooo
o
oooo
o
oooooo
o
o
oooooooo
oo
o
ooooo
o
ooooooooooooooooooooooo
o
o
o
o
ooooooooooo
o
ooooo
o
ooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooo
o
o
ooo
oo
o
oooo
o
o
o
o
o
oooo
o
ooo
ooo
oo
o
oooooooooo
o
oo
o
oo
o
o
o
oooooo
o
ooooo
ooo
oo
o
o
o
oooo
o
oo
oo
o
o
o
oo
ooo
o
o
oooo
o
oooooo
o
ooo
o
o
o
o
o
ooooooo
o
oo
oo
o
oooo
o
o
oo
ooo
o
o
ooooooo
o
oo
oooo
oo
ooooo
o
ooooooooooooo
oooooo
o
ooooo
o
oooo
o
o
o
o
o
oooo
o
ooo
ooo
oo
o
oooooo
oooo
o
oo
ooo
o
oo
oooooo
o
ooooo
ooo
ooo
o
o
oooo
o
oo
oo
o
o
o
oooooo
ooooo
o
oooooo
o
ooo
o
o
o
o
oooooooo
o
oo
oo
o
oooo
o
ooo
ooo
o
o
o
oooooo
o
oooooo
oo
ooooo
o
oooooooooooooooooooooooooo
oo
o
ooooooooooooo
o
o
oo
oooooooooooooo
o
o
oo
oooooooooooooooooooo
oo
o
o
oooooooooooooooooooo
o
o
o
oo
o
ooooooooooooooooo
o
ooooooooooooo
o
o
o
o
oooooooooooooo
oo
ooo
oooooooooooooooooo
oooooooo
o
o
oooooooooooo
oooo
oo
o
o
o
oo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooo
oooooooooooooo
o
oooooooooooooo
oo
ooooo
o
ooooooooo
o
ooooooooooooo
oo
oooooo
ooooooo
o
oooooooo
o
ooo
o
ooooooooo
oooo
ooooooooo
oo
ooooooooo
o
o
o
oooooo
o
oo
oo
o
ooooooooo
o
o
o
ooo
o
oooo
o
o
o
o
oo
oo
oooooo
o
o
ooo
o
oooooooo
o
oo
ooooooooooooooooooooooooo
o
oooooooooooooooooooooooo
ooooooooooooooooooooo
ooo
o
oo
oooooooo
oooo
oo
ooooooooo
o
oooo
oooooooooooooo
oo
ooooooooooooooooooooo
o
ooooooooooooooooooooo
oo
oo
ooooooooooooooooo
o
oo
ooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooo
ooooooooooooooooooo
oo
ooo
ooooooooo
o
ooo
oo
ooooooooo
o
oo
ooooooooo
o
oo
ooooooooo
oo
oo
oooooooooooooooooooooo
oooo
oo
oo
ooooooooooo
oo
oo
ooooooooooooooooooooooo
oooooooooooooo
oo
oooooooooooooooo
oo
oooooooooooooooooooooooo
ooooooo
oo
oooooooooooo
ooo
oooooooooooooooooooooo
oooooooooooo
ooo
ooooooo
ooo
ooo
oooo
ooooooooo
oooooo
ooooooo
ooo
oooooooooooooooooooooo
oooo
ooo
ooo
oooooooooooo
o
o
ooooooooooooooo
oooo
ooo
o
ooooooooooooooooooo
o
ooooo
ooo
oooooooooooooooooo
oo
ooooooooooooooooooooooooooooooooo
ooooo
oo
ooo
ooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
ooooooooooooooooooooooooooooooo
o
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooo
oo
oo
oooo
oooo
o
oooooooooooooooooooooooooooo
o
oooooooooo
oo
ooo
o
ooooooo
ooo
oo
o
oooooo
ooo
oo
oooooooooooooooo
oo
ooooooooooooo
ooo
o
o
o
o
ooo
ooooooooooooo
oo
oo
ooo
o
ooooo
oo
o
oooo
oooooo
ooo
oooooo
oo
oo
oo
ooooooooooo
o
ooooo
ooo
oooo
o
o
oooooooooooooooooooo
oooo
o
oo
oo
ooooooooooooooooooooo
oo
o
oo
o
o
ooooooooooooooooooooooo
o
oooo
oo
ooooooooooo
ooooooooooooo
o
o
oooo
o
ooooooooooo
oo
oooooooooooo
o
oo
o
ooooooo
oooooo
oo
oooooooooooo
oo
o
oooooooooooooooooooooooo
o
oo
oooooo
oo
o
ooooooooooo
oo
oooooooooooo
oo
oooooooo
ooo
oo
ooooooo
oo
o
oo
oooooooooooo
o
o
oooooooo
o
ooo
oooooooooo
ooooooo
ooo
ooo
ooo
oooooooooooo
o
o
oo
ooooooooooooooooooooooo
o
oooooooooo
o
oooooo
ooooooooo
o
ooooooooooooooooooooooooooooooooooo
o
oooooooooooo
oo
ooooooo
ooooooooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooo
ooo
oooooooo
ooooo
oooooo
o
oo
oo
oo
oooooo
o
oooo
oooo
o
oo
oooooooo
o
oo
oooooooo
oo
oo
oooooooo
o
oo
ooooooooo
ooo
oo
oo
oooo
oooo
oo
oo
ooooo
ooooooooooo
ooooooo
o
o
ooooo
oooooooooooooooooooooo
o
o
oooo
o
ooo
oo
o
ooo
o
o
o
o
o
ooo
o
ooo
o
oo
o
ooo
o
o
oo
o
o
o
o
ooo
oo
oooo
ooo
oo
o
ooo
oo
ooooo
ooo
oo
ooooo
ooo
o
o
oooo
o
oo
ooo
oooo
o
oooo
oo
o
o
oooo
oo
o
o
o
o
o
ooooooooooooo
oo
ooo
ooooooooooo
o
o
o
oo
o
oooooo
oo
ooooooooooooooo
oooooo
o
ooooooooo
oooo
oooooooooooooooooooooo
o
ooooo
ooooo
oooooooooooooooooooooo
o
oooo
ooooooooooooooooooooooo
o
o
oooooooooooo
o
oo
o
ooooooooooooooo
ooo
ooooo
o
oooo
oo
o
oooo
oooooooo
o
o
o
o
oo
oo
ooooooooooooooo
ooooo
o
ooooooooooooo
oo
ooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooo
o
oooooooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooooo
o
oooooooooooooo
ooooooooooooooooooooooooooooooooooooo
o
o
o
oooooooooooooooo
ooooo
o
oo
o
oooooo
o
oooooo
ooooooo
oooooooooo
o
ooooooooooo
o
ooooooooooooooo
o
ooooooooooooooooooooooooo
o
ooooooooo
oo
o
o
oooo
o
o
oo
o
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooo
o
oo
o
ooooooooooooooo
o
ooooo
oooooo
o
o
oooooooooo
o
ooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooo
o
ooo
oo
o
oooo
o
o
o
o
o
oooo
o
oooooo
oo
o
oooooooooo
o
oo
o
oo
o
oo
oooooo
o
ooooo
ooo
oo
o
o
o
ooooooo
ooo
o
o
oo
ooo
o
oooooo
oooooo
o
ooo
o
ooooooooooo
o
ooooooooo
o
o
oo
ooooooooooooo
ooooooo
o
ooooo
o
ooooooooooooooooooo
o
ooooo
o
oooo
o
o
o
o
o
oooo
o
oooooo
oo
o
oooooooooo
o
ooooo
o
oooooooo
o
ooooo
ooo
ooo
o
o
ooooooo
oooo
o
oooooo
oooooo
oooooo
o
ooo
o
ooooooooooo
o
ooooooooo
o
ooooooooo
ooooooo
ooooooo
o
ooooo
o
oooooooooooooooooooooooooo
oooooooooooooooooooo
oooooooooooooo
oo
oooooooooooooooooooooooooooooooooooooooooooooo
o
oooo
o
oooooooooooooooooooooooooooooooo
o
o
o
oooooooooooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooo
o
o
o
oo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooo
o
oooooooooooooooooooooooo
o
oooooooooooooooooooooo
o
ooo
o
oooooooooooo
o
ooooooooooooooooooooooooooooo
o
ooooooooooooooo
o
o
ooo
o
oooo
o
o
o
o
oo
oo
oooooo
o
o
ooo
o
oooooooo
o
oo
ooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooo
ooo
o
oo
oooooooo
oo
oo
oo
ooooooooo
o
oooo
oooooooooooooo
oo
ooooooooooooooooooooo
o
ooooooooooooooooooooo
oo
oo
ooooooooooooooooo
o
oo
ooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooo
oooo
oo
oooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooo
oo
ooooooooooooooooooooooooooooooo
oo
oooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooo
ooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
oo
oooo
oooo
o
oooooooooooooooooooooooooooo
o
ooooooooooooooo
o
ooooooo
ooooo
o
oooo
ooooo
oooooooooooooooooo
oo
ooooooooooooo
ooo
o
ooo
ooooooooooooooooo
o
oo
ooo
o
ooooo
ooo
ooooooooooooooooooo
oo
oo
oo
ooooooooooooooooo
oooooooo
ooooooooooooooooooooo
ooooooooo
ooooooooooooooooooooo
ooo
oo
o
o
ooooooooooooooooooooooo
o
oooooo
oooooooooooooooooooooooo
o
ooo
oo
o
ooooooooooo
oo
oooooooooooo
o
oo
oooooooo
o
oo
oo
ooo
oooooooooooo
oo
o
oooooooooooooooooooooooo
o
oo
ooo
oo
o
ooo
ooooooooooo
oo
oooooooooooo
oo
oooooooo
ooo
oo
o
oooo
oo
ooo
oo
oooooooooooo
o
o
oooooooooooooooooooooo
ooooooo
ooo
ooo
ooo
oooooooooooo
o
o
oo
ooooooooooooooooooooooo
o
oooooooooo
o
oooooo
ooooooooo
o
ooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooo
oo
ooooo
oooooo
ooooo
oo
oooooo
ooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooo
oo
o
oooooooo
oo
o
oooooooo
o
o
oooooooo
o
o
o
o
ooooooo
o
ooo
oooooooooo
oooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
o
o
o
ooooooooooo
o
ooooo
o
ooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oo
oooooooooooo
oooo
ooooooooooooo
o
o
ooooooooooo
oo
o
ooooooooooo
o
o
ooooo
oo
o
oooooo
o
ooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooo
oooooooooooo
oooo
ooooooooooooo
o
o
ooooooooooo
oo
o
ooooooooooo
o
o
ooooooo
o
oooooo
o
ooooooooooooooooooooooooooooooooooo
o
ooooooooooooo
o
oooooooooooooooooo
o
oo
oooooooooooooooooooo
oo
o
o
oooooooooooooooooooooo
o
oooooooooooooooooooooooooooooooooo
oooooooooooooooooo
oo
o
oooooooooooooooooooooooooooo
oooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooooooo
ooooooooooooooo
o
ooooooooooooo
o
o
ooooooooooooo
o
ooooooooooooo
oooooooooooooooooooooooo
oooooooooo
o
o
oooooooo
o
oo
oooooooooo
o
oooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
oooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooo
ooooooooooooooooooo
oo
ooooooooooooo
ooo
oo
ooooooooo
o
oo
ooooooooo
o
oo
ooooooooo
oo
oo
oooooooooooooooooooooo
oo
oo
oo
ooooooooooooo
oo
ooooooooooooooooooooooooooooooooooooooo
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooo
ooooooooooooooooooooooooooooooooooooo
ooooooo
ooo
ooo
oooo
ooooooooo
oooooo
ooo
o
ooo
ooo
oooooooooooooooooooooo
oooo
ooo
ooo
oooooooooooo
o
o
ooooooooooooooooooo
oooo
oooooooooooooooooooo
ooooo
ooo
oooooooooooooooooo
oo
oooooooooooooooooooooooooooooooooooooo
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
ooooooooooooooooooooo
oo
ooooooooooooooooooooooo
ooooooooooooooooo
o
o
o
oooooooooooooooo
o
ooooooooooooooo
oooooooooooooooooooooooo
o
ooooooooooo
o
oooooooooooo
o
o
oooooooooooooooooooooo
oo
o
oo
ooooooooooooooooooooooooo
o
oo
o
ooooooooooooooooooooooooo
oooo
o
ooooooooooooooooooooooooo
o
o
oo
oo
ooooooooooooooooooooooooooo
oo
o
ooooooo
o
oo
oo
o
oo
oooooooooooooooooooooooooooooooooooooooooo
ooo
oo
o
ooooooooooooooooooooooooooooooooooooooooo
oo
o
oooo
oooo
ooooooooooooooo
o
o
oooooooo
o
ooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
o
ooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
oooooooooo
o
oooooooo
o
oo
oooooooo
o
oo
oooooooo
oo
oo
oooooooo
o
oo
ooooooooo
o
oo
oooo
oooo
oo
oo
oo
oo
ooooo
ooooooooooo
ooo
oooo
o
o
ooooo
Epithelial
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooo
ooooooooooooooooooooooo
o
oooooooooooooooooooooooo
oo
o
o
oo
ooooooooooooooooooooooo
ooo
o
o
o
o
oooooooooooooooooooooooo
ooo
o
ooooooooooooooooooooooooo
o
ooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooo
o
ooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooo
o
oooooooo
o
o
o
ooooooooooooooooooooooo
o
o
oo
o
oooooooooooooooooooooooo
o
oo
ooo
ooo
ooooooooooooooooooooooooooooo
oo
oooo
oooooooooooooooooooooooooo
o
oooooooooo
oo
oooooooooooooooooo
o
o
oooooooooooooooooo
oooooooooooooooooo
oooooooooooooo
ooooooooooooooooooooooooooo
o
ooooo
o
oooooooooo
o
oooo
o
oooooooooooooooooooooooooooooo
o
o
ooooooo
oooooooooooooooooooooooooooooooooooo
oo
ooo
ooooooooo
oo
o
ooooooooooooooooooooooooooooo
o
oo
o
oooo
ooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooo
o
o
oooooooooooooooooooooooooo
oooooooo
oooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooo
ooooooooooooooooooooooooo
o
ooooooooooooo
oooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooo
o
oo
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooo
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooo
o
oooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
ooooooooooooooooooooooooooooooooooooo
o
o
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooo
o
ooooooooooooooooo
o
oooo
ooooooooooooooooooooooooooooooo
o
oooooooooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooo
o
oooooooooo
oooo
o
oooooooooooo
ooooooooooooooooo
o
ooooooooooooo
oo
ooooooooooooooo
o
oooooooooooooooooooooooooooooooooooo
o
o
oo
oooooo
o
o
o
oooooo
o
oooooooooo
o
o
o
oooooooooo
o
o
o
oooooooooo
o
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
oooooo
o
o
o
oooooo
o
oo
oooooooo
o
o
o
oooooooooo
o
o
o
oooooooooo
o
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
o
oo
ooooo
oooo
o
o
o
oo
oooo
o
ooooooo
oo
o
o
o
o
oo
o
o
oooooo
oo
o
ooo
o
o
ooooooooo
o
oo
oo
o
oo
o
o
o
oo
oooo
ooo
oo
o
oo
o
o
oo
o
o
oo
o
oooo
oo
o
o
ooooo
o
o
o
o
o
oooooo
o
oo
oooo
o
oo
oo
oooooo
o
ooooooo
o
o
ooo
o
oo
o
oo
ooo
oo
o
oo
o
o
o
o
ooooooo
o
ooooooooo
oo
o
o
o
o
o
oooo
o
o
o
o
oo
oo
ooooooooooooo
o
o
o
oo
o
oo
o
o
o
o
o
o
o
oo
ooooooo
oo
ooooo
o
o
oo
o
o
o
o
o
oo
o
ooo
oooo
oo
oooooo
o
oooooo
ooo
o
o
o
o
o
oooo
ooo
ooooooo
o
oo
o
oo
ooooooo
oo
oo
o
o
o
o
oo
o
oo
o
o
oooo
oooooo
ooooo
ooo
o
oo
o
o
oo
o
o
oo
oo
oo
o
ooo
oooo
oo
o
oooo
o
oo
o
o
oo
oo
o
ooo
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
ooooooooo
o
o
oo
o
o
o
o
oo
o
o
o
o
o
oo
oo
oooo
o
o
oo
o
oooooooooo
o
oo
oo
o
ooo
o
o
o
o
o
o
oo
o
ooo
o
o
oo
o
o
o
oooooooo
o
oooooooo
o
o
oo
o
o
oo
o
o
o
o
o
oo
o
o
o
o
o
o
oooo
oo
o
ooooooooo
o
o
o
oo
ooo
o
o
oo
o
oo
ooo
o
o
o
ooooooo
o
oooooo
o
o
o
o
o
ooo
o
o
o
oooo
o
oo
o
o
o
o
ooo
ooooooooooo
o
oo
o
o
oo
o
o
o
o
oo
o
o
oo
oooo
o
o
oo
o
oo
oooooooo
o
o
o
oooo
o
o
o
ooo
o
o
o
o
o
o
oo
o
o
oo
oooo
ooooo
oo
o
o
o
oo
oo
oo
o
o
oo
o
o
o
ooo
o
oooo
o
o
oooo
o
oo
oo
oo
o
ooo
o
ooo
o
o
o
o
oo
oo
oo
o
o
o
o
o
oo
oo
oo
o
oo
o
oo
o
o
o
o
o
oo
o
ooo
oo
o
ooooooo
oooo
oooo
oo
o
oo
ooooo
oooooo
o
o
o
o
o
o
o
o
o
o
ooooo
o
oooooo
o
o
oo
o
o
o
o
oo
o
o
oo
ooooo
o
o
o
o
o
o
o
o
o
oo
oo
oo
o
ooooo
o
o
ooooo
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooo
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
ooo
oooooo
oooooo
ooooo
oooooooooo
o
oooo
ooooooooooooooooooo
oo
oooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooo
oo
ooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooooo
oo
ooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooo
ooo
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooo
o
oooooooooooooooooooooooooooooooo
oooooooooooo
o
ooo
ooooo
oo
oooooooooooooooooooooo
ooooooooooooo
o
ooooooooooooo
oo
o
oo
oo
oooooooo
o
ooo
oo
ooooooooooooo
o
ooooooooooooooooooooo
ooooo
oooooooooooooooooo
o
ooooooo
o
oo
oo
o
ooo
oo
oo
ooooooooooo
oo
ooooooooooooooooooooo
oo
ooo
ooooooo
o
oooooooooo
ooo
ooo
oo
o
oo
ooo
oo
ooo
oo
o
oooooooooo
oooooooooooooooooooooooooooooo
oo
ooo
ooooo
ooo
oo
o
oooo
o
ooooooo
o
oo
ooo
oo
ooo
ooooooooooooooooooooo
ooooooooo
ooo
ooooo
oooooooooooooooo
oo
oo
o
oo
o
oooo
o
ooo
oooo
o
oo
o
oooo
o
oo
oooooooo
ooooo
oo
o
oo
oo
o
oo
ooo
oo
oooooooooooooooooooooo
oo
o
ooooooo
o
oo
oooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooooooo
o
ooooooooooooooooooooooo
o
oo
oooooooooooooooooooooo
oo
o
o
oo
ooooooooooooooooooooooo
ooo
o
o
o
o
oooooooooooooooooooooooo
ooo
o
ooooooooooooooooooooooooo
o
ooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooo
o
ooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooo
o
oooooooo
o
o
o
ooooooooooooooooooooooo
o
o
oo
o
oooooooooooooooooooooooo
o
oo
ooo
ooo
ooooooooooooooooooooooooooooo
oo
oooo
oooooooooooooooooooooooooo
o
oooooooooo
oo
oooooooooooooooooo
o
o
oooooooooooooooooo
oooooooooooooooooo
oooooooooooooo
ooooooooooooooooooooooooooo
o
ooooo
o
oooooooooo
o
oooo
o
oooooooooooooooooooooooooooooo
o
o
ooooooo
oooooooooooooooooooooooooooooooooooo
oo
ooo
ooooooooo
oo
o
ooooooooooooooooooooooooooooo
o
oo
o
oooo
ooooooooooooooooooooooooooooooooooooooooo
oo
o
ooooooooooooooooooooooooooo
o
o
oooooooooooooooooooooooooo
oooooooo
oooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooo
ooooooooooooooooooooooooo
o
ooooooooooooo
oooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooo
o
oo
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooo
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooo
o
oooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
oo
ooooooooooooooooooooooooooooooooooo
o
o
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooo
o
ooooooooooooooooo
o
ooooooooooo
o
o
oooo
o
oooo
ooooo
o
o
o
ooooooooooooooo
o
o
oooooo
o
oooooooooooooooo
o
oooooooooo
ooooooooooooooo
o
ooooooooooooo
o
o
oo
o
ooooooo
oo
ooooooo
o
ooooo
o
oooooooooo
oooo
o
oooooooooo
oo
ooo
oooooooooooooo
o
ooooooooooooo
o
o
o
o
oo
ooooooooooo
o
ooo
ooo
o
ooooooooooooooo
o
o
o
oooo
o
oooo
o
oo
o
oo
oooooo
oo
o
oooooo
o
oo
oooooooo
o
o
o
oooooooooo
o
o
o
oooooooooo
o
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
oooooo
oo
o
oooooo
o
o
o
oooooooo
o
o
o
oooooooooo
o
o
o
oooooooooo
o
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
o
oo
ooooo
oooo
oo
o
oo
oooo
o
oooooo
ooo
o
o
o
o
oo
o
o
oooo
oo
oo
o
ooo
o
o
ooooooooo
o
oo
oo
o
oo
o
o
o
oo
oooo
ooo
oo
o
oo
o
o
oo
o
o
oo
o
oooo
oo
o
o
ooooo
o
o
o
o
o
oooooo
o
oo
oooo
o
oo
oo
oooooo
o
ooooooo
o
o
ooo
o
oo
o
oo
ooo
oo
o
oo
o
o
o
o
ooooooo
o
ooooooooo
oo
o
o
o
o
o
oooo
o
o
o
o
oo
o
o
ooooooooooooo
o
o
o
oo
o
oo
o
o
o
o
o
o
o
oo
ooooooo
oo
ooooo
o
o
oo
o
o
o
o
o
oo
o
ooo
oooo
oo
oooooo
o
oooooo
ooo
o
o
o
o
o
oooo
ooo
o
oooooo
o
oo
o
oo
ooooooo
oo
oo
o
o
o
o
oo
o
oo
o
o
oooo
oooooo
ooooo
ooo
o
oo
oo
oo
o
o
oo
oo
oo
o
ooo
oooo
oo
o
oooo
o
oo
o
o
oo
oo
o
ooo
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
ooooooooo
o
o
oo
o
o
o
o
oo
o
o
o
o
o
oo
oo
oooo
o
o
oo
o
oooooooooo
o
oo
oo
o
ooo
o
o
o
o
o
o
oo
o
ooo
o
o
oo
o
o
o
oooooooo
o
oooooooo
o
ooo
o
o
oo
o
o
o
o
o
oo
o
o
o
o
o
o
oooo
oo
o
ooooooooo
o
o
o
oo
ooo
o
o
oo
o
oo
ooo
o
o
o
ooooooo
o
oo
o
ooo
o
o
o
o
o
ooo
o
o
o
oooo
o
oo
o
o
o
o
ooo
oooooooooo
o
o
oo
o
o
oo
o
o
o
o
oo
o
o
oo
oooo
o
o
oo
o
oo
oooooooo
o
o
o
oooo
o
o
o
ooo
o
o
o
o
o
o
oo
o
o
oo
oooo
ooooo
oo
o
oo
oo
oo
oo
o
o
oo
o
o
o
ooo
o
oooo
o
o
oooo
o
oo
oo
o
o
o
ooo
o
ooo
o
o
o
o
oo
oo
oo
o
o
o
o
o
oo
oo
o
o
o
oo
o
oo
o
o
o
o
o
oo
o
ooo
oo
o
ooooooo
oooo
oooo
oo
o
oo
ooooo
oooooo
o
o
o
o
o
o
o
o
o
o
ooooo
o
oooooo
o
o
oo
o
o
o
o
oo
o
o
oo
ooooo
o
o
o
o
o
o
o
o
o
oo
oo
oo
o
ooooo
o
o
oo
ooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooo
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
ooo
oooooo
oooooooo
ooo
ooooooo
oooo
oooo
oooooooo
ooooooooooo
oo
oooooooooooooooooo
oo
oooooooooooooooo
o
oooo
o
oooooooooooooooooo
oo
ooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooooo
o
o
ooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooo
ooo
oo
oooooo
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooo
ooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooo
o
oooooooooooooooooooooooooooooooo
oooooooooooo
o
ooo
ooooo
oo
oooooooooooooooooooooo
ooooooooooooo
o
ooooooooooooo
oo
o
oo
oo
oooooooo
o
ooo
oo
ooooooooooooo
o
oooooooooooooooooo
ooo
ooooo
oooooooooooooooooo
o
ooooooo
o
oo
oo
o
ooo
oo
oo
ooooooooooo
oo
ooooooooooooooooooooo
oo
ooo
ooooooo
o
oooooooooo
ooo
ooo
oo
o
oo
ooo
oo
ooo
oo
o
oooooooooo
oooooooooooooooooooooooooooooo
oo
ooo
ooooo
ooo
oo
o
oooo
o
ooooooo
o
oo
ooo
oo
ooo
ooooooooooooooooooooo
ooooooooo
ooo
ooooo
oooooooooooooooo
oo
oo
o
oo
o
oooo
o
ooo
oooo
o
oo
o
oooo
o
oo
oooooooo
ooooo
oo
o
oo
oo
o
oo
ooo
oo
ooooooooooo
oo
o
oo
oooooo
oo
o
oo
ooo
oo
o
oo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooo
o
o
oooooooooooooo
o
o
o
ooooooooooooooo
o
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
o
oo
o
ooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooo
oooooooooooooo
o
oooooooooooooo
o
o
o
oo
ooooooooooooooo
ooo
o
ooooooooooooooo
o
o
o
oooo
o
oooo
o
o
oo
oooooooo
o
o
ooooooo
o
oooooooooo
o
oooooooooooo
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooo
o
o
ooooooo
o
oooooooooo
o
oooooooooooo
oo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
ooooooooooooooo
oo
oooooooooo
ooo
ooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oo
ooooooooooo
ooo
ooooo
Cancer
o
o
o
o
o
o
ooooo
oooo
oooooooooo
o
oo
o
oo
o
ooooooo
o
oooo
o
oooooo
o
ooooo
o
oo
ooooo
o
o
oo
o
o
ooo
o
ooooooooo
o
oo
o
ooo
oooooo
o
o
oo
oooo
oo
o
ooooo
o
o
oo
oo
oooo
ooooooo
oo
o
o
o
o
oooooo
o
ooooo
oo
ooo
o
oo
o
oooo
o
o
o
o
o
oo
o
o
oo
o
o
o
oooooooo
oooo
o
oooo
o
ooooooooooooo
o
oo
o
oooooo
o
oooooooo
o
oo
oooooo
oooooooo
o
oooo
o
oooooooooo
ooooo
o
oooooooooooooooooo
o
o
o
oooooooo
oooooo
o
oo
ooooo
o
ooooo
o
ooo
oo
o
o
oo
oo
o
oooooooooo
oo
ooo
o
oooooooooooo
o
oooooooooooo
oo
oo
ooooo
o
oo
oooooooooooooooooooooooooooooooooooo
o
ooooooooo
oooooooooooo
o
ooooooooooooo
o
ooooooooooooooooooooooooo
o
oo
ooooo
o
oo
o
oo
o
oooo
o
oo
o
oo
o
oooo
ooooooooo
o
ooooo
ooooo
o
oooo
oo
ooo
ooooo
ooooooooooooooooooo
o
oooo
o
o
o
oooo
o
oooo
o
ooooo
ooo
oooooooo
o
oo
oo
ooo
ooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooo
o
oo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oo
o
ooooooo
ooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
o
oooo
o
o
oooooooo
o
o
ooooooooo
o
o
o
o
oooo
o
o
o
o
ooo
o
o
ooo
o
o
o
o
o
o
oo
ooo
oo
o
o
ooooooooo
oo
oooooooooo
oooooo
oooo
oo
ooooo
oooooo
ooo
oooo
o
ooo
ooooooooooooooo
oooooooooooooooooo
oo
ooooo
o
ooooooo
oooooo
ooo
ooooooooooooooo
oooo
ooooooo
ooooo
o
oooo
ooooo
oooooo
oooooooooooooooooooooooooooooooooo
ooo
oooooooo
oo
oo
oo
oo
ooo
oo
ooooooooooo
oooooooooooooooooo
oooo
o
oo
ooooooo
oo
oo
oooooooooooooooooooooooooooooooooooo
oooo
o
oo
ooo
oooo
ooooooo
oo
oooooooooooooooooooo
oo
oo
oo
ooo
oooo
ooo
ooooo
oo
oo
ooo
oooooooo
oooooo
o
oo
ooo
oo
ooooooo
oooo
oo
oo
ooooooooo
ooooooo
ooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooo
ooooo
oo
oooooooooooooooooooooooo
ooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooooo
ooooooooooooooooooooooooooooooooooooooo
oo
oo
oo
oo
oooooooooooooooooooooooooooooooo
oo
o
o
o
o
o
ooooooo
o
oo
o
ooooooooooooooooooooooooooooo
ooo
o
oo
oooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooo
oooo
oooooooooooooooo
oo
ooooooooooooooooooooooooooooooooooooooo
oo
oo
oooooooooooooooooooooooooooooooooo
oo
o
o
oooooooooooooooooooooooooooo
oooo
oooo
o
oooooooooooooo
oo
oooooooooooooo
oooo
oo
oo
o
ooooooooooooooooooooooooo
oooooooooooooooo
o
oooooooooooooo
o
oooooooooooooo
o
oooooooooooooooo
o
o
oooooooooo
o
oo
o
ooooooooooooo
oooo
ooooooo
ooooooooooooooooooooooooooo
oo
ooooo
ooo
o
o
o
ooooooooooooo
ooooooooooooooo
ooooo
o
ooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooooooooooooooooooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooo
o
oooooooooooooooooooooooo
oooooooooo
o
ooooooo
oooooooooooo
oooooooooooooooooooooooooooooooooo
ooo
oooo
oo
oo
ooooooooooo
oo
ooooooooooo
oooo
ooooooooooo
oo
ooooooooo
o
oooooooooooooo
ooooooooooo
ooo
oooooo
oo
ooooooooooooooooooooooooooooooooooooo
ooooo
oo
oo
oooooooooooooooooo
o
oooooooooooooo
oo
ooo
oooo
oo
oo
ooo
oooooo
oo
oooooooooooooo
oo
oooooooooooooooo
ooo
ooooooooooooooooooooooooooooooooo
oo
ooooooooooooooooooooooooooooooooooooooooooo
ooooooo
oo
oo
o
oooooooooooooo
ooooooooo
ooooooooo
oo
ooooooooo
oo
oo
ooooooooooo
oo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
ooooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
ooooooooooooooooooo
o
o
o
o
o
o
ooooo
oooo
oooooooooo
o
oo
o
oo
o
ooooooo
o
oo
oo
o
oooooo
ooooo
o
o
oo
ooooo
o
o
oo
o
o
o
oo
o
oooo
ooooo
o
oo
o
oo
o
oo
oooo
o
o
o
o
oo
o
oo
o
o
o
oooo
o
o
o
o
oo
oo
o
oooooooo
oo
o
o
o
o
oooooo
o
ooooo
oo
ooo
ooo
o
ooo
o
oo
o
o
o
o
o
o
ooo
o
o
o
oo
ooo
ooo
oooo
o
o
ooo
o
ooo
o
oooo
o
oooo
o
oo
o
oooooo
o
ooo
o
oooo
o
oo
oooooo
ooo
o
ooo
o
o
oo
oo
o
oooooooooo
o
oooo
o
oooooooooooo
o
oo
ooo
o
o
o
oooooooo
oooo
oo
ooo
ooooo
o
oooo
o
o
ooo
oo
o
o
o
o
oo
o
ooooo
oooo
ooo
ooo
o
o
ooooooooooo
o
oooooooooooo
oo
oo
ooooo
o
oo
oooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooo
o
ooooooooooooo
o
oooooooooooooo
ooooooooooo
o
oo
ooooo
o
oo
o
o
o
o
oo
oo
o
oo
o
o
o
o
oooo
ooooooooo
o
o
oo
oo
oooo
oo
oooo
oo
ooo
oooooooooo
o
oooooooo
ooooo
o
oooo
oo
o
oooo
o
oo
o
o
o
ooooo
o
oooooooooo
o
oo
oo
ooo
oo
ooooooooooooooooooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
ooooo
o
oo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
oo
o
ooooooo
ooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
o
o
oooo
oo
oooooooo
o
o
ooooooooo
oo
o
o
oooo
o
o
o
o
oo
oo
oooo
o
o
o
oo
o
oo
ooo
oo
o
o
oo
oo
ooooo
oooooo
oooooo
oooooo
oooo
oo
ooooo
oooo
ooooooooo
o
ooooo
oooooo
ooooo
oo
ooooooooooooo
oo
ooo
oo
oooo
o
o
oo
ooooo
oo
ooooooo
oooooooo
ooo
oooooo
oo
ooo
oooooo
ooo
ooooo
ooooo
oooooo
ooo
oooooo
ooooooooo
oooo
ooooooo
oo
ooo
oooooo
ooooo
oo
oo
ooooooo
oo
oooo
oo
ooo
oo
oo
oo
oo
oooooooooooo
oo
ooo
ooooooooo
oo
oo
oo
ooo
oo
oo
oo
ooooooooooooooooooooooooooo
ooo
ooooo
oooo
ooooooo
oo
oooo
ooooo
oo
oo
ooooooooo
oo
oo
ooo
oo
ooooo
ooooo
oo
oo
ooooo
ooooooooo
ooo
o
oo
ooo
oo
ooooooooo
oooo
oo
ooooooooooo
ooooo
ooooooo
o
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
ooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oooooooooooooooooooooo
ooooooo
oooooooooooooooooooo
oooo
ooo
oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
ooo
oooooo
o
ooooooooooooooooooooooooooooooo
oooo
oo
o
oooooo
oo
oooooooooooooooooooooooooooooooo
oooo
o
o
o
oooooooo
oo
o
ooooooooooooooooooooooooooooo
oo
o
o
oo
oooooooooooooooooooooooooooooo
o
ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo
oo
oooooooooooooooooooooooooooooooooooo
oooo
oooooooooooooooo
oo
ooooooooooooooooooooooooooooooooooooooo
oo
oo
oooooooooooooooooooooooooooooooooo
oo
o
o
oooooooooooooooooooooooooooo
oo
oo
oooo
o
oooooooo
oooooo
oo
oo
oo
oooooooooo
oooo
oo
oo
o
Stromal
Robert Tibshirani, Stanford University selective inference
44
Peak # m/z value Epi Canc Strom1 101.52 107.5 0.093 110.5 0.44 0.564 123.55 132.5 0.066 134.5 0.10 0.137 135.5 0.13 0.198 137.5 -0.01 0.059 145.5 -0.71
10 146.5 -0.4111 151.5 -0.15 0.35 -0.2512 157.5 -0.07 -0.1713 170.514 171.515 174.5 0.0516 175.5 0.14 0.5417 179.518 188.519 212.520 214.5 -014 -0.1321 215.5 -1.17 -1.0722 222.5 0.2923 224.524 225.525 231.526 244.5 -0.0127 247.5 -0.31 -0.4128 258.5 0.2129 270.5 -0.14 -0.2430 278.5 0.3231 279.5 0.3932 280.533 285.534 289.535 293.5 0.2536 297.537 299.538 301.5 -0.45 0.21 0.1139 312.5 0.10 -0.44 -0.2440 322.541 324.5 0.0642 325.5 0.03 -0.00 -0.0043 333.5 0.82 0.5544 340.5 -0.02 -0.0745 341.546 347.5 0.0147 349.548 353.5 0.0549 355.5 0.02
Robert Tibshirani, Stanford University selective inference
45
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
patient= 105 at m/z= 788.6
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
true
●●●●
●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●
●●●●●●●●●●●●
●●●●●●●●●●●●
●●●●●●●●●●●
●●●●●●●●●●
●●●●●●●●●
●●●●●●●●
●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●
●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
0.0 0.2 0.4 0.6 0.8 1.0
0.0
0.2
0.4
0.6
0.8
1.0
predicted
●●●●
●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●
●●●●●●●●●●●●
●●●●●●●●●●●●
●●●●●●●●●●●
●●●●●●●●●●
●●●●●●●●●
●●●●●●●●
●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●
●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●
epithelial
cancer
stromal
Robert Tibshirani, Stanford University selective inference
46
Other approaches
• Support vector machines: classification error was a little higher than lasso;doesn’t give a sparse solution easily
• Deep learning (with help from a student of Geoff Hinton): reported that itdidn’t work any better than lasso; thought that non-linearities were likelyunimportant for this problem, and sparsity was more important
Robert Tibshirani, Stanford University selective inference
47
A challenge
• “Abstentions”: sometimes a classifier should not make a prediction; instead itshould say “‘I don’t know” For example, when the query feature vector is faraway from the training set features.
• This problem happened in some tests of our system• Can’t rely on the fact that the largest posterior probability will be close to
1/K (K= number of classes):
−2 −1 0 1 2 3 4 5
−1
01
23
45
X1
X2
●●
●
●
●
●●
●
●
●
●
●
●
●
●●
●
●●
●●
●
●
●
●
●
●
●●
●
●
●●
●
●●
●●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
●●
●
●
●●
●
●
● ●
●
●
●
●
●
●
●●
●
● ●
●
●
●
●
●
●● ●
●●
●
●
●
●●●
●
●
●
●
●
●●
●
●
●
●
X
Robert Tibshirani, Stanford University selective inference
48
Some resources
available online for free
Springer Series in Statistics
Trevor HastieRobert TibshiraniJerome Friedman
Springer Series in Statistics
The Elements ofStatistical LearningData Mining, Inference, and Prediction
The Elements of Statistical Learning
During the past decade there has been an explosion in computation and information tech-nology. With it have come vast amounts of data in a variety of fields such as medicine, biolo-gy, finance, and marketing. The challenge of understanding these data has led to the devel-opment of new tools in the field of statistics, and spawned new areas such as data mining,machine learning, and bioinformatics. Many of these tools have common underpinnings butare often expressed with different terminology. This book describes the important ideas inthese areas in a common conceptual framework. While the approach is statistical, theemphasis is on concepts rather than mathematics. Many examples are given, with a liberaluse of color graphics. It should be a valuable resource for statisticians and anyone interestedin data mining in science or industry. The book’s coverage is broad, from supervised learning(prediction) to unsupervised learning. The many topics include neural networks, supportvector machines, classification trees and boosting—the first comprehensive treatment of thistopic in any book.
This major new edition features many topics not covered in the original, including graphicalmodels, random forests, ensemble methods, least angle regression & path algorithms for thelasso, non-negative matrix factorization, and spectral clustering. There is also a chapter onmethods for “wide” data (p bigger than n), including multiple testing and false discovery rates.
Trevor Hastie, Robert Tibshirani, and Jerome Friedman are professors of statistics atStanford University. They are prominent researchers in this area: Hastie and Tibshiranideveloped generalized additive models and wrote a popular book of that title. Hastie co-developed much of the statistical modeling software and environment in R/S-PLUS andinvented principal curves and surfaces. Tibshirani proposed the lasso and is co-author of thevery successful An Introduction to the Bootstrap. Friedman is the co-inventor of many data-mining tools including CART, MARS, projection pursuit and gradient boosting.
› springer.com
S T A T I S T I C S
----
Trevor Hastie • Robert Tibshirani • Jerome FriedmanThe Elements of Statictical Learning
Hastie • Tibshirani • Friedman
Second Edition
1
James · W
itten · Hastie · Tibshirani
Springer Texts in Statistics
Gareth James · Daniela Witten · Trevor Hastie · Robert Tibshirani
An Introduction to Statistical Learning with Applications in R
Springer Texts in Statistics
An Introduction to Statistical Learning
Gareth JamesDaniela WittenTrevor HastieRobert Tibshirani
Statistics
An Introduction to Statistical Learning
with Applications in R
An Introduction to Statistical Learning provides an accessible overview of the fi eld
of statistical learning, an essential toolset for making sense of the vast and complex
data sets that have emerged in fi elds ranging from biology to fi nance to marketing to
astrophysics in the past twenty years. Th is book presents some of the most important
modeling and prediction techniques, along with relevant applications. Topics include
linear regression, classifi cation, resampling methods, shrinkage approaches, tree-based
methods, support vector machines, clustering, and more. Color graphics and real-world
examples are used to illustrate the methods presented. Since the goal of this textbook
is to facilitate the use of these statistical learning techniques by practitioners in sci-
ence, industry, and other fi elds, each chapter contains a tutorial on implementing the
analyses and methods presented in R, an extremely popular open source statistical
soft ware platform.
Two of the authors co-wrote Th e Elements of Statistical Learning (Hastie, Tibshirani
and Friedman, 2nd edition 2009), a popular reference book for statistics and machine
learning researchers. An Introduction to Statistical Learning covers many of the same
topics, but at a level accessible to a much broader audience. Th is book is targeted at
statisticians and non-statisticians alike who wish to use cutting-edge statistical learn-
ing techniques to analyze their data. Th e text assumes only a previous course in linear
regression and no knowledge of matrix algebra.
Gareth James is a professor of statistics at University of Southern California. He has
published an extensive body of methodological work in the domain of statistical learn-
ing with particular emphasis on high-dimensional and functional data. Th e conceptual
framework for this book grew out of his MBA elective courses in this area.
Daniela Witten is an assistant professor of biostatistics at University of Washington. Her
research focuses largely on high-dimensional statistical machine learning. She has
contributed to the translation of statistical learning techniques to the fi eld of genomics,
through collaborations and as a member of the Institute of Medicine committee that
led to the report Evolution of Translational Omics.
Trevor Hastie and Robert Tibshirani are professors of statistics at Stanford University, and
are co-authors of the successful textbook Elements of Statistical Learning. Hastie and
Tibshirani developed generalized additive models and wrote a popular book of that
title. Hastie co-developed much of the statistical modeling soft ware and environment
in R/S-PLUS and invented principal curves and surfaces. Tibshirani proposed the lasso
and is co-author of the very successful An Introduction to the Bootstrap.
9 781461 471370
ISBN 978-1-4614-7137-0
STS
Courses: google → tibshirani → teaching
• MOOC (free Stanford Online course) on Statistical Learning - Jan 2016
• 2-day in-person course with Trevor Hastie- this October in NYC
Robert Tibshirani, Stanford University selective inference