univhastie/talks/gibbsgam.pdf · 0 100 200 300-10 0 10 20 • • • • • • • • ... univ...
TRANSCRIPT
Stanford University June 2, 1998 Bayesian Back�tting: 1'
&
$
%
Bayesian Back�ttingTrevor HastieStanford UniversityRob TibshiraniUniversity of Toronto
Email: [email protected]: stat.stanford.edu: pub/hastieWWW: http://stat.stanford.edu/~trevorThese transparencies are available via ftp:ftp://stat.stanford.edu/pub/hastie/bayes.ps
Stanford University June 2, 1998 Bayesian Back�tting: 2'
&
$
%
In a Nutshelly = f1 + f2 + : : :+ fp + "� Back�tting cycles around and replaces eachcurrent function estimate fj byfj Sj(y �Pk 6=j fk), where Sj is asmoothing operator;� Gibbs sampling cycles around and obtains anew realization of fj viafj Sj(y �Pk 6=j fk) + �S1=2j z, where z is avector of N(0; 1) variates and � is thestandard deviation.
Stanford University June 2, 1998 Bayesian Back�tting: 3'
&
$
%
Example: Air Pollution•
•
••
•• •
• •
••
•
•
••
••
•••
•••
• ••
••
••
•
•
•
••
••
••
• •••
•
•
•••
•••
•
•
••
••••••• •••
•• •
•
•
•
•
•
•
••
•
• ••
•
••
• ••
••••
•••••••••
•
•••
•
•••
••• •
••
•
•
••
•
•••
•
••
•
•
•
•
••
•
•
• •
•
•
••
•
•
••
••
•• •
•
•
•
•
•
•
•
•
••
•••
••
••
•
•
•
••
••
•••
•••
•
•
•
• ••
•••
•••
••
••
•
••• •
•
•
•
• •• ••
•
••••
••••
••
•
•
••
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•• •
••
•
••••
••
••
•
•
••
•
•
•
••
•
•
••
•
• ••
•
•••
•
•••
•
•
•
•
• •
•••••
•
•
•
•
•
••
•
••
••
•
•
••
••
•••
•
•
•
•••••
••• ••••
•
•
•
•
• •
Inversion Base Height
0 1000 3000 5000
-10
-50
510
••
•••
•
••
••
•
•
•
• ••
•
•• • •
••
••
•
• •
•
•
•
•
••• •••
•• •••
••
••• •
•••
•
•
••
••
• • •• ••
••• •
•
•
•
••
•
••
••
•
•
•••
•••
•• ••••• •••
•• ••
•••
•
•
••• •
••
••
•
•
• •
•
•• •
•
••
•
•
•
•
••
•
•
••
•
•
••
••
••
••
•
••••
•
•
•
••
•
••
••
•
••
••
•
•
•
••
••
•••
•••
•
•
•
•••
•••
•
••
••
••
•
•• •••
•
•
• •••
••
•
• •••
••
••
••
•
•
•
••
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
•• •
••
•
••
•••
•
••
••
•
•
•
•
•
•
•
•
•
••
•
•••
••
• •
••••
•
•
•
•
••
•• •
•
•
•
• •
••
•••
••
•••
•
• ••
•
•• •
•
•
•• • •
••
••
• •••••
•
••
••
Daggot Pressure Gradient
-50 0 50 100-1
5-1
0-5
05
10
• •
••
• •
•••
••• ••
• • ••••
••
• ••• •••
•
••
••
•
••
•• •
• ••
• ••• •
•••
•
••
•••
•• • ••• ••
••
•
•
•
•
••
•• •
•••••
•• •
•••
• • ••
••
••
••
•••
• •
•
•
•
• •
•••
••
••
•
••
•
•
•••
•
•
••
•
•
•••
•
••
•
•
••
• •
••
•••••
•••
•
•
•
••
••
••
••
• ••
•
•
•
••
•••• •
•
••
•
•
••••
•• ••
••
••
••
••
•••• •
••
•
•••
••
••
••
• •••
• ••
•
••• •
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
••
••••
••
••
•
••
•
• •
•
•••
•
•
•••
•• •
•••
•••
• •
•
•
••
•• ••
• •
•••
••• ••
•
•
• •• •• • •
••
• •••
•••
••
••••
••• • •
• ••
••
Inversion Base Temperature
0 100 200 300
-10
010
20
••
••
•
••
••
•• •
•
••
••
••
•
••
•
••
••
•
••
• ••
••
••
••
••
••
•••••
••
•
•
•
•
•
• ••
•••
• •••
•••
•
•
•
•
•
•
•
•
•
• ••
•
•
•
•••
•••
••
•• • ••• •
•
•••
•
•
••
••••
•
••
•
•
••
•
•
•••
••
•
•
•
•
••
•
•
•
•
•
•
••
•
•••
••
••••
•
•
•
•
•
•
•
••
••
•
••
••
•
•
•
••
••
• ••
•
• •
•
•
••••
•••
•
••
• •
••
•
•• •
•
•
•
•
••
•••
•
•• •
•
••••
••
•
•
•
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
• •
• •
•
• •••
••
••
• •
••
••
•
••
•
•
••
•
•••
•
••
••
•••
•
•
•
••
•• •
•
•
•
•
••
•
•
••
•
••
••
•
•
••
••
••
••
••
••••
•
• ••••
• •
•
•
•
••
•
Visibility (miles)
0 100 200 300
-10
-50
510
Four environmental variables in a air pollutionstudy.
Stanford University June 2, 1998 Bayesian Back�tting: 4'
&
$
%
Outline� Smoothing splines - a Bayesian version.� Additive Models and back�tting� Bayesian back�tting� Example: Bone mineral density� Priors, variance components and DF� GAMs and Metropolis-Hastings
Stanford University June 2, 1998 Bayesian Back�tting: 5'
&
$
%
Smoothing Splinesyi = f(xi) + "i; "i � N(0; �2)
R(f; y) =Xi (yi � f(xi))2 + � Z [f 00(x)]2dx� Solution is natural cubic spline, with knots atunique values of x� Solutions vary between linear �ts (� =1)and interpolating �ts (� = 0)� Finite dimensional solution minimizes(y � f)T (y � f) + �fTKf ;with solutionf = (I + �K)�1y= S(�)y
Stanford University June 2, 1998 Bayesian Back�tting: 6'
&
$
%
Bayesian Smoothing Splines� y = f + "� f � N(0; �2K�) where K� is partiallyimproper (linear functions have in�nitevariances)� " � N(0; �2I)� (y; f) � (y � f)T (y � f)=2�2 + fTKf=2�2� f jy � N(S(�)y; S(�)�2), where � = �2=�2� f = S(�)y + �S(�) 12 z where z is an N -vectorof N(0; 1) variates.
Stanford University June 2, 1998 Bayesian Back�tting: 7'
&
$
%
Picture the Priorf � N(0; �2K�), or equivalently, f = N�, and� � N(0; �2D)
-0.2
-0.1
0.0
0.1
0.2
number
0 10 20 30 40 50
number number
0 10 20 30 40 50
number
number number
0 10 20 30 40 50
number
-0.2
-0.1
0.0
0.1
0.2
number
0 10 20 30 40 50
Eigenfunctions of the Prior Covariance
eige
nfun
ctio
n
Number
Prio
r V
aria
nce
0 10 20 30 40 50
10^-
310
^010
^210
^4
Stanford University June 2, 1998 Bayesian Back�tting: 8'
&
$
%
Back�tting & Additive Modelsy = f1(x1) + f2(x2) + � � �+ fp(xp) + "Estimating Equationsf1(x1) = S1(y � � � f2(x2)� � � � � fp(xp))f2(x2) = S2(y � f1(x1)� � � � � � � fp(xp))...fp(xp) = Sp(y � f1(x1)� f2(x2)� � � � � �)where Sj are:� univariate regression smoothers such assmoothing splines, lowess, kernel� linear regression operators yielding polynomial�ts, piecewise polynomials, . . .� more complicated operators: surface smoothersfor 2nd order interactions, and random e�ectsshrinkage operators.We use Gauss-Seidel or \back�tting" to solve theseestimating equations.
Stanford University June 2, 1998 Bayesian Back�tting: 9'
&
$
%
Justi�cation?Example: penalized least squaresMinimize nXi=1�yi� pXj=1 fj(xij)�2+ pXj=1 �j Z (f 00j (t))2dt
mf1 = S1(�1)(y �Xj 6=1 fj)f2 = S2(�2)(y �Xj 6=2 fj)...fp = Sp(�p)(y �Xj 6=p fj)where Sj(�j) denotes a smoothing spline usingvariable xj and penalty coe�cient �j . Eachsmoothing spline �t is O(N) computations, henceso is entire �t.
Stanford University June 2, 1998 Bayesian Back�tting: 10'
&
$
%
Bayesian Additive Splines� fj � N(0; �2jK�j )� fj jy � N(Gjy; Cj�2) where Gj and Cj areugly and O(N3) computations. You don'tbelieve me? See Wahba (1990).� Back�tting computes f̂j = Gjy e�ciently inO(N) computations, but not Cj .� Current GAM software in Splus approximatesCj by C0j + S�j , where C0j is the exactposterior covariance operator for the linearpart of fj , but S�j is the exact posteriorcovariance operator for the nonlinear part ofa univariate spline problem.
Stanford University June 2, 1998 Bayesian Back�tting: 11'
&
$
%
Gibbs sampling saves the day!L(fj jy; fk; k 6= j) = L(fj jy �Xk 6=j fk; ffk; k 6= jg)= N(Sj(y �Xk 6=j fk); Sj�2)By replacing the back�tting operator� fj Sj(y �Pk 6=j fk)by the univariate Bayesian spline posteriorsampler� fj Sj(y �Pk 6=j fk) + �S1=2j zwe generate a Markov chain, whose stationarydistribution coincides with (f1; f2; : : : ; fpjy)Carter and Kohn (1994, Biometrika), and Kohn andWong (1998, manuscript) propose a similar algorithmusing a state space approach.
Stanford University June 2, 1998 Bayesian Back�tting: 12'
&
$
%
Other operatorsWe can use the Bayesian Back�tting algorithmwith operators other than smoothing splines Sj .� General nonparametric smoother: Sj de�nesthe smoothing operation, with implicit priorfj � N(0; (S�j � I)��2): The operator S1=2j isfound by a simple Taylor series expansion.� Fixed linear e�ects: Sj = Xj(XTj Xj)�1XTj .This results from the model fj = Xj�j with�j � N(0; �2D) and D diagonal, and � !1.Then S1=2j = Sj and is easily applied. For theintercept term, for example, we simply obtain� � N(ave[y �Pp1 fj ]; �2=n).� Random linear e�ects:Sj = Xj(XTj Xj + �2��1)�1XTj . This resultsfrom fj = XTj �j with �j � N(0;�).
Stanford University June 2, 1998 Bayesian Back�tting: 13'
&
$
%
Example: Growth Curvesyij = f(tij) + xTi �E + Vi + "ij
Age
Spi
nal B
one
Min
eral
Den
sity
10 15 20 25
0.6
0.8
1.0
1.2
1.4
••
•
•
••
••
• •
••
• •
• •
• • • ••• • •
•
•
• •• •• •
• • •• ••
• •
•
••
• ••
•
• •
• • •
• ••
•
• •
• • • •
••
• •
•
•
••
• • ••
•• • •
• • •• • • •
••
••
•••
• • •
••
•
•
•• • •
• •
• •
• • • •
• • • ••
••
•
•
••
• •• • ••
• •
••
••• • • •
• • • •
••
••
••
•
•
••
• • •• • •
• • • •
••
• •
• • • •
• • • •
• ••
•
• • ••
• • •
• ••
•
• • ••
• •
• •• • •••
•• • •
• • • •• •
• •
• ••
• •• • •
•• •
• •
• • • •
• •
• ••
• • • • •
•• • •• • • •
• •• •
•
••
•• •• • • •• •• • •
• • • ••
• • •
•
• • •• • •
•
• •• •
••
•• • •
••
•
•
•
••
•
••
•
•
•
•• •
•
•• •
•• •
•
•
• • •
••
•
•• • • •
•
•
• •
• • ••
•• • •
••
••
•
•
•
•• • •
• • •• •
••• •
• • •
• ••
•
•••• •
• ••
•
••
•
•• • • •
•• • •
•
••
••
•
••
•
•
••
• ••
•
• • • •
• • ••
• •
• • ••
••
• • •
••
•
••
•
• • • • •
•
•
•
•
• •
• •• •
•
• •• •• •
•• •
••
•
• •
••
•
•
• •• •
• •
Age
Spi
nal B
one
Min
eral
Den
sity
10 15 20 25
-0.3
-0.2
-0.1
0.0
0.1
-0.0
50.
00.
05
Asian Black Hispanic White
Eth
nic
Gro
up
Age
Ran
dom
Indi
vidu
al L
evel
Effe
ct
10 15 20 25
-0.2
0.0
0.2
0.4
-
-
-
-
-
-
-
---
--
-
--
-
-
- -
- -
-
--
-- ---
-
-
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
-
--
--
--
--
---
- -
-
-
- -
-
-
-
-
--
-
- ---
-
-
-
- -
-
- --
-
-
-
--
-
-
--
-
-
--
-
-
-
--
--
-
--
-
-
-
-
--
-
-
-
-
-
-
-
-
-
-
-
-
--
-
- ---
-
-
-
--
--
-
--
-
-
-
-- -
-
-
-
-
-
-
---
---
---
--
-
-
- -
--
-
- --
---- -
-
--
-
-
-
-
-
--
--
-
-
--
--
-
-
-
--
--
--
---
-
- -
-
-- -
-
-
-
-
---
- --
-
-
-
-
- -
-
---
-
-
-
--
-
-
-- -
-
- --
-
-
--
-
-
-
--
-
-
-
-
--
-
-
-
- -
-
-
-
-
-
-
-
-
-
-
----
-
-
-
--
-
-
-
--
-
-
-
-
- --
-
-
--
-
-
- -
---
---
--
-
-
--
- -
-
---
- --- --
-
-
-
--
-
-
--
-- -
-
-
--
-
-
-- --
---
---- -
--
-
-
--
-
-
-
-
--
-
- --
-
-
--
--
-- --
-
-
-
---
-
-- -
-
- --
-
-
--
-
-
-
- --
-
-
-
--
-
-
-
--
-
-
-
-
-
-
-
--
-
---
-
-
-
-
-
-
- --
--
-
-
-
--
--
-
-
-
-
-
-
--
--- -
--
--
-
-
--
- -
-
---
----
-
-
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
-
---
-
--
--
-- -
--
-
--
-
-
-
-
-
-
-
-
--
--
-
-
-
- -
-
---
-
-
---
-
-
---
-
- --
-
-
--
-
-
-
- --
-
-
-
- --
-
-
--
-
-
-
-
-
-
---
-
----
--
-
- -
- -
-
-
-
-
-
-
---
-
-
-
-
-
-
---
- --
--
-
--
-
-
- -
- --
- --
- --
- --
-
-
-
-
-
-
-
--
--
-
-
-
-
-
-
-
-
--
-
-
--
--
--
-
- -
-
--
-
-
-
-
-
--
-
- ---
-
-
-
- -
-- -
-
-
-
----
-
--
--
- --
-
-
--
--
-
- --
-
-
-
- --
-
-
--
-
-
-
-
-
-
---
-
---
-
-
-
-
--
-
-
-- -
-
-
-
-
--
-
-
-
-
-
-
-
-
-
-
--
---
--
-
-
--
---
- --
---- -
-
-
-
-
-
-
-
-
---
- -
-
--
-
-
-
--
--
-
-
-
----
-- -
-
-
- -
-
-
-
-
---
-
- --
-
--
--
-
---
-
-
---
-
-
---
-
- --
-
-
- -
--
-- -
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
---
-
---
-
--
-
-
-
--
-
-
-
-
-
-
-- -
-
-
-
-
-
-
-
-
-
---
--
-
--
-
-
--
- --
- --
- ----
-
-
-
-
--
-
-
--
-- -
-
--
--
-
-
--
-
-
-
-
---- -
- -
-
--
-
-
-
-
-
--
-
-- -
-
-
-
-
--
--
--
-
-
-
-
-
-
-
-- -
-- --
-
-
-
--
-
-- -
-
-
-
-
- --
-
-
- -
-
-
-
-
-
-
--
-
-
-
---
-
-
-
-
-
- --
- -
-
-
-
--
--
-
-
-
-
-
-
--
--
-
---
--
-
-
- -
---
---
- --
--
-
-
-
-
-
-
-
-
--
---
-
--
--
-
-
--
-
-
--
---- -
---
-
- -
-
-
-
--
-
-
-- -
-
-
-
-
- -- - --
-
-
-
--
-
-
-- -
-- -
-
-
-
--
--
-- -
-
-
-
-
--
-
-
-
-
-
-
-
-
-
-
-
--
-
-
---
-
-
-
-
-
-
--
-
--
-
-
-
--
--
-
-
--
-
-
-
-
-
--
---
--
-
-
- -
- -
-
- --
- --
-
--
-
-
-
-
-
-
-
---- -
-
--
-
-
-
-
-
-
-
-
--
--
-- -
- --
-
- -
-
-
-
-
--
-
- - -
-
-
-
-
--
-
- ---
-
-
---
-
---
-- -
-
-
-
--
-
-
-
--
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
---
-
-
--
-
--
-
--
--
--
-
-
-
-
-
--
-
-
-
-
-
-
--
-
-
-
-
---
--
-
-
- -
- --
- --
--
--
--
-
--
-
-
-
-
--
---
-
--
-
-
-
--
-
-
-
-
-
---
--
--
-
-
--
-
--
-
---
- - -
-
-
-
-
- -
-
- ---
-
-
--
-
-
---
-
- ---
-
--
-
-
-
--
-
-
-
-
- --
-
-
-
-
-
-
-
-
-
-
---
-
-
---
-
--
-
-
--
-
-
-
-
-
-
-
- -
-
-
-
-
-
-
---
--- ---
--
-
-
-
-
- -
-
- --
----
--
-
-
-
-
-
-
-
--
-- -
-
--
--
-
-- --
-
--
---- -
- --
-- -
-
-
-
-
--
-
--
--
-
-
-
--
- ---
-
-
-
---
-
---
-- -
-
-
-
-
--
-
-
- --
-
-
-
- --
-
-
--
-
-
-
-
-
-
---
-
----
-
-
-
--
--
-
--
-
-
-
-- --
-
-
-
-
-
---
---
-
--
--
-
-
--
- -
-
- --
- ---
--
-
-
-
--
-
-
--
-- -
-
--
-
-
-
--
--
-
--
---
- --
--
-
--
-
-
-
--
-
-
- - --
-
-
-
--
--
---
-
-
---
-
--
-
-
---
-
-
---
-
-
--
-
-
-
-
- --
-
-
- -
-
-
-
-
-
-
-
--
-
--
--
--
-
--
--
-- -
-
-
-
-- -
-
-
-
-
-
-
--
-
---
-
-
-
--
-
-
--
--
-
- ---
--- --
-
-
-
--
-
-
--
---
-
-
-
--
-
--
--
-
--
---
--
- -
-
-
- -
-
-
-
-
-
-
-
-- -
-
-
-
-
- -
-
---
-
-
-
---
-
---
-
- --
-
-
--
--
-
--
-
-
-
-
--
-
-
-- -
-
-
-
-
-
-
---
-
--
--
-
-
-
-
-
- -
---
-
-
-
--
--
-
-
--
-
-
--
-
---
-
-
--
-
-
- -
- -
-
- --
--
-- -
-
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
--
-
-
-
--
---- -
- -
-
-
--
-
-
-
-
--
-
--
-
-
-
-
-- -
--
--
-
-
- --
-
-
---
-
--
-
-
-
-
--
-
-
--
-
-
-
-
- --
--
--
-
-
-
-
-
-
-
--
-
-
---
-
-
-
--
- --
--
-
-
-
-- -
-
-
-
-
--
---
--- ---
--
-
-
- -
---
--
-
--
---
-
-
-
-
-
-
-
-
--
--
-
-
-
-
-
-
-
-
-
--
--
-
-- -- -
- -
-
-
--
-
-
-
-
--
-
- - -
-
-
-
-
- -
-
-
--
-
-
-
--
-
-
--
--
- --
-
-
--
-
-
-
--
-
-
-
-
- --
-
-
-
-
-
-
-
-
-
-
--
-
-
-
--
-
--
-
- -
-
-
---
-
-
-
--
--
-
--
-
-
---
- --
---
--
-
-
- -
--
-
- -- - -
---
-
-
-
-
-
-
-
-
--
-- -
-
-
--
-
-
-
-
-
-
-
--
-- -- -
- -
-
-
--
-
-
-
-
--
-
- - --
-
-
-
--
-
--
-
-
-
----
-
---
-
- --
-
-
---
-
-
-
-
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
-
--
-
---
-
-
-
-
--
--
-
--
-
-
-
-- -
-
-
-
-
-
-
---
- ---
--
--
-
-
--
- -
-
--
-
--
-- -
-
-
-
-
-
-
-
-
--
--
-
-
--
-
-
-
-
-
-
-
-
--
--
-- -
- --
-
--
-
-
-
-
-
-
-
- - -
-
-
--
--
-
---
-
-
-
---
-
---
-- --
-
-
--
-
-
-
--
-
-
-
-
--
-
-
-
- -
-
-
-
-
-
-
--
-
-
----
-
-
-
-
-
-
-
-
--
-
-
-
--
--
-
-
--
-
---
- ---
--
--
-
-
- -
--
-
---
- --- --
-
-
-
-
-
-
-
--
--
-
-
--
--
-
-
-
--
-
--
---- -
---
-
--
-
-
-
-
--
-
--
-
-
-
-
-
--
-
---
-
-
-
-
-
-
-
--
-
--
--
-
-
-
--
-
-
--
-
-
-
-
- --
-
-
- -
-
-
-
-
-
-
--
-
-
----
--
-
--
--
-
--
-
-
-
--
-
-
-
-
-
-
-
---
-
--
--
-
--
-
-
- -
--
-
- --
- --
--
-
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
-
---
-
--
-- -- --
--
-
- -
-
-
-
-
-
-
-
- - -
-
-
-
-
- -
--
---
-
-
---
-
---
-- --
-
-
-
--
-
-
--
-
-
-
-
- --
-
-
--
-
---
-
-
-
--
-
-
---
-
-
-
-
-
- -
-- -
-
-
-
-
- --
-
-
-
-
-
--
-
- ---
--
--
-
-
- -
- -
-
- ---
--
--
-
-
-
-
-
-
-
-
--
-- -
-
--
--
-
--
--
-
--
---
- -- -
-
-
- -
-
-
-
-
--
-
-- -
-
-
-
-
- -
-
---
-
-
-
--
-
-
-- -
-
- --
-
-
--
-
-
-
--
-
-
-
-
- --
-
-
- -
-
-
-
-
-
-
-
--
-
---
-
-
-
-
- -
--
--
-
-
-
-
-- -
-
-
-
-
-
-
---
---
---
--
-
-
--
--
-
- --
--
--
--
-
-
-
-
-
-
-
--
---
-
-
-
-
-
-
-
---
-
--
---
--
- --
-
- -
-
-
-
-
--
-
-- -
-
-
--
- -
-
- --
-
-
-
--
-
-
---
-- -
--
-
-
---
-
- --
-
-
-
- --
-
-
--
-
-
-
-
-
-
---
-
---
-
-
-
-
-
-
--
--
-
-
-
-
--
--
-
--
-
-
-- -
--- -
-
-
--
-
-
--
- --
- --
- --- --
--
-
-
-
-
-
--
---
-
--
-
-
-
--
--
-
--
-- ---
- -
-
-
--
-
-
-
-
---
-- -
-
-
--
--
-
- --
-
-
-
---
-
--
--
- --
-
-
--
-
-
-
--
-
-
-
-
--
-
-
-
--
-
-
-
-
-
-
--
-
-
-
---
-
-
-
--
- -
-
--
-
-
-
-- --
-
-
-
-
-
---
--
----
--
-
-
- -
- -
-
- --
--
-- -
-
-
-
-
-
-
-
-
--
-- -
-
---
-
-
-
--
-
-
--
---- -
- -
-
-
- -
-
-
-
-
--
-
- ---
-
-
-
--
-- -
-
-
-
-
--
-
-
---
-- --
-
-
- -
-
-
-
- --
-
-
-- --
-
-
-
-
-
-
-
-
-
-
--
-
-
----
-
-
-
-
-
--
-
- -
-
-
-
-- -
-
-
-
-
-
-
- - -
-
-- -
---
-
-
-
- -
--
-
---
---
- --
-
-
-
-
-
-
-
--
---
-
-
-- -
-
-
--
-
--
-
---- -
- --
-
-
-
-
-
-
-
--
-
-- -
-
-
-
-
-
-
-
---
-
-
-
--
-
-
---
-- --
-
-
--
-
-
-
--
-
-
-
-
--
-
-
-
--
-
---
-
-
--
-
-
-
---
-
-
-
--
- -
-
-
-
-
-
-
--
--
-
-
-
-
-
-
-
-
--
- ---
--
-
-
- -
- -
-
- --
----
--
-
-
-
-
-
-
-
--
---
-
--
--
-
--
-
--
-
-
--
-- -- -
-
-
- -
-
-
-
-
--
-
-- -
-
-
-
-
- -
-
---
-
-
---
-
-
-- --
- --
-
-
-
--
-
-
-
-
-
-
-
-
---
-
-
- -
-
--
-
-
-
--
-
-
-
---
-
-
-
--
--
-- -
-
-
-
-
-
--
-
-
-
-
-
--
-
-
--
--
-
--
-
-
--
--
-
- --
--
-- --
-
-
-
--
-
-
--
-- -
-
--
-
-
-
-
-
--
-
-
--- -
- --
--
-
--
-
-
-
-
--
-
- - -
-
-
-
-
- -
- ---
-
-
-
--
-
-
-- -
-- -
-
-
-
-
--
-
-
-
-
-
-
-
-
- --
-
-
- -
-
-
-
-
-
-
--
-
-
---
-
-
-
-
-
-
- --
--
-
-
-
-
-
--
-
-
-
-
-
---
---
---
--
-
-
- -
- -
-
---
- --
--
-
-
-
-
-
-
-
-
--
---
-
--
-
-
-
--
-
-
--
-
----
-- -
-
-
-
-
-
-
-
-
-
-
-
--
--
-
-
-
- -
-
-
--
-
-
---
-
-
---
-
- --
-
-
-
--
-
-
-
-
-
-
-
-
---
-
-
--
-
--
-
-
-
-
--
-
----
-
-
-
--
--
--
-
-
-
-
-- -
-
-
-
-
-
-
-
--
---
---
--
-
-
- -
---
---
- --
- --
-
-
-
-
-
-
-
--
-- -
-
--
--
-
--
--
---
---
- -- -
-
--
-
-
--
-
--
-
- --
-
-
-
-
- -
-
- --
-
-
---
-
-
---
-- --
-
-
-
---
-
- --
-
-
-
- --
--
- -
-
--
-
-
-
-
-
-
-
---
-
-
-
-
--
--
--
-
-
-
-
-- --
-
--
-
-
--
-
---
--
-
--
-
-
- -
- -
-
- --
--
-- --
-
-
-
-
-
-
-
--
-- -
-
--
--
-
---
--
--
--
-- -
- --
-
- -
-
-
-
--
--
- - --
-
-
-
--
-
- --
-
-
---
-
-
-- -
-- --
-
-
--
-
-
-
-
-
-
-
-
-
- --
-
-
--
-
---
-
-
--
-
-
--
--
-
-
-
--
-
-
-
-
-
-
-
-
-- -
-
-
--
-
-
-
-
-
-
--
--
-
--
-
-
- -
- -
-
- --
- --- --
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
--
-
-
-
--
-- --
-
- --
-- -
-
--
-
--
-
- --
-
-
-
-
--
-
- --
-
-
--
--
-
---
-
--
-
-
-
--
-
-
-
--
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
-
--
-
-
--
-
-
-
-
--
--
--
-
-
-
-
---
-
-
-
-
-
-
-
--
---
---
--
-
-
- -
- -
-
- --
--
---
-
-
-
-
-
-
-
-
---- -
-
--
--
-
--
-
-
-
--
----
--
--
-
--
-
-
-
-
--
-
- - -
-
-
-
-
- -
-- --
-
-
-
---
-
--
-
-- --
-
-
-
--
-
-
--
-
-
-
-
---
-
-
--
-
-
-
-
-
-
-
--
-
----
--
-
-
-
--
-
--
-
-
-
-- --
-
-
-
-
-
-
-
-
-
-
--
--
--
-
-
- -
--
-
- --
--
--
--
-
-
-
--
-
-
--
---
-
-
-
-
-
-
-
-
-
--
-
-
----
--
--
-
-
-
-
-
-
--
-
-
- --
-
-
--
- -
-
---
-
-
---
-
-
---
-- --
-
-
-
--
-
--
--
-
-
-
-
--
-
-
--
-
-
-
-
-
-
-
--
-
- --
-
-
-
-
-
-
--
-
- -
-
-
-
-- -
-
-
-
-
-
-
-
--
--
-
---
--
-
-
- -
--
-
- --
--
-- --
-
-
-
-
-
-
-
--
-- -
-
--
--
-
-
-
-
--
--
--
---
- --
-- -
-
-
-
---
-
- --
-
-
-
-
-
-
-- --
-
-
--
--
-
---
-
- --
-
-
--
--
-
--
-
-
-
-
- --
--
--
-
-
-
-
-
-
-
--
-
--
--
-
-
-
-
-
--
-
--
-
-
-
--
--
-
-
--
-
---
---
--
-
--
-
-
- -
---
- ---
---
--
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
--
--
-
-
-
-
--
- -- -
-
-- -
-
-
-
-
---
- -
--
-
-
-
- -
-
---
-
-
- --
-
-
---
--
--
-
-
-
--
-
-
- --
-
-
-
- --
-
-- -
-
-
-
-
-
-
---
-
-
--
-
-
-
-
-
-
--
--
-
-
-
-
-
---
-
-
-
-
-
-
--
--
----
--
-
-
- -
---
- --
- --
- --
-
-
-
-
-
-
-
---
-
-
-
--
-
-
-
--
--
-
--
---
- -- -
-
-
--
-
-
-
--
--
- - -
-
-
-
-
- -
-
- --
-
-
---
-
-
-- -
-
- --
-
-
--
-
-
-
--
-
-
-
-
- --
-
-
- -
-
-
-
-
-
-
---
-
---
-
--
-
-
-
--
-- -
-
-
-
-- -
-
-
-
--
-
---
---
---
--
-
-
--
- -
-
---
--
-- --
-
-
-
-
-
-
-
---
--
-
---
-
-
-
--
--
--
---- -
- -
-
-
- -
-
-
-
-
--
-
-- -
-
-
-
-
--
-
---
-
-
---
-
-
---
-- --
-
-
--
-
-
-- -
-
-
-
-
--
-
-
-
--
-
-
-
-
-
-
--
-
-
-
---
-
-
-
--
- --
--
-
-
-
-- --
-
-
-
-
-
-
-
-
--
--
--
--
-
-
--
- -
-
- --
--
-
-
--
-
-
-
--
-
-
---
- -
-
---
-
-
--
-
--
-
-
-- -
- -- -
-
-
- -
-
-
-
-
-
--
-- -
-
-
-
-
--
-
---
-
-
-
--
-
-
--
--
- --
-
-
- --
-
-
--
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
--
-
-
-
---
--
-
-
-
--
-- -
-
-
-
-- -
-
-
-
-
-
-
-
--
-
-
----
--
-
-
--
--
-
- -
- --
--
--
-
-
-
--
-
-
---
--
-
--
--
-
-
-
-
-
-
--
-- --
-- -
-
-
--
-
-
-
-
--
-
-- -
-
-
--
- -
-- --
-
-
-
--
-
-
---
-
---
-
-
-
---
-
--
-
-
-
-
--
-
--
- -
-
-
-
-
-
-
--
-
-
---
-
-
-
-
-
-
--
-
--
-
-
-
-- -
-
-
-
-
-
-
-
--
--- ---
--
-
-
--
- -
-
- --
--
-- --
-
-
-
-
-
-
-
--
--
-
-
---
-
-
-
-
-
-
-
-
-
-- -- -
- --
-
--
-
-
-
-
--
-
- - --
-
-
-
- --
---
-
-
-
---
-
-- -
-
- --
-
-
---
-
-
--
-
-
-
-
- --
-
-
--
-
--
-
-
-
--
-
-
-
---
-
-
-
-
-
--
--
-
-
-
-
-
- --
-
-
-
-
-
-
-
-
--- -
--
--
-
-
--
--
-
- --
- --
---
-
-
-
-
-
-
-
---
--
-
--
-
-
-
--
-
-
-
--
-- -- -
- --
-
-
-
-
-
-
-
--
-
-- -
-
-
-
-
- -
-- --
-
-
---
-
-
--
-
--
-
-
-
-
--
--
-
- -
-
-
-
-
--
-
-
-
- -
-
-
-
-
-
-
--
-
-
--
--
-
-
-
-
-
- -
-- -
-
-
-
--
--
-
-
-
-
-
-- -
- ---
--
--
-
-
--
- -
-
- -
--
--
---
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
-
-
-
-
-
-
-
-- -- -
--
-
-
- -
-
-
-
-
--
-
-- -
-
-
-
-
--
-- --
-
-
-
--
-
-
--
-
-- --
-
-
--
--
-
--
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
-
--
-
---
-
-
-
-
--
--
-
--
-
-
-
--
--
-
-
-
-
-
-
--
- ----
-
--
-
-
- -
- -
-
- --- ---
--
-
-
-
-
-
-
-
--
-- -
-
--
--
-
--
-
-
-
--
---- -
---
-
- -
-
-
-
-
---
-- --
-
-
-
--
-
- ---
-
-
-
-
-
-
---
-- --
-
-
-
--
-
-
--
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
--
-
-
-
---
-
-
-
--
-- -
-
-
-
-
-
--
--
-
-
-
-
-
---
-
--
----
-
-
-
- -
- -
-
---
- ----
-
-
-
-
--
-
-
--
-- -
-
-
-
-
-
-
--
--
-
-
-
-- --
--
--
-
- -
-
-
-
-
--
-
-- -
-
-
-
-
--
-- --
-
-
-
-
-
-
-
---
--
--
-
-
--
--
-
--
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
--
-
-
--
--
-
-
-
--
- -
-
--
-
-
-
-
- --
-
-
-
-
-
--
-
--
- --
-
--
-
-
- -
- -
-
- --
- --
- --
-
-
-
--
-
-
--
---
-
--
--
-
-
--
-
-
--
-- -- --
--
-
- -
-
-
-
-
---
--
--
-
-
-
--
-
- -- -
-
-
---
-
-- -
-
- --
-
-
-
---
-
--
-
-
-
-
-
--
-
--
-
-
-
-
-
-
-
---
-
----
-
-
-
-
-
- --
-
-
-
-
-
-
--
-
-
-
-
-
-
---
---
---
--
-
-
- -
- -
-
--
-- --- --
-
-
-
--
-
-
--
-- -
-
--
-
-
-
-
--
--
-
-
---- -
---
-
--
-
-
-
-
-
--
--
--
-
-
-
- -
-- --
-
-
-
--
-
-
-- -
--
--
-
-
-
--
-
-
-
--
-
-
-
- --
-
-
--
-
-
-
-
-
-
--
-
-
-
---
-
-
-
-
-
--
--
-
-
-
-
--
-
-
-
--
-
-
-
--
---
---
--
-
-
- -
--
-
- --
--
-
- --
-
-
-
--
-
-
----
-
-
--
-
-
-
-
-
--
-
-
-
---
--
--
-
-
-
-
-
-
-
-
-
-
-
- - -
-
-
-
-
- -
-
---
-
-
-
--
-
-
--
-
----
-
-
-
--
-
-
-
-
-
-
-
-
--
-
-
-- -
-
-
-
-
-
-
--
-
-
---
-
-
-
-
-
-
- -
-
-
-
-
-
-
-- -
-
-
-
--
-
---
--- ---
--
-
-
- -
---
---
- -
-
- --
-
-
-
-
-
-
-
--
--
-
-
---
-
-
-
-
-
-
-
-
-
-- --
--
--
-
-
-
-
-
-
-
---
-- -
-
-
-
-
- -
-
- ---
-
-
--
-
-
---
--
--
-
-
--
--
-
--
-
-
-
-
--
-
-
-- -
-
-
-
-
-
-
--
-
-
---
-
-
-
-
- -
- -
-
--
-
-
-
-
--
-
-
-
-
-
-
- --
--
-
-
--
--
-
-
- -
--
-
- --
- --
- --
-
-
-
-
-
-
-
--
---
-
--
-
-
-
-
- --
-
-
-
--
--
-- -
-
-
--
-
-
-
-
--
-
-- -
-
-
-
-
- -
-
--
--
-
-
-
--
-
---
----
-
-
--
--
-
-
-
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
---
-
- --
-
-
-
-
--
- -
-
- -
-
-
-
-
-
--
-
-
--
-
- --
-
--
-
--
--
-
-
--
- -
-
- --
--
-- --
-
-
-
-
-
-
-
--
-- -
-
--
--
-
--
--
-
-
-
-- -- -
-
--
-
--
-
-
-
-
--
-
-- -
-
-
-
-
- --
- --
-
-
-
-
-
-
-
--
-
--
--
-
-
--
--
-
--
-
-
-
-
- --
-
-- -
-
-
-
-
-
-
---
-
--
--
-
-
-
-
-
--
-
--
-
-
-
-
- -
-
-
-
-
-
-
---
---
--
-
--
-
-
- -
--
-
- --- --
---
-
-
-
-
-
-
-
--
---
-
--
--
-
-
--
-
-
-
-
-- -- -
---
-
--
-
-
-
-
--
-
--
--
-
-
-
- -
-
---
-
-
-
--
-
-
--
-
--
--
-
-
-
--
-
-
-
-
-
-
-
-
- --
-
-- -
-
-
-
-
-
-
---
-
--
--
-
-
-
--
--
-
-
-
-
-
-
-
-
--
-
-
-
-
-
--
-
-
-- --
-
--
-
-
--
- -
-
- --- --
--
-
--
-
-
-
-
-
--
-- -
-
--
-
-
-
-
-
-
-
-
-
-
-- -- -
---
-
- -
-
-
-
-
-
-
-
-- -
-
-
-
-
--
-
- --
-
-
-
--
-
-
---
-- --
-
-
---
-
-
- --
-
-
-
---
-
-
- -
-
-
-
-
-
-
---
-
- ---
-
-
-
--
--
-
--
-
-
-
-
--
-
-
-
-
-
-
---
---
---
--
-
-
-
-
- -
-
--
-
--
--
--
-
-
-
-
-
-
-
---
- -
-
--
--
-
--
--
-
-
-
-- ---
--
-
-
- -
-
-
-
-
-
--
-- -
-
-
-
-
- --
---
-
-
-
--
-
-
-- -
--
--
-
-
--
-
-
-
-
-
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
---
-
-
---
-
-
-
--
- --
-
-
-
-
-
-
- --
-
-
-
-
-
-
-
-
-
-----
--
-
-
- -
- -
-
- --- -
--
--
-
-
-
--
-
-
--
---
-
-
-
-
-
-
-
--
--
-
-
-- -- -
--
-
-
--
-
-
-
-
-
-
-
-- -
-
-
-
-
- -
-
---
-
-
-
--
-
-
-- -
--
--
-
-
--
--
-
--
-
-
-
-
- --
-
-
--
-
--
-
-
-
---
-
- ---
-
-
-
-
-
--
-
--
-
-
-
-
--
-
-
-
-
-
-
-
--
---
--
-
--
-
-
- -
- -
-
- --
- ---
-
-
-
-
-
-
-
-
-
----
-
-
--
-
-
-
--
--
-
-
-
--
-- --
--
-- -
-
-
-
-
--
-
--
-
-
-
-
-
- -
-
---
-
-
-
--
-
-
-- -
--
--
-
-
- -
--
-
-
-
-
-
-
-
- --
-
-
- -
-
-
--
-
-
--
-
-
- ---
-
-
-
--
--
-
--
-
-
-
--
--
-
-
-
-
-
-
--
-
--
---
--
-
-
- -
- -
-
- --
- --- --
-
-
-
-
-
-
-
-- -- -
-
--
-
-
-
-
-
-
-
-
-
-
-- -- -
---
-
--
-
-
-
--
-
-
-- -
-
-
-
-
- --
--
- -
-
--
-
-
-
-- -
--
--
-
-
-
--
-
-
--
-
-
-
-
- --
-
-
- -
-
-
-
-
-
-
---
-
---
-
-
-
-
-
-
- --
- -
-
-
-
--
--
-
-
-
-
-
---
-
--
-
--
--
-
-
--
- -
-
- --
--
-- --
-
-
-
-
-
-
-
---
- -
-
--
--
-
-
--
-
-
-
-
-- -- -
--
-
-
--
-
-
-
-
--
-
-
- --
-
-
-
- -
-
---
-
-
-
-
-
-
-
---
--
--
-
-
-
--
-
-
--
-
-
-
-
--
-
-
-
- -
-
-
-
-
-
-
--
-
-
- ---
-
-
-
--
--
-
-
-
-
-
-
-
-
--
-
-
--
-
-
--
---
--
-
--
-
-
- -
--
-
- ---
--
--
-
-
-
-
--
-
-
----
-
-
--
-
-
-
-- --
-
-
-
-- --
--
--
-
- -
-
-
-
-
--
-
- --
-
-
-
-
- -
-
- ---
-
-
-
-
-
-
-- -
--
--
-
-
-
--
-
-
--
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
--
-
-
-
--
-
-
-
-
--
- -
-
-
-
-
-
-
-
- -
-
-
-
-
-
-
---
-
--
--
-
--
-
-
- -
- -
-
- --
--
--
--
-
-
-
-
-
-
-
---
- -
-
--
-
-
-
--
--
-
-
-
---
--
- --
-
- -
-
-
-
-
-
-
-
-
- -
-
-
-
-
--
-
- ---
-
-
--
-
-
--
-
--
--
-
-
---
-
-
--
-
-
-
-
---
-
-
- -
-
-
-
-
-
-
---
-
----
-
-
-
-
-
- --
-
-
-
-
-
-
- -
-
-
-
-
-
-
-
--
---
---
--
-
-
- -
- -
-
---
--
-
--
-
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
--
-
-
-
-
-
-- -- -
---
-
- -
-
-
-
---
-
--
-
-
-
-
-
--
-
- --
-
-
-
---
-
-- -
--
--
-
-
-
--
-
-
--
-
-
-
-
---
-
-
- -
-
--
-
-
-
---
-
-
--
-
-
-
-
- -
- --
-
-
-
-
-
-
- -
-
-
-
-
-
-
---
---
--
-
--
-
-
- -
- -
-
- --
- --
---
-
-
-
--
-
-
----
-
-
--
-
-
-
-
--
-
-
-
-
---- -
---
-
- -
-
-
-
-
---
-- -
-
-
-
-
- --
---
-
-
-
---
-
-- -
-- -
-
-
-
-
--
-
-
- --
-
-
-
---
-
-
--
-
---
-
-
---
-
-
---
--
-
--
- - -
-
-
-
-
-
--
--
-
-
-
-
-
-
--
-
--
---
--
-
-
- -
- -
-
- --
- --
---
-
-
-
-
-
-
-
---- -
-
-
--
-
-
--
--
-
-
-
---
-
-- -
-
-
--
-
-
-
-
--
-
- - --
-
-
-
- -
-
- --
-
-
-
---
-
-- -
--
--
-
-
-
--
-
-
- --
-
-
-
---
-
-
--
-
-
-
-
-
-
---
-
--
--
-
-
-
--
-
-
--
-
-
-
-
-
- --
-
-
-
-
-
-
--
-
--
--
-
--
-
-
- -
--
-
- --
--
-- -
-
-
-
-
--
-
-
---
- -
-
--
--
-
--
-
-
-
-
-
-- -- --
--
-
- -
-
-
-
-
--
-
-- -
-
-
-
-
--
-
---
-
-
-
--
-
-
--
-
-- --
-
-
- --
-
-
--
-
-
-
-
---
-
-
--
-
-
-
-
-
-
--
-
-
-
---
--
-
-
-
--
-
-
-
-
-
-
--
--
-
-
-
-
-
-
--
-
--
---
--
-
-
--
--
-
- --
- --
---
-
-
-
--
-
-
--
--
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-- --
-
--
-
-
- -
-
-
-
-
-
-
-
- --
-
-
-
-
--
-
- --
-
-
-
---
-
---
--
--
-
-
--
-
-
-
--
-
-
-
-
--
-
-
-- -
-
-
-
-
-
-
---
-
----
--
-
-
-
--
--
-
-
-
-
-- -
-
-
-
-
-
-
---
--
--
--
--
-
-
--
--
-
- --
--
--
--
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
-- --
-
-
-
---
- -
- --
-
--
-
-
-
--
-
-
-
--
-
-
--
--
-
---
-
-
-
---
-
-- -
--
--
-
-
--
-
-
-
--
-
-
-
-
---
-
-
--
-
-
-
-
-
-
---
-
-
--
-
--
-
-
-
--
-
-
-
-
-
-
--
--
-
-
-
-
-
-
--
-
-----
--
-
-
--
- --
- --- --- -
-
-
-
-
-
-
-
-
---
- -
-
--
-
-
-
-
- --
-
-
-
-- -- -
--
-
-
--
-
-
-
-
--
-
-
- -
-
-
-
-
--
-
---
-
-
-
--
-
-
---
--
--
-
-
- --
-
-
- -
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
---
-
-
---
--
-
-
-
- -
-
--
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
- -----
--
-
-
--
-
-
-
- --
--
-- --
-
-
-
-
-
-
-
---- -
-
-
--
-
-
-
--
-
-
-
-
---
--
-
--
-
--
-
-
-
-
--
-
-
-
-
-
-
-
-
--
-- -
-
-
-
-
--
-
-
-- -
--
--
-
-
--
-
-
-
- --
-
-
-
---
-
-
--
-
-
-
-
-
-
--
-
-
-
---
- --
--
--
-
--
-
-
-
-
---
-
-
-
-
-
-
--
- --
---
--
-
-
--
--
-
- --
--
-
-
--
-
- -
-
-
-
-
---
- -
-
--
--
-
-
--
-
-
-
-
-- --
-- -
-
-
- -
-
-
-
-
-- -
-
-
-
-
-
-
-
- --- --
-
-
---
-
-
-- -
--
--
-
-
--
--
-
--
-
-
-
-
---
-
-
--
-
-
-
-
-
-
---
-
--
--
--
-
-
-
-
-
-
--
-
-
-
--
---
-
-
-
-
-
--
--
-
--
-
--
-
-
--
- --
- --
--
--
--
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
-- --
-
-
-
-- -- -
---
-
--
-
-
-
-
--
-
--
-
-
-
-
-
- --
- --
-
-
-
--
-
-
-- -
-- --
-
-
--
-
-
-
- --
-
-
-
- --
-
-
- -
-
-
--
-
-
---
-
--
---
-
-
--
- -
--
-
-
-
-
-
---
-
-
-
-
-
-
--
--- -
--
--
-
-
- -
- -
-
- --
- --
-
--
-
-
-
-
-
-
-
--
--
-
-
--
-
-
-
-- --
-
-
--
- ---
- --
-
- -
-
-
-
-
---
-- -
-
-
-
-
--
-
---
-
-
-
-
-
-
-
-- -
--
--
-
-
--
-
-
-- -
-
-
-
-
- --
--
-
-
-
-
-
-
-
-
--
-
-
----
-
-
-
--
- -
-
--
-
-
-
-- -
-
-
-
-
-
-
---
---
--
-
--
-
-
--
--
-
- -- - -
-- --
-
-
-
-
-
-
-
--
-- -
-
---
-
-
-- --
-
--
----
----
-
--
-
-
-
-
--
-
-- -
-
-
-
-
--
--
--
-
-
-
-
--
-
---
-- -
-
-
-
--
-
-
-
--
-
-
-
-
--
-
-
-
-
-
-
-
--
-
-
---
-
-
---
-
-
-
-
-
- --
--
-
-
-
-- -
-
-
-
-
-
-
---
---
-
--
--
-
-
--
--
-
- --- --
--
-
-
-
-
-
-
-
-
---- -
-
--
- -
-
--
--
-
--
---- -
- --
-
--
-
-
-
--
-
-
--
--
-
-
-
--
-- --
-
-
-
---
-
-- -
-- -
--
-
-
-
-
-
-
- -
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
---
-
-
---
-
-
-
-
-
--
-
--
-
-
-
-
--
-
-
-
-
-
-
-
--
-
--
-
--
--
-
-
- -
- -
-
- --
---- --
-
-
-
-
-
-
-
--
--
-
-
-
-
-
-
-
--
--
-
-
-
-- -- --
--
-
--
-
-
-
-
---
-- -
-
-
-
-
--
-
---
-
-
-
---
-
--
--
- --
-
-
- --
-
-
--
-
-
-
-
- --
-
-
-
-
-
-
-
-
-
-
---
-
--
--
-
-
-
--
- -
-
-
-
-
-
-
-- -
-
-
--
--
-
-
-
---
--
--
-
-
-
- -
- -
-
--
- --
-
-
--
-
-
-
--
-
-
---- -
-
--
-
-
-
-- -
-
-
--
----
-
--
-
-
- -
-
-
-
-
--
-
-- -
-
-
-
-
- -
-
- --
-
-
-
-
-
-
-
-
- -
-
- --
-
-
--
-
-
--
--
-
-
-
- --
-
-
-
-
-
-
-
-
-
-
--
-
-
----
--
-
-
-
--
-
-
-
-
-
-
-- --
-
-
-
-
-
-
-
-
-
--
-
--
--
-
-
- -
- -
-
- --- --- --
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
--
-
--
--
--
-- -
- --
-
--
-
-
-
-
--
-
-- -
-
-
-
-- -
-
- --
-
-
-
--
-
-
-- -
-
- --
-
-
--
-
-
-
- --
-
-
-
--
-
-
-
--
-
-
-
-
-
-
---
-
-
---
--
-
--
- --
-
-
-
-
-
-- -
-
-
-
-
-
-
-
--
---
---
--
-
-
- -
- -
-
- --- ---
--
-
-
-
-
-
-
-
--
-- -
-
--
--
-
-
-
--
-
--
-- ---
--
-
-
- -
-
-
-
-
--
-
--
--
-
-
-
- -
-- -
-
-
-
-
--
-
-
-- -
-
- --
-
-
-
--
-
-
- -
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
---
-
--
--
-
-
-
--
--
-
--
-
-
-
--
--
-
-
-
-
-
-- -
-
-- --
-
--
-
-
--
---
- --
- --- -
-
-
-
-
-
-
-
-
--
-- -
-
---
-
-
--
--
-
-
-
-- -
--- -
-
-
--
-
-
-
--
-
-
--
--
-
-
-
- --
- --
-
-
-
--
-
-
---
-
- --
-
-
- -
-
-
-
- -
-
-
-
-
-
--
-
-
--
-
-
-
-
-
-
--
-
-
---
-
--
-
- -
--
-
--
-
-
-
-- --
-
-
-
-
-
-
--
-
--
---
--
-
-
- -
- -
-
- --
- --
- --
-
-
-
-
-
-
-
---
- -
-
---
-
-
-
--
-
-
-
-
----
-
- -
-
-
- -
-
-
-
-
--
-
- - --
-
--
--
-
---
-
-
-
--
-
-
---
-
---
-
-
---
-
-
- -
-
-
-
-- --
--
--
-
--
-
-
-
--
-
-
-
---
-
-
-
-
-
--
-
--
-
-
-
-
-
--
-
-
-
-
-
-
-
-
--- ---
--
-
-
--
- --
- -- - ----
-
-
-
-
-
-
-
-
--
---
-
--
--
-
--
--
-
--
--
-- -
- --
-
- -
-
-
-
-
--
-
-- -
-
-
--
- -
--
--
-
-
-
---
-
-- -
-
- --
-
-
-
--
-
-
- -
-
-
-
-
- --
-
-
-
-
-
-
-
-
-
-
---
-
----
-
-
-
-
-
--
-
-
-
-
-
-
--
--
-
-
-
-
-
-
--
--
- ---
--
-
-
--
--
-
- ---
---
-
-
-
-
-
-
-
-
-
--
-- -
-
--
--
-
---
-
-
-
-
---- -
--
-
-
- -
-
-
-
-
--
-
- - --
-
-
-
--
--
--
-
-
-
--
-
-
---
--
--
-
-
--
-
-
-
--
-
-
-
-
- --
-
-
- -
-
-
-
-
-
-
---
-
-
--
-
-
-
-
--
-- -
--
-
-
-
---
-
-
-
--
-
-
-
-
- ---
---
-
-
-
--
---
- --- -
--
-
-
-
-
-
--
-
-
--
-- -
-
--
--
-
--
--
--
-
---- -
- -
-
-
--
-
-
-
-
-
--
- --
-
-
--
- -
--
--
-
-
-
--
-
-
-- -
-
---
-
-
--
-
-
-
- -
-
-
-
-
- --
-
-
-
-
-
-
-
-
-
-
---
-
--
--
-
-
-
-
-
- --
-
-
-
-
-
-- -
-
-
-
-
-
-
---
-
---
--
--
-
-
--
- -
-
- --
---
--
-
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
-
---
-
-
-
----
-- -
-
-
- -
-
-
-
-
--
-
- - -
-
-
-
-
- --
--
-
-
-
--
-
-
-
-- -
-
---
-
-
--
-
-
-
- --
-
-
-
---
-
-
- -
-
-
-
-
-
-
--
-
-
-
---
-
-
-
- -
--
-
-
-
-
-
-
--
--
-
-
-
-
-
-
--
-
----
-
--
-
-
- -
- --
---
- --- -
-
-
-
-
-
-
-
-
--
--
-
-
--
--
-
-
--
--
--
---- -
- -
-
-
--
-
-
-
-
--
-
- --
-
-
--
--
-- -
-
-
-
-
---
-
-- --
- --
-
-
- --
-
-
- --
-
-
-
- --
-
-
--
-
-
-
-
-
-
---
-
--
--
--
-
--
--
-
-
-
-
-
-
-- -
-
-
-
-
-
-
-
-
-
- -----
--
-
-
- -
--
-
- --- ---
-
-
-
-
-
-
-
-
-
--
-- -
-
--
--
-
-
--
-
-
--
-- ---
- --
-- -
-
-
-
-
--
-
- ---
-
-
-
--
-- --
-
-
---
-
-
---
-
- --
-
-
--
-
-
-
--
-
-
-
-
--
-
-
-
--
-
-
-
-
-
-
---
-
-
--
-
--
-
-
-
- -
-- -
-
-
-
-- --
-
-
-
-
-
---
- ---
--
--
-
-
--
--
-
---
- ----
-
-
-
-
-
-
-
-
--
-
- -
-
--
-
-
-
-
--
-
-
--
---- -
- -
-
-
-
-
-
-
-
-
--
-
- ---
-
-
-
- -
-
---
-
-
-
--
-
-
-- -
-
- --
-
-
- --
-
-- -
-
-
-
-
- --
-
-
--
-
-
-
-
-
-
---
-
-
---
-
-
-
--
--
-
--
-
-
-
-- --
-
-
-
-
-
-
--
-
--
---
--
-
-
--
---
- --
- ----
-
-
-
-
-
-
-
-
--
---
-
--
-
-
-
-
--
-
-
-
-
--
--
-- -
-
-- -
-
-
-
-
--
-
- -
--
-
-
-
- -
- ---
-
-
-
--
-
-
--
--
---
-
-
--
-
-
-
- --
-
-
-
- --
-
-
--
-
-
-
-
-
-
-
--
-
-
--
-
--
-
--
--
--
-
-
-
-
-- -
-
-
-
-
--
---
---
--
-
--
-
-
- -
- -
-
---
- --- -
-
-
-
-
-
-
-
-
--
-- -
-
---
-
-
-
-
--
-
-
--
- ---
- -
-
-
--
-
-
-
-
--
-
- ---
-
-
-
- -
-- --
-
-
-
--
-
-
-- -
-
---
-
-
-
-
--
-
--
-
-
-
-
--
-
-
-
--
-
-
-
-
-
-
---
-
-
---
--
-- -
--
-
-
-
-
-
-
-- --
-
-
-
-
-
---
--
----
--
-
-
--
--
-
- --
- ----
-
-
-
-
-
-
-
-
--
-- -
--
-
-
-
-
-
--
-
-
-
-
----
-
- -
-
-
- -
-
-
-
-
-
-
-
--
-
-
-
-
-- -
-
-
--
-
-
-
---
-
-- -
-
--
--
-
--
-
-
-
--
-
-
-
-
---
-
-
- -
-
-
--
-
-
-
-
--
-
---
-
-
-
--
-
-
-
--
-
-
-
-- -
-
-
-
-
-
-
-
--
--- -
-
-
--
-
-
--
--
-
- --
- --
--
-
-
-
-
-
-
-
-
--
--
-
-
-
--
-
-
-
--
-
-
--
-- --
-
- -
-
--
-
-
-
-
-
--
-
- - --
-
-
-
--
-- -
-
-
-
-
---
-
--
--
---
-
-
- -
-
-
-
--
-
-
-
-
--
-
-
-- -
-
-
--
-
-
-
--
-
-
---
-
-
-
--
- - -
--
-
-
-
---
-
-
-
-
-
-
--
-
-
-- ---
--
-
-
--
---
--
-- -
--
--
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
-
--
-
-
--
---
--
- --
-
- -
-
-
-
-
-
-
-
-- --
-
-
-
- -
-- -
-
-
-
-
--
-
-
-- -
-
- --
-
-
-
--
-
-
--
-
-
-
-
---
-
-
- -
-
-
-
-
-
-
---
-
----
--
-
-
-
-
-
-
-
-
-
-
-
-
--
-
-
-
-
-
-
--
-
- --
---
--
-
-
- -
--
-
--
--
---
--
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
-
--
-
--
--
--- -
--
-
-
--
-
-
-
-
--
-
-- -
-
-
--
- -
-
- --
-
-
-
-
-
-
-
--
-
--
--
-
-
--
-
-
-
--
-
-
-
-
--
-
-
-
--
-
---
-
-
--
-
-
-
---
--
-
-
-
- --
-
-
-
-
-
-- -
-
-
-
-
-
-
-
--
--
- -
-
-
--
-
-
--
- --
- --- -
-- --
-
-
-
-
-
-
-
---- -
-
--
-
-
-
-
--
-
-
-
-
--
-- -
--
-
-
- -
-
-
-
---
-
- --
-
-
--
- -
-
-
--
-
-
-
---
-
-
- -
-
- --
-
-
--
-
-
-- -
-
-
-
-
--
-
-
-
- -
-
-
-
-
-
-
---
-
---
-
- -
-
--
--
-- -
-
-
-
-
-
--
-
-
-
-
-
---
--
----
--
-
-
--
- -
-
- --- -
-- --
-
-
-
-
-
-
-
----
-
-
-
--
-
-
---
-
-
-
-
----
-- -
-
-- -
-
-
-
-
--
-
- --
-
-
-
-- -
-
-
--
-
-
-
--
-
-
---
-
- --
-
-
--
--
-
- --
-
-
-
- --
-
-
--
-
-
-
-
-
-
---
-
-
---
- -
-
-
-
--
-
-
-
-
-
-
-- -
-
-
--
-
-
---
---
---
--
-
-
--
- -
-
- --
- --- -
-
-
-
-
-
-
-
-
--
-- -
-
--
--
-
--
--
-
--
--
-- -
- -
-
-
- -
-
-
-
-
--
-
-- -
-
-
-
-
- -
-
--
-
-
-
---
-
-
-
- -
-- -
-
-
-
-
--
-
-
- -
-
-
-
-
- -
-
-
-
--
-
-
-
-
-
-
--
-
-
-
---
-
-
--
-
- -
-- -
-
-
-
-- -
-
-
-
-
-
-
-
--
--
- ---
--
-
-
--
- -
-
--
-
--
---
-
-
-
-
--
-
-
--
-- -
-
--
--
-
-- --
-
--
--
--
--
-
-
--
-
-
-
-
-
--
-
--
-
-
-
--
--
-
---
-
-
-
---
-
-- --
- --
-
-
---
-
--
--
-
-
-
- --
-
-
--
-
--
-
-
-
---
-
-
---
--
-
-
-
--
--
-
-
-
-
--
--
-
-
-
-
-
-
--
- --
---
--
-
-
- -
- -
-
---
---- --
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
-
---
-
-
-
-- --
-
--
-
-- -
-
-
-
--- -
-- -
-
-
-
-
- -
-- -
-
-
-
-
--
-
-
---
-
- --
-
-
-
--
-
-- -
-
-
-
-
---
-
-
- -
-
-
-
-
-
-
---
-
----
-
-
-
--
- --
- -
-
-
-
-
--
-
-
-
-
--
-
--
---
---
--
-
-
- -
--
-
- --
--
-- -
-
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
-
--
-
-
-
-
-- -- -
--
-
-
--
-
-
-
-
--
-
- - -
-
-
-
-
- -
-
--
-
-
-
-
--
-
-
-- -
-
- --
-
-
--
-
-
-- -
-
-
-
-
--
-
-
-
- -
-
-
-
-
-
-
--
-
-
-
---
-
-
-- -
--
--
-
-
-
-
--
--
-
-
--
-
-
--
---
---
--
-
-
- -
---
- -- - -
--
--
-
-
-
-
-
-
-
---- -
-
--
-
-
-
-- --
-
--
--
--
-
- -
-
-
-
-
-
-
-
-
--
-
-
- -
-
-
-
-
- -
-- --
-
-
-
---
-
---
-- -
-
-
-
--
-
-
-- -
-
-
-
-
---
-
-
--
-
-
-
-
-
-
---
-
-
---
--
--
-
--
--
-
-
-
-
-- -
-
-
--
-
-
-
--
--
- ---
--
-
-
- -
- -
-
- --
--
--
--
-
-
-
-
-
-
-
---- -
-
---
-
-
-
--
-
-
-
-
----
--
--
-
- -
-
-
-
--
-
-
--
-
-
-
-
-
- -- - --
-
-
-
--
-
-
-
--
-- --
-
-
--
-
-
-- -
-
-
-
-
- --
-
-
- -
-
-
-
-
-
-
---
-
-
---
--
-
-
-
- --
--
-
-
-
-
--
-
-
--
-
-
-
--
-
-- ---
--
-
-
-
-- -
-
--
-
- ----
-
-
-
-
-
-
-
-
--
-- -
-
--
-
-
-
-- --
-
-
-
-- ---
- --
-
--
-
-
-
--
-
-
- --
-
-
-
-
--
-
---
-
-
-
---
-
-- -
-- -
-
-
-
--
-
-
-
---
-
-
-
- --
-
-
- -
-
-
-
-
-
-
---
-
-
---
-
-
-
--
-
-
-
--
-
-
-
-- -
-
-
-
-
-
-
-
--
-
--
---
--
-
-
- -- -
-
--
-- --
- --
--
-
-
-
-
-
--
-- -
-
-
-
-
-
-
-
--
-
-
-
-
--
---
--
-
-
- -
-
-
-
-
--
-
--
-
-
-
-
-
- -
-- -
-
-
-
-
--
-
-
-- --
- --
-
-
--
-
-
--
-
-
-
-
-
- --
-
-
- -
-
-
-
-
-
-
--
-
-
-
---
-
-
-
-
-
-
--
- -
-
-
-
-- -
-
-
•
•
•
•
•
••
•••
•••
••
•
•
• •
• •
•
• ••• •
••
••
•
•
•
•
•
•
•
••
•• •
•
••
•
•
•
•
••
•
•
•
•
•••• •
• ••
•
• •
•
•
•
•
••
•
•• •
•
•
•
•
• •
•
• ••
•
•
•
•••
•
•••
•• •
•
•
•
••
•
•
•
••
•
•
•
•
• ••
•
•
••
•
•
•
•
•
•
••
•
•
••••
•
•
•
••
••
•
••
•
•
•
••
••
•
Stanford University June 2, 1998 Bayesian Back�tting: 14'
&
$
%
Functionals of posteriors
Age
Der
ivat
ive
of P
oste
rior
Mea
n
10 15 20 25
-0.0
20.
00.
020.
040.
060.
08
Posterior Distributions of Functionals
The location of the maximum derivative (centerof growth spurt) is not too convincing. We nowattempt a more realistic model
Stanford University June 2, 1998 Bayesian Back�tting: 15'
&
$
%
Computing S 12 zSmoothing SplinesWriting f(x) =PMj=1 bj(x)�j in terms of the naturalspline basis, the posterior distribution for f has theform f jy � N(Sy; S�2)= N(B�̂; B��̂BT )�̂ = (BTB + �)�1BTy��̂ = �2(BTB + �)�1The Cholesky square-root of the last expression iscomputed routinely in the smoothing splinecomputations, and so is available for our purposes.General SmoothersS1=2 = S � 12S(S � I) + 38S(S � I)2 � 516S(S � I)3 � � �
Stanford University June 2, 1998 Bayesian Back�tting: 16'
&
$
%
yij = f(tij � �i) + xTi �E + Vi + "ij
Age
Spi
nal B
one
Min
eral
Den
sity
10 15 20 25
0.6
0.8
1.0
1.2
1.4
• • •
••
••
•
••
•••
•
•
•
•
•
•
••••
•• •
•
•
•
•
••
•
•
••
•
•
••
•
•
•
•
•
••
•
••
•
•
•
•
•
•
••
••
•• •
•
•• •
•
•
•
•
•• •
••
••
•
••• •• • •
• •
•• •
•
•
•
•
•
•
•
• •
•
••
•
•
•
•
•
•••
•
••
•
•
•
•
••
•
•
•
•
••
•
•
••
••
•
•
•
• •
•
•
•
•
•
•••
•
•
•
••
••
•
Principal Curve
Age
Mea
n A
ge C
urve
10 15 20 25
0.0
0.1
0.2
0.3
0.4
•
•
•
•
•
••
• • •
•
•
• •
••
•• •
••
•• •
•
•
• ••
•
• •
•• •
••
••
•
•
•
•
••
•
•
• • •• •
••
•
•
• ••• • •
•
•• •
•
•
•
•
•• •
•
•
•• •• • •
•• • •
••
•
•
•
••
• ••
•
•
•
• •
•• •
• •• •• •
• • • • • •
•
•
•
•
•
•
••
•
• • •
•
• •
•
•
•
•• • • ••
••
•
•
•
•
•
•
•
•
•
•
•
• •
•
•• • • •
• •
•
•
• •
• • • •
••
• •
• •
•
•
• ••
•
••
•
••
••
•• •
•
• • • •• • •
••
•
•• •
• • • •
••
••• •
•• ••
• ••
• • ••
• • • •• •• •
•• •
• • •
•• • •• • •
•• ••
•
•
••
•• •• • • •
• ••• •
••
••
•• • •
•
• ••
• ••
•
• •
• ••
•
••
• •
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
• •
•
• •••
• • •
•
•
•
•
•• • •
•
•
• •
•• •
•
•• •
•
••
•
•
•
•
•
•
• • •
• • •
• •
•
••
••• •• •
•
•
•
••
• •
• ••
•
•
•
•
••
• ••
•
• • •
•
•••
••
•
•
•
•
•
• • •
•
• • • • •• • •
•
• •• • •
•
•
•
• • •
•
•
•
•
•
•
• •• • •
•
•
•
•
• •
• •
••
•
••
• •• •
•
• •
•
•
•
••
•
•
•
•
••• •
• •
Girl Average Age
Ran
dom
Lev
el S
hifts
10 15 20 25
-0.2
-0.1
0.0
0.1
0.2
•
•
•
•
•
•
•
•••
•
••
•
•
•
•
••
••
•
• ••
••
•••
•
•
•
•
•
•
•
•
••
•• •
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
• •
•
•
••
•
•
•
•
•
•
•
• ••
•
•
•
•
• •
•
••
•
•
•
•
••
•
•
•••
•
••
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
••••
•
•
•
•
•
• •
•
•
•
•
•
•
••
••
•
Girl Average Age
Ran
dom
Age
Shi
fts
10 15 20 25
-1.0
-0.5
0.0
0.5
1.0
1.5
• •
•
•
•
• •• ••
••
•
•
•• ••
•• •••
•
• • ••• •• ••
••
•
•
• •• •• •
••
••
• •
••
••
• •••
•
•• •
•
•
•
•• ••
•• ••
•
•• • ••
•
••• •
•
• ••
•
• • ••
•
•
•
• •
••
•• •••
••
•
•
•
•
•
•••
•
•
•••
•
•
•
••
•
•
•
••••• ••
• • •
•
• ••
•
••
•
•
•
•
•
• •
•
•
Stanford University June 2, 1998 Bayesian Back�tting: 17'
&
$
%
Age
Age
Shi
fted
Mea
n C
urve
s
10 15 20 25
0.0
0.1
0.2
0.3
0.4
•
•
•
•
•
•
••
• •
•
•
•
•
•
•
•• • •
•• • •
•
•
••
••
•
•
• • •••
•• •
•
•
•
•
•
•
•
•• • • •
•
•
•
•
• •• • • • • •• •
•
•
•
•
•• • •
•
•• •• • • • • • •
•
•
•
•
•
••
•• •
•
•
•
•
••
• •
••
• •
•• • •
• • • •
•
•
•
•
•
•
•
• •• •• • • •
•
•
•
••• • •• • • •
•
•
••
•
•
•
•
•
•
•
•
•
•• • • •
• •
•
•
••
•
•
•
•
• • • •
••
•
•
•
•
•
•
• • •
•
•
•
•
• • •• • •
• •
•• ••
•
•
•
•• • • • •
••
• ••• •• •
•• •
• • • • •• • • •• •••
•
•
•
• • •
•• • •• • • • • •• •
•
•
•
• • •• • • •• •• • •
•
•
• • •• • •
•
•
•
•
• ••
•
•
•• • • • •
•• •
•
•
•
•
•
•
••
••
•
•
•
•• •
•
•
•
•
•
•
•
•
•
•
••
•
•
•
•
••
• •
•
•
•
•
•
•
•
•
•
•• •
•
•
•
•
•
•
•
•
•
•
••
••
• • •
•
••••
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
• • •
•
•
••
••
•
•
•
•
••
• •
•
•
• • • •• • •
••
•
•• •
•
•
•
•• •
•
•
•
•
•
•
• •• • •
•
•
•
•
• •
•
•
••
•
• •
•••
•
•
••
•
•
•
•
•
•
•
•
•
• ••
•
•
•
Adjusted Age
Leve
l Shi
fted
Mea
n C
urve
s
10 15 20 250.
60.
81.
01.
21.
4
••
••
••
••
• •
••
••
••
• • • •• • • •
••
• •• •
••
• • •• •
• • •
•
•
•
••
••
• •
• • •
••
••
• •
• • • •• •
• •
••
••
• • • •
•• • •
• • • • • • •
••
••
•••
•• •
••
••
• • • •• •
• •
•• • •
• • • ••
••
•
••
•
• •• • • •
• •
••
••• • • •
• • • •
••
• •
••
••
••
•• •
•• •
• • • •
••
••
••
••
• • • •
• •
•
•
••
••
• • •
••
••
• • •• • •
• •• • •• •
••
••
• • • •
• • • •
• • •• •• • •
• • •
• •
• • • •
• •
• •
••
• • • •
• • • ••• • •
• •• •
••
•
• • •• • • •• •• • ••
• • • •• • •
••
••
• • ••
••
• • • • •• • •
••
••
••
• •
•• •
•
•
• • •
••
••
••
••
••
• •
••
•• •
• • •
••
••
•
••
•
•• • •
••
••
••
•
••
••
•
•• • • •
••
•
• • •
• ••
•
•
••
•
•
••
••
••
••
••
• •
••
• •
•
••
•• •
•
••
•
••
• ••
•
• • • •
• • •• • •
• • ••
•
•• • •
••
•
••
•
• • • • •
••
•
•
• •
••
••
•
• •• •• •
•• •
••
•
••
••
••
• •• •
••
Girl Average Age
Shr
unke
n Le
vel F
its
10 15 20 25
-0.3
-0.2
-0.1
0.0
0.1
0.2
0.3
Stanford University June 2, 1998 Bayesian Back�tting: 18'
&
$
%
-0.2
-0.1
0.0
0.1
0.2107
-2 0 2
93 124
-2 0 2
37
109 57
-2 0 2
68
-0.2
-0.1
0.0
0.1
0.236
-2 0 2
Theta
V
Girl Average Age
Spi
nal B
MD
10 15 20 25
0.6
0.8
1.0
1.2
1.4
•• •
••
•
•
•
••
•••
•
•
•
•
•
•
•
•••
••
••
•
•
•
••
•
•
•
•
•
•
••
•
•
•
•
•
••
•
••
•
•
•
•
•
•
••
••
•• •
•
••
•
•
•
•
•
••
•
••
••
•
••• •
• ••
• •
•
• ••
•
•
•
•
•
•
• •
•
••
•
•
•
•
•
•
••
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
••
••
•
•
•
••
•
•
•
•
•
•••
•
•
•
••
••
•
• • • ••
•
•
• • •
•• •
••
•
••
•
•
• • •
•
•
•
107
93
124
37
109 57
68
36
Stanford University June 2, 1998 Bayesian Back�tting: 19'
&
$
%
Estimating � 2, �2, . . .� A fully hierarchical Bayesian approach putspriors on these hyper-parameters, andgenerates them along with the other posteriorrealizations.� Empirical Bayes procedures maximize themarginal likelihood of y to estimate thehyper-parameters.� Very similar to REML | RestrictedMaximum Likelihood Estimation. Thishighlights the formal equivalence of additivespline models and mixed-e�ects models:Y = N1�1 +N2�2 + : : : Np�p + "� Cross-validation, GCV and Cp use predictionerror to guide selection.
Stanford University June 2, 1998 Bayesian Back�tting: 20'
&
$
%
Priors for � 2, �2, . . .� p(�2j ) � 1=�2jor 1=�2j exp(��=�2j ) with � = 10e�10.� p(�2) � 1=�2.Wong and Kohn (1998), Carter and Kohn (1994)These lead to Inverse Gaussian posteriors:� p(�2j jy; �2; ffjgp1) = p(�2j jfj)= IG(n=2; 12 fTj Kjfj + �j)� p(�2jrest) = IG(n=2; jjejj2)where e = y �Pj fj .These are generated within each cycle of theGibbs algorithm, along with the functions. O(N)computations.
Stanford University June 2, 1998 Bayesian Back�tting: 21'
&
$
%
Posterior for dfThe e�ective degrees of freedom are de�ned asdf = trS(�), where � = �2=�2.
Iteration
Deg
rees
of F
reed
om
0 1000 3000 5000
02
46
810
12
Inversion Base Height
Iteration
Deg
rees
of F
reed
om
0 1000 3000 5000
02
46
810
12
Daggot Pressure Gradient
Iteration
Deg
rees
of F
reed
om
0 1000 3000 5000
02
46
810
12
Inversion Base Temperature
Iteration
Deg
rees
of F
reed
om
0 1000 3000 5000
02
46
810
12
Visibility (miles)
Stanford University June 2, 1998 Bayesian Back�tting: 22'
&
$
%
Prior for df?Using the priors for �2 and �2, we can induce aprior for df for any sequence of x values.
0
10
20
30
40
50
0 10 20 30 40 50
Prior Degrees of Freedom
Per
cent
of T
otal
Actually, this �gure is based onlog �2 � U [�25; 25]. When 25!1, we get pointmasses of 12 at 2 and N !
Stanford University June 2, 1998 Bayesian Back�tting: 23'
&
$
%
Bayes vs BootstrapSuppose �2 is known, and we add residualsr� � N(0; I�2) to f̂ and re�t.For a single smoothing spline:� Bootstrap: f� � N(S2y; S2�2)� Bayes: f jy � N(Sy; S�2)S > S2, and the Bayes posterior intervals are widerthan the bootstrap intervals; they include an averagebias component.For an additive spline model:� Bootstrap: f�j =� N(AjAy; A2j�2)� Bayes: fj � N(Ajy; (I � Aj)Sj(I � Sj)��2)� Bayes Bootstrap0.0 .41 .450.5 .43 .470.9 .51 .64
Stanford University June 2, 1998 Bayesian Back�tting: 24'
&
$
%
Generalized Additive ModelsSuppose instead we have a GAM, such as anadditive logistic regression model:LogitP (Y = 1jx) =Xj fj(xj)where the fj can be functions, random e�ects or\�xed" e�ects, each with their (Gaussian) priorsN(0;Kj) and hyper-parameters �j .Similar to Zeger and Karim (1991, JASA), wepropose a Metropolis-Hastings scheme forupdating the functions:� At the current state, approximate thelikelihood by a Gaussian, thus creating aworking response zi and weights wi.� Generate a new realization f 0j to replace fjfrom this Gaussian approximation, which wedenote by q(fj ; f 0j).
Stanford University June 2, 1998 Bayesian Back�tting: 25'
&
$
%
� Move to f 0j with probabilitymin��(f 0)q(f 0; f)�(f)q(f ; f 0) ; 1�where �(f) denotes the posterior.Again, all the computations can be performed inO(N) operations per update for smoothingsplines, random e�ects and �xed e�ects.This allows for estimation of mixed e�ects GLMs,with both the usual random e�ects as well asnonparametric smoothers, in a seamless fashion.
The End