線型推測論 - nshi.jp · •(一般化)線型混合モデルでは結果変数の...
TRANSCRIPT
線型推測論第12回 総論
2019/6/7
統計数理研究所
長島 健悟1
• 線形仮説の検定の補足
• 定理6-1の証明
• 発展的な話題の紹介
• 一般化線型モデル
• 線型混合モデル
• 一般化推定方程式
• 残りの時間は質問の時間に充てます2
最終回
• 定理6-1
• 𝐀が冪等行列であり, 𝑟 = rank 𝐀 であるとする
• 𝐙 ∼ 𝑁 𝟎, 𝐈 のとき𝐙′𝐀𝐙 ∼ 𝜒2 𝑟
3
線形仮説の検定の補足
• 𝐀を定数対称行列とし, 𝐘 ∼ 𝑁 𝛍, 𝚺 とする
• 𝐘′𝐀𝐘のモーメント母関数は𝑀𝐘′𝐀𝐘 𝑡
= 𝐈 − 2𝑡𝐀𝚺 −1/2 exp −𝛍′ 𝐈 − 𝐈 − 2𝑡𝐀𝚺 −1 𝚺−1𝛍/2
である
4
定理12-1
• モーメント母関数 (積率母関数) の定義は
𝑀𝑋 𝑡 = E exp 𝑡𝑋
• 定義から
𝑀𝐘′𝐀𝐘 𝑡
=
∞−∞∞−⋯
∞exp 𝑡𝐘′𝐀𝐘 𝑐1 exp −
𝐘−𝛍 ′𝚺−1 𝐘−𝛍
2d𝐘
= 𝑐1න−∞
∞
⋯න−∞
∞
exp2𝑡𝐘′𝐀𝐘 − 𝐘 − 𝛍 ′𝚺−1 𝐘 − 𝛍
2d
= 𝑐1න−∞
∞
⋯න−∞
∞
exp−𝐘′ 𝐈 − 2𝑡𝐀𝚺 𝚺−1𝐘 − 2𝛍′𝚺−1𝐘 +
2
• ただし 2𝜋 𝑝 𝚺 1/2
5
定理12-1の証明
𝑐1න−∞
∞
⋯න−∞
∞
exp−𝐘′ 𝐈 − 2𝑡𝐀𝚺 𝚺−1𝐘 − 2𝛍′𝚺−1𝐘 + 𝛍′𝚺−1𝛍
2d𝐘
= 𝑐1𝑐2 ∞−∞∞−⋯
∞ 1
2𝜋 𝑝 𝐕 1/2 exp −𝐘−𝛉 ′𝐕−1 𝐘−𝛉
2d𝐘
= 𝑐1𝑐2
• ただし, 𝑡 ∈ −𝛿, 𝛿 の範囲で𝐈 − 2𝑡𝐀𝚺が正則になるような𝛿 > 0が存在することを仮定
• 𝛉′ = 𝛍′ 𝐈 − 2𝑡𝐀𝚺 −1
• 𝐕−1 = 𝐈 − 2𝑡𝐀𝚺 𝚺−1
• 𝑐2 = 2𝜋 𝑝 𝐕 1/2 exp −𝛍′𝚺−1𝛍−𝛉′𝐕−1𝛉
2
• よって
𝑀𝐘′𝐀𝐘 𝑡 = 𝐈 − 2𝑡𝐀𝚺 −1/2 exp −𝛍′ 𝐈 − 𝐈 − 2𝑡𝐀𝚺 −1 𝚺−1𝛍/26
定理12-1の証明
• 𝐙′𝐀𝐙のモーメント母関数は
𝑀𝐙′𝐀𝐙 𝑡 = 𝐈 − 2𝑡𝐀 −1/2
• 𝐈 − 2𝑡𝐀の固有値は1 − 2𝑡𝜆𝑖であり, 𝜆𝑖は𝐀の固有値であるから, 𝐈 − 2𝑡𝐀 =ς𝑖=1𝑝
1 − 2𝑡𝜆𝑖
𝑀𝐙′𝐀𝐙 𝑡 = ෑ
𝑖=1
𝑝
1 − 2𝑡𝜆𝑖
−1/2
7
定理6-1の証明
• 𝐀が冪等行列のとき, 𝜆𝑖 = 0 or 1であり, 𝑟 =rank 𝐀 = tr 𝐀 であるから (𝑟個の1の固有値と𝑝 − 𝑟個の0の固有値が出てくる)
• よって
𝑀𝐙′𝐀𝐙 𝑡 = ෑ
𝑖=1
𝑟
1 − 2𝑡
−1/2
=1
1 − 2𝑡
𝑟/2
となり, 自由度𝑟のカイ二乗分布のモーメント母関数に等しい
• 𝐘 ∼ 𝑁 𝛍, 𝚺 の場合も証明でき, 非心カイ二乗分布が得られる
8
定理6-1の証明
• 今でも研究はされているが一般線型モデルの結構な部分はかなり整理されている
• 統計モデルを扱う上で非常に重要な概念が沢山あるため, 教科書を一冊読み次の学習に進むとよい?
• 一般線型モデルとモデルの構築, BLUE
などの推定量, 線型仮説の検定, 一般化逆行列
9
一般線型モデル
• 一般線型モデルだけではあまり扱われない重要な概念はものすごく沢山ある
• 漸近理論, 最尤法, その他のモデル, etc…
• これらは他の講義と自習で補って欲しい
10
一般線型モデル
• 尤度理論をベースとし, モデルは線型でない場合も含む
• 例えば, 線型回帰, ロジスティック回帰,
ポアソン回帰などが含まれる
• 確率変数𝑌𝑖 (𝑖 = 1,… , 𝑛)が互いに独立に正準形の指数型分布族に従うことを仮定
• 𝑌𝑖の期待値E 𝑌𝑖 = 𝜇𝑖に対して既知のリンク関数𝑔を用いて𝑔 𝜇𝑖 = 𝐱𝑖
′𝛃を仮定
11
一般化線型モデル
• 指数型分布属
• 確率密度関数が以下の形をした分布
𝑓 𝑦; 𝜃 = exp 𝜂 𝜃 𝑇 𝑦 − 𝐴 𝜃 + 𝐵 𝑦
• 𝜂 𝜃 = 𝜃の場合を正準形という (正準形: シンプルな数式)
12
一般化線型モデル
• 特に一般化線型モデルの場合は以下の指数型分布属を想定する
𝑓 𝑦𝑖; 𝜃𝑖 , 𝜙= exp Τ𝑦𝑖𝜃𝑖 − 𝑏 𝜃𝑖 𝜙2 − 𝑐 𝑦𝑖 , 𝜙
• 𝑏 𝜃𝑖 や𝜙は想定した確率分布によって定まる
13
一般化線型モデル
14
一般化線型モデル
• よく使う一部の例を紹介
モデル 分布 リンク関数
線型回帰 正規分布 𝑔 𝜇𝑖 = 𝜇𝑖ロジスティッ
ク回帰二項分布 𝑔 𝜇𝑖 = log
𝜇𝑖1 − 𝜇𝑖
ポアソン回帰 ポアソン分布 𝑔 𝜇𝑖 = log 𝜇𝑖
• 一般化線型モデルも多くの回帰モデルを統一的に表現でき, 同様の考え方で推定や検定を構築できる
• 理論的な基盤は最尤法なので, 最尤法についてきちんと学習しておくとよい
• McCulloch, Searle & Neuhaus (2008) などがおすすめ (邦訳あり)
15
一般化線型モデル
• 線型混合モデルは固定効果と変量効果の両方を含む線型モデル (最尤法がベース)
𝐘 = 𝐗𝛃 + 𝐙𝛄 + 𝛜𝛜 ∼ N 𝟎, 𝐑 , 𝛄 ∼ N 𝟎, 𝐆
• 𝐙:変量効果の𝑛 × 𝑞デザイン行列
• 𝛄:変量効果ベクトル𝑞 × 1 (𝛜と独立)
• 𝐑:誤差分散共分散行列
• 𝐆:変量効果の分散共分散行列16
線型混合モデル
• 前述の仮定の下で
• 𝐘 ∼ 𝑁 𝐗𝛃, 𝐕 , 𝐕 = 𝐙𝐆𝐙 + 𝐑
• これは一般線型モデルの時に検討済であった
• 𝛃 = 𝐗′𝐕−1𝐗 −1𝐗′𝐕−1𝐘
• 𝐕はプロファイル尤度法により求める
17
線型混合モデル
• 独立性の仮定より𝐘, 𝛄の同時分布は𝑓 𝐘, 𝛄 = 𝑔 𝐘 𝛄 ℎ 𝛄
log 𝑓 𝐘, 𝛄 =
−1
2𝐘 − 𝐗𝛃 − 𝐙𝛄 ′𝐑−1 𝐘 − 𝐗𝛃 − 𝐙𝛄
−1
2𝛄′𝐆−1𝛄 + constant
18
線型混合モデル
• Mixed Model Equations (Henderson et al., 1959):同時分布から導いた対数尤度関数について𝛃と𝛄について偏微分したもの= 𝟎とおいた式
𝐗′𝐑−1𝐗෩𝛃 + 𝐗′𝐑−1𝐙𝛄 = 𝐗′𝐑−1𝐘
𝐙′𝐑−1𝐗෩𝛃 + 𝐙′𝐑−1𝐙 + 𝐆−1 𝛄 = 𝐙′𝐑−1𝐘
• ∴ 𝛄 = 𝐆𝐙′𝐕−1 𝐘 − 𝐗𝛃 , ෩𝛃 = 𝛃
19
線型混合モデル
• 経時測定データの解析に比較的よく使われている
• 昨今では欠測データの解析にもよく使われる
• Fitzmaurice, Laird & Ware (2011) やMcCulloch, Searle & Neuhaus (2008) などがおすすめ
• 正規分布以外の場合の一般化線型混合モデルもある 20
線型混合モデル
• Liang & Zeger (1986)のGeneralized Estimating Equations (GEE)
• (一般化)線型混合モデルでは結果変数の確率分布を完全に仮定したが, GEEでは周辺分布だけを仮定する
• 周辺分布では相関が定まらないため, 作業相関行列というものを与える
• Wedderburn (1974)のquasi-likelihoodを多変量に一般化した方法といえる
21
一般化推定方程式
• 𝐘𝑖 = 𝑌𝑖1, … , 𝑌𝑖𝑡 , … , 𝑌𝑖𝑛𝑖′:𝑛𝑖 × 1次元結果
変数ベクトル, 𝐘 = 𝐘1′ , … , 𝐘𝐾
′ ′
• 𝐱𝑖𝑡 = 𝑥𝑖𝑡1, … , 𝑥𝑖𝑡𝑗 , … , 𝑥𝑖𝑡𝑝′:𝑝 × 1次元の
デザインベクトル, 𝐗𝑖 = 𝐱𝑖1, … , 𝐱𝑖𝑛𝑖′:
𝑛𝑖 × 1次元のデザイン行列
• 𝛃:𝑝 × 1次元モデルパラメータベクトル
• 𝑖 = 1,… , 𝐾:個体を表わす添え字
• 𝑡 = 1,… , 𝑛𝑖:各個体の時点の添え字22
一般化推定方程式
• 仮定:指数型分布族の周辺密度を持つ
• 𝑓 𝑌𝑖𝑡 = 𝑦𝑖𝑡 =exp Τ𝑦𝑖𝑡𝜃𝑖𝑡 − 𝑎 𝜃𝑖𝑡 + 𝑏 𝑦𝑖𝑡 𝜙2
• 𝜃𝑖𝑡 = ℎ 𝜂𝑖𝑡 , 𝜂𝑖𝑡 = 𝐱𝑖𝑡′ 𝛃
• このとき
E 𝑌𝑖𝑡 = 𝑎′ 𝜃𝑖𝑡 , Var 𝑌𝑖𝑡 = 𝑎′′ 𝜃𝑖𝑡 /𝜙
がなりたつ
23
一般化推定方程式
• 作業相関行列𝐑𝑖 𝛂 :𝑛𝑖 × 𝑛𝑖次元
• 𝛂 = 𝛼1, … , 𝛼𝑠 :𝑠 × 1次元パラメータベクトル
• 𝐕𝑖 = 𝐀𝑖1/2
𝐑𝑖 𝛂 𝐀𝑖1/2
/𝜙とすると
• 𝐑𝑖 𝛂 が真の相関行列に等しいとき
• 𝐕𝑖 = Cov 𝐘𝑖 が成り立つ
24
一般化推定方程式
• これらより以下の推定方程式を定義する
𝑖=1
𝐾
𝐔𝑖 𝛃, 𝛂 =
𝑖=1
𝐾
𝐃𝑖𝐕𝑖−1𝐒𝑖 = 𝟎
• 𝐃𝑖 =𝜕𝑎′ 𝛉𝑖
𝜕𝛃′, 𝐒𝑖 = 𝐘𝑖 − 𝑎′ 𝛉𝑖 , 𝑎
′ 𝛉𝑖 =
𝑎′ 𝜃𝑖1 , … , 𝑎′ 𝜃𝑖𝑛𝑖′
25
一般化推定方程式
• 実際には𝛂と𝜙が未知のため, 推定量をプラグインした二段階推定が行われる
𝑖=1
𝐾
𝐔𝑖 𝛃, ෝ𝛂 𝛃, 𝜙 𝛃 = 𝟎
• 上の推定方程式に基づく方法をGEEと
よび, 推定方程式の解が𝛃の推定量になる
26
一般化推定方程式
• 𝐾 → ∞のとき, 𝐑𝑖 𝛂 が誤っていたとして
も𝛃は一致性を持つ
• ただし, 誤っていた場合は検出力が低下する
• そして現実は𝐾 → ∞とはいかない
27
一般化推定方程式
• こちらも経時測定データの解析に比較的よく使われている
• 理論的なベースは独自のものなので, 原典(Liang & Zeger, 1986)が理解できるように読んでおくとよい
• Fitzmaurice, Laird & Ware (2011) などもおすすめ
28
一般化推定方程式
• 過学習の回避
• リッジ回帰𝑄𝑅 = 𝐘 − 𝐗𝛃 ′ 𝐘 − 𝐗𝛃 + 𝜆𝑅𝛃
′𝛃
𝛃𝑅 = 𝐗′𝐗 + 𝜆𝑅𝐈−1𝐗′𝐘
• 𝐗′𝐗 −1が存在しなくても推定できる
• 過学習の回避+スパース推定
• Lasso
𝑄𝐿 = 𝐘 − 𝐗𝛃 ′ 𝐘 − 𝐗𝛃 + 𝜆𝐿
𝑗=1
𝑝
𝛽𝑗
29
正則化
• 一般化線型モデル, 線型混合モデル, 一般化推定方程式を紹介した
• これらは別の講義でも詳しく扱われる
30
まとめ
• McCulloch CE, Searle SR, Neuhaus JM. Generalized, Linear, and
Mixed Models, 2nd Edition. Wiley, 2008.
• Henderson CR, Kempthorne O, Searle SR, von Krosigk CM. The
estimation of environmental and genetic trends from records
subject to culling. Biometrics 1959;15(2):192–218.
• Fitzmaurice GM, Laird NM, Ware JH. Applied Longitudinal Analysis,
2nd Edition. Wiley, 2011.
• Liang KY, Zeger SL. Longitudinal data analysis using generalized
linear models. Biometrika 1986;73(1):13–22.
• Wedderburn RWM. Quasi-likelihood functions, generalized linear
models, and the Gauss–Newton method. Biometrika 1974;61:439–
447.
• Friedman J, Hastie T, Hoefling H, Tibshirani R. Pathwise coordinate
optimization. The Annals of Applied Statistics 2007;2(1):302–332. 31
参考文献