戦後日本における早期英語学習経験の英語力への効果...
TRANSCRIPT
戦後日本における早期英語 学習経験の英語力への効果
傾向スコア分析を用いた政策評価
中部地区英語教育学会第44回大会
June 20-21 2014 @山梨大学
日本学術振興会・国立音楽大学
寺 沢 拓 敬
1
目的
• 問い
–早期英語学習経験は、英語力（成人以降の英語力）効果があるか？
• 視点
–政策評価志向（認知科学志向ではない）
2
1. 先行研究
• 先行研究は多数あるが、 特定のグループの早期英語学習 の短期的効果の研究
• 政策評価には使いづらい
3
短期的効果 × 特定の集団
先行研究多数
• 初期 –日本児童英語教育学会プロジェクトチームによる一連の研究 （e.g. JASTECプロジェクトチーム, 1986; 1987）
• メタ分析 –森 (2012)
4
政策評価に向かない理由
1. 一般化できない – （管見の限り）すべてが有意抽出
– 特定のグループ（指導生徒等）の傾向に過ぎず、政策的エビデンスとしては弱い
2. 長期的・終局的な効果が不明 – 多くが中高生を対象にした調査・実験
– 政策評価にとって重要な「最終的な結果」が評価できない
※米国・移民の英語（ESL）習得の例 • Bialystok & Hakuta (1999): U. S. Census 使用
5
1.1. 政策志向とは
6
（教育上の）介入と、その最終的な結果を総合的に比較
メカニズムの解明 vs. 政策評価
X 介入
早期英語学習
Y 結果
英語力
?
7
メカニズム志向
X 介入
早期英語学習
Y 結果
英語力
? Z5
? Z3
? Z2
? Z6
? Z7
? Z8
?
?
8
メカニズム志向
X 介入
早期英語学習
? Z5
? Z3
? Z2
? Z6
? Z7
? Z8
?
個々のメカニズムの解明、その積み重ね
Y 結果
英語力
9
政策評価志向
X 介入
早期英語学習
ブラック ボックス
Y 結果
英語力
10
政策評価志向
X 介入
早期英語学習
ブラック ボックス
個々のメカニズムは不問。介入と最終的な効果を比較
Y 結果
英語力
11
政策評価志向の強み
強み 弱点
メカニズム志向 未知の要因・因果関係があった場合、バイアス
政策評価志向 未知の要因・因果関係はブラックボックスにして、判断ができる
12
政策評価志向の弱点
強み 弱点
メカニズム志向 終局的効果が得られなくても、推論できる
政策評価志向 終局的効果が得られないかぎり、判断ができない （本質的に回顧的分析）
13
2. データ 日本版総合的社会調査 2010年版
(JGSS-2010 A票)
14
JGSS-2010 A票
• 調査時期：2010年2月~4月
• 母集団：日本全国に居住する成人男女 – 対象年齢：20歳～89歳
– 10歳時点：1931年～2000年
• A票のケース数：4,500
• 標本抽出法：層化二段 ランダム抽出
• 抽出台帳：住民基本台帳
• 有効回答数：2,507
• 回収率：62.18%（ 有効回答数 ÷ [アタック総数 – 回答不能数] ）
• 詳細 http://jgss.daishodai.ac.jp/surveys/sur_jgss2010.html
Cf. カレイラ (2011)
15
「中学校以前の英語教育経験」設問
Q22 あなたは、中学校に入る前に英語教育（英会話教室や通信教育を含む）を受けたことがありますか。
１ ある …………. 313人
２ ない …………. 2175人 （無回答 19人）
「早期英語学習経験」と定義
16
英会話力設問
Q16 あなたは、英語でどのくらい会話ができますか。あてはまるものに１つだけ○をつけてください。
1.日常生活や仕事の英会話が、充分できる
2.日常生活や仕事の英会話は、なんとかできる程度
3.道をたずねたり、レストランで注文できる程度
4.あいさつができる程度
5.ほとんど話せない
17
英語読解力設問
Q17 あなたの英語の読解力は、どのくらいですか。あてはまるものに１つだけ○をつけてください。
1.英語の本や新聞が、スラスラ読める
2.英語の本や新聞を、なんとか読める
3.短い英語の文章なら読める
4.簡単な英単語ならわかる
5.ほとんど読めない
18
3. 方法
傾向スコア (propensity score)を
用いたマッチング法
19
傾向スコア分析とは
• 介入X が結果Y に影響を与えるとするモデルにおいて、XとYに同時に影響を与え擬似相関を発生させる共変量Z が存在するとき、その影響を除去する方法
• 傾向スコアの推定によって、介入X がランダムに割り付けられた状況（ランダム化比較実験、狭義の「実験」）を仮想的に作る
• 参考文献 – 星野 (2009) – Stuart (2010) – Austin (2011)
20
早期英語学習
経験あり 経験なし 英語力平均：
M1 = 7.0
英語力平均
M0 = 3.7
10
10
0
4
0
10
8
4
0
0
8
10
21
都会生まれ
地方都市生まれ
田舎生まれ
経験あり 経験なし
早期英語学習
10 10 10
4 8 4 8
10
0 0 0 0
22
?
共変量 出身地域
独立変数 早期英語経験
従属変数 英語力
23
都会生まれ
地方都市生まれ
田舎生まれ
経験あり 経験なし
?
?
? ?
フェアな比較
?
?
24
?
共変量 出身地域
独立変数 早期英語経験
従属変数 英語力
出身家庭の収入 家族の英語力
家族の英語教育観 家族の教育への熱意（私立小？英語塾に通わされた？）
家族の外国人の知人の多さ 生まれた年代
その他多数・・・ 25
とても高い
経験あり 経験なし
高い
やや高い
やや低い
低い
とても低い
共変量の総合スコア
（早期英語の経験がありそうな度合）
英語力の平均値
?
?
?
?
?
?
M1 = ?
?
?
?
?
?
?
M0 = ? vs.
26
分析手順
1. 傾向スコアの推定
– 早期英語学習の経験がありそうな度合い（傾向スコア）を、考えられるできるだけ多くの共変量で推定
– ロジスティック回帰分析
– R 3.0.2, glm {stats}
2. マッチング
3. 早期英語経験の英語力への効果を推定
Z（共変量）
父母学歴 etc.
X 早期英語 経験
Y 英語力
①
27
分析手順
1. 傾向スコアの推定
2. マッチング – 経験あり群・なし群それ
ぞれから、傾向スコアが最も近い回答者を1人づつ抽出しペアを作る（1対1の最近傍マッチング）
– 閾値の設定：傾向スコアの差が 0.2*SD以上のペアは分析から除外（キャリパーマッチング）
– R 3.0.2 – Match {Matching}
3. 早期英語経験の英語力への効果を推定
X 早期英語 経験
Y 英語力
②
Z（共変量）
父母学歴 etc.
28
分析手順
1. 傾向スコアの推定
2. マッチング
3. 早期英語経験の英語力への効果を推定
– マッチングをしたサンプルをつかって、各グループの英語力平均値を推定
– 平均値の差の検定
X 早期英語 経験
Y 英語力
③
Z（共変量）
父母学歴 etc.
29
傾向スコアの推定モデル
ジェンダー （女性＝1）
出身家庭の教育レベル （父＆母の就学年数）
出身家庭の社会階層 （15歳時の父職）
裕福な家庭 （15歳時の世帯収入レベル、5件法）
都市出身（15歳時居住都市規模）
農村出身（15歳時農村居住）
早期英語学習の 経験の有無
分析概念（代理指標）
出身家庭の教育観
出身家庭の 英語学習への親和性
代理指標になる設問なし
30
早期英語学習経験を従属変数にした ロジスティック回帰分析
b se b se
切片 -5.08 0.81 * 年齢 * 女性 -0.03 0.01 *
女性 -0.22 0.21 年齢 * 父管理職 0.03 0.03
年齢（中心化） -0.07 0.03 * 年齢 * 父事務職 0.00 0.03
母親就学年数 0.07 0.05 年齢 * 父販売職 0.02 0.03
父親就学年数 0.05 0.04 年齢 * 父農林職 0.08 0.03 *
父職種（基準：専門） 年齢 * 父熟練職 0.03 0.03
管理 0.63 0.55 年齢 * 父半熟練職 -0.01 0.03
事務 0.29 0.53 年齢 * 父非熟練職 0.05 0.04
販売 0.75 0.51 年齢 * 中小都市育ち 0.01 0.02
農林 0.10 0.57 年齢 * 町育ち 0.03 0.02
熟練 0.75 0.52 年齢 * 村育ち 0.05 0.03
半熟練 0.29 0.58
非熟練 0.55 0.66 観測数 1715.00
世帯収入レベル 0.36 0.10 *
15歳時居住（基準：大都市） -2LL 258.76
中小都市 -0.11 0.33 df 27.00
町 0.02 0.36 Nagelkerke R2 0.25
村 -0.54 0.48 C統計量 0.80
15歳時農村地域居住 -0.03 0.2331
マッチング前後の両グループの差
経験無平均値
経験有平均値
d p 経験無平均値
経験有平均値
d p
女性 = 1 0.53 0.58 0.09 0.21 0.57 0.56 -0.03 0.67
年齢 52.80 38.44 -1.05 < 0.01 40.26 39.51 -0.06 0.17
母教育年数 9.67 11.73 0.85 < 0.01 11.46 11.60 0.06 0.27
父教育年数 10.05 12.42 0.78 < 0.01 11.96 12.22 0.08 0.11
父職：管理 = 1 0.05 0.09 0.12 0.07 0.10 0.09 -0.04 0.56
事務 = 1 0.14 0.19 0.12 0.07 0.20 0.19 -0.03 0.58
販売 = 1 0.13 0.20 0.17 0.01 0.21 0.18 -0.07 0.32
農林 = 1 0.23 0.06 -0.69 < 0.01 0.07 0.07 -0.03 0.62
熟練 = 1 0.19 0.20 0.02 0.74 0.17 0.21 0.10 0.13
半熟練 = 1 0.14 0.14 0.02 0.78 0.12 0.14 0.08 0.17
非熟練 = 1 0.05 0.03 -0.13 0.08 0.04 0.03 -0.07 0.35
世帯収入レベル 2.78 3.17 0.42 < 0.01 3.14 3.14 0.00 0.93
出身：中小都市 = 1 0.38 0.52 0.27 < 0.01 0.51 0.49 -0.04 0.59
町 = 1 0.35 0.29 -0.12 0.1 0.31 0.31 0.01 0.83
村 = 1 0.15 0.05 -0.51 < 0.01 0.05 0.05 0.02 0.72
農村地域出身 = 1 0.41 0.22 -0.44 < 0.01 0.24 0.24 0.00 1.00
マッチング前 マッチング後
差の効果量（d）が劇的に減少
32
4. 分析結果 33
n
5 日常生活や仕事の英会話が充分できる
28 (1.1%)
4 日常生活や仕事の英会話は、なんとかできる程度
78 (3.1%)
3 道をたずねたり、レストランで注文できる程度
257 (10.3%)
2 あいさつができる程度 889 (35.5%)
1 ほとんど話せない 1254 (50.0%)
計 2506 (100.0%)
無回答 1
英会話力
「あなたは、英語でどのくらい会話ができますか」
1
0
34
n
5 英語の本や新聞が、スラスラ読める 22 (0.9%)
4 英語の本や新聞を、なんとか読める 99 (4.0%)
3 短い英語の文章なら読める 480 (19.2%)
2 簡単な英単語ならわかる 973 (38.8%)
1 ほとんど読めない 932 (37.2%)
計 2506 (100.0%)
無回答 1
英語読解力
「あなたの英語の読解力は、どのくらいですか」
1
0
35
Self-report式測定に関する補足
• L2能力の self-assessment評価と客観テストの相関 – レビュー論文：Blanche & Merino (1989)
– メタアナリシス：Ross (1998)
• 主要な結論 – ある程度の相関、平均的な相関係数は、r = 0.50 ~ 0.60
– 具体的な場面設定をした能力評価設問のほうが、相対評価よりも、相関が高くなる
• 主観設問が実際に用いられた例 – Sonoda (2009)
– Robinson, Rivers, & Brecht (2006) ← MLJ
– Bialystok & Hakuta (1999) ← SLA Research
• そもそも混同すべきでない点 – 「選抜」を目的としない測定に、客観テスト並の厳密さを求めるのは過剰な要求 (Blanche & Merino,1989 )
– 社会調査であれば、ある程度の非系統誤差は十分許容できる
36
グループ j の i 番目の回答者が、主観的に報告した能力は、
主観ij = 客観ij + 主観固有の変動ij +誤差ij
と表現するとき誤差が正規分布すると仮定すれば
Mean(主観ij) = Mean(客観ij) + Mean(主観変動ij)
以下、経験なし群 (i = 0) と経験あり群 (i = 1) の比較を前提にすれば、
M(主観0j) = M (客観0j) + M (主観変動0j)
M (主観1j) = M (客観1j) + M (主観変動1j)
強い仮定「主観変動は正規分布 , i.e. M(主観ij) = 0 」のもとで
M(主観1j) = M (客観1j) となり、客観測定の母平均と、主観測定の母平均は一致する。
少し強い仮定「主観変動は両群で同一, i.e. M(主観変動0j) = M(主観変動1j) 」のもとで、
M(主観1j) - M(主観0j) = M(客観1j) - M (客観0j)
つまり、客観測定の母平均の差と、主観測定の母平均の差は一致する。
経験あり群はなし群よりも高めに評価する [M (主観変動1j) > M (主観変動1j)] と仮定すれば
もし M(主観1j) =< M(主観0j) なら M(客観1j) < M(客観0j)
経験あり群はなし群よりも低めに評価する[ M (主観変動1j) < M (主観変動1j)] と仮定すれば
もし M(主観1j) => M(主観0j) なら M(客観1j) > M(客観0j)
37
経験なし 経験あり 経験なし 経験あり
%
0
20
40
60
80
100
素データ 共変量調整後
b = 0.57 *** b = 0.23 *
英会話力（5段階）
1
2
3
4
5
38
英語読解力（5段階）
経験なし 経験あり 経験なし 経験あり
%
0
20
40
60
80
100
素データ 共変量調整後
b = 0.66 *** b = 0.24 *
39
経験なし 経験あり 経験なし 経験あり
%
0
2
4
6
8
10
12
素データ 共変量調整後
b = 0.07 *** b = 0.06 *
英会話力 (binary)
4
5
40
経験なし 経験あり 経験なし 経験あり
%
0
2
4
6
8
10
12
素データ 共変量調整後
b = 0.08 *** b = 0.06
英語読解力 (binary)
4
5
41
マッチングデータにおける 因果効果の要約
英会話力5段階
英語読解力5段階
英会話力Binary
英語読解力Binary
b 0.229 0.240 0.062 0.056
se (Abadie-Imbens) 0.113 0.109 0.031 0.033
t -stat 2.033 2.213 1.970 1.686
p 0.042 0.027 0.049 0.092
1715
236
1714
2412
元データにおける観測数
元データにおける「経験あり群」
マッチング後のケース数
マッチング後のケース数（ウェイトなし）
42
結果の要約
• 全体の傾向として、共変量調整後、早期学習効果は弱まるが、依然、有意な効果は認められる
• ただし、重要な「第3の変数」を分析に加えられなかったので、完ぺきな 共変量調整ではない
43
5. 世代別 早期学習効果の推移
44
3世代の比較
（各世代で傾向スコアを推定→マッチング）
Speaking Reading S R S R
b 0.050 0.055 0.060 0.034 0.088 0.102
se (Abadie-Imbens) 0.050 0.049 0.047 0.047 0.033 0.038
t -stat 1.001 1.123 1.270 0.725 2.657 2.684
p 0.317 0.262 0.204 0.468 0.008 0.007
元データにおける観測数 571 659 485
元データにおける「経験あり群」 23 72 141
マッチング後のケース数 419 612 467
マッチング後のケース数（ウェイトなし） 454 670 538
除外されたケース 152 47 18
Age: 60-89 Age: 40-59 Age: 20-39
45
0
2
4
6
8
10
12
1920s・30s・40s生 1950ｓ・60ｓ生 1970ｓ・80ｓ生
「会
話
力
あ
り
」
（％
）
経験なし
経験あり
英会話力への因果効果、世代間推移
n.s.
n.s.
**
46
0
2
4
6
8
10
12
1920s・30s・40s生 1950ｓ・60ｓ生 1970ｓ・80ｓ生
「読
解
力
あ
り
」
（％
）
経験なし
経験あり
英語読解力への因果効果、世代間推移
n.s.
n.s. **
47
結果の要約
• 共変量調整をすると、若い世代（*）のみで早期英語学習の効果が確認できる * 1970s・80sに生まれ、80s・90s に10歳を経験した世代
-----1980年代・90年代に何が？
48
• 内在的な要因で説明 – 早期英語をめぐる状況（指導者・教材等）が進展し、子どもが良質のインプットを得られるようになった
• 外在的な要因で説明 (1) – 本分析では調整できなかった共変量の効果が強まった
– 例：親の英語観・教育観 の効果
• 外在的な要因で説明 (2) – いずれかの代理指標がうまく機能しなくなった
–例：高等教育の大衆化により、親の教育年数が教育意識を反映しにくくなった（高学歴な親ほど我が子への高学歴志向が強いという連関は、近年弱まる。NHK放送文化研究所, 2010, p.68）
49
6. 結論
50
結論
• 共変量の影響を除去してもなお、 早期英語学習経験によって、英語力は 有意なレベルで上昇
• 限界点 –共変量調整が十分でなく、依然、擬似相関の可能性がある
–世代的な要因が見かけ上の効果を生じさせた可能性がある
–因果効果は必ずしも劇的なものではない
51
今後の課題 • より妥当性の高い政策議論のために
– 信頼性の低いエビデンスを根拠に英語教育改革が決定されることは、莫大なリソース（税金・小学校教員の時間・研究者の研究時間）の浪費 （Bridges, Smeyers, & Smith, 2009; 国立教育政策研究所, 2012; ）
• 満足いく数の共変量が測定された ランダム抽出調査 – 親の教育意識や親の英語力なども含む – 早期英語学習経験を詳細に尋ねる – 個人研究では困難だが、学会レベルなら 可能（例：家族社会学会 - NFRJ）
• 政策上重要な従属変数の追加 – 英語力だけでなく、態度に関する変数 （例：異文化やコミュニケーションに対する態度）
52
53 53
謝辞
日本版General Social Surveys (JGSS) は、大阪商業大学JGSS研究センター（文部科学大臣認定日本版総合的社会調査共同研究拠点）が、東京大学社会科学研究所の協力を受けて実施している研究プロジェクトである。
Austin, P. C. (2011). An Introduction to Propensity Score Methods for Reducing the Effects of Confounding in Observational Studies. Multivariate Behavioral Research, 46(3), 399-424.
Bialystok, E., & Hakuta, K. (1999). Confounded age: Linguistic and cognitive factors in age differences for second language acquisition. Second language acquisition and the critical period hypothesis, 161-181.
Blanche, P., & Merino, B. J. (1989). Self‐Assessment of Foreign‐Language Skills: Implications for Teachers and Researchers. Language Learning, 39(3), 313-338.
Bridges, D., Smeyers, P., & Smith, R. (Eds.). (2009). Evidence-Based Education Policy: What Evidence What Basis Whose Policy (Vol. 6). John Wiley & Sons.
Robinson, J. P., Rivers, W. P., & Brecht, R. D. (2006). Speaking foreign languages in the United States: Correlates, trends, and possible consequences. The Modern Language Journal, 90(4), 457-472.
Ross, S. (1998). Self-assessment in second language testing: A meta-analysis and analysis of experiential factors. Language testing, 15(1), 1-20.
Sonoda, S. (2009). Emergence of homogeneous social class? Commonalities and differences of the new middle class in globalizing East Asia. Journal of Contemporary Eastern Asia, 8 (2), 1-14.
54
55
Stuart, E. A. (2010) A. Matching Methods for Causal Inference: A Review and a Look Forward. Statistical Science, 25(1), 1-21.
JASTECプロジェクトチーム (1986). 「早期英語学習経験者の追跡調査―第
Ⅰ報」 『日本児童英語教育学会研究紀要』 第5号 pp.48-67. JASTECプロジェクトチーム (1987). 「早期英語学習経験者の追跡調査―第
Ⅱ報」 『日本児童英語教育学会研究紀要』 第6号 pp.3-21. NHK放送文化研究所編 (2010). 『現代日本人の意識構造 第7版』NHK出版 カレイラ松崎順子 (2011). 「JGSS2010による早期英語教育に関する意識
調査」 大阪商業大学JGSS研究センター編『日本版総合的社会調査共同研究拠点 研究論文集１１』（pp.35-45）
国立教育政策研究所 (2012). 『教育研究とエビデンス －国際的動向と日本の現状と課題』
星野崇宏 (2009). 『調査観察データの統計科学 ---因果推論・選択バイアス・データ融合』岩波書店
森博英 (2012). 「日本における英語学習開始時期の英語習得へ及ぼす影響に関する先行研究のメタ分析」『第38回全国英語教育学会愛知研究大会 予稿集』