((11) )

3. Zur Kritik an der herkömmlichen Schätzmethodik im Rahmen der univariaten Regressionsanalyse

Die Methodik der empirischen Makroökonomie ist seit Mitte der siebziger Jahre in die Kritik geraten;

Siehe z.B.

Summers, L.H., 1991 The Scientific Illusion in Empirical Macroeconomics,Scandinavian Journal of Economics, 93, S. 129-148.

Woran macht sich die methodische Kritik fest?

Welche Alternativen werden vorgeschlagen?

((22) )

3.1 Die Kritik von Leamer (1)

Leamer's Beispiel einer (makabren) Regressionsanalyse

Abh. Variable: begangene Morde pro 100.000 Einwohner

Erklärende Variablen:

(i) „Abschreckungsvariablen“:

       Aufklärungsquote

       Exekutionswahrscheinlichkeit bei Verurteilung

       mittlere Strafe für Mord (in Jahren)

  (ii) ökonomische Variablen:

       mittleres Familieneinkommen

       Prozentanteil der Familien unterhalb der Armutsgrenze

       Arbeitslosenquote

((33) )

Die Kritik von Leamer (2)

 (iii) Variablen des soziale Umfelds:• Prozentanteil Nicht-Weiße• Prozentanteil Jugendliche• städtisches Umfeld (Dummy-Variablen)• „Südstaaten“-Dummy

((44) )

Die Kritik von Leamer (3)

Die Regressionsanalyse wird mit einer Reihe von alternativen Spezifikationen, die sich durch den jeweils verwendeten Set von Regressoren unterscheiden;

Ergebnis der Analyse: der „Abschreckungseffekt“ von Exekutionen liegt – je nach Spezifikation – zwischen

–28 und + 12 (Morde pro 100.000 Einwohner)

Schlussfolgerung von Leamer: die Ergebnisse der Regressionsanalyse hängen zu stark von der gewählten Spezifikation ab, sie sind „fragil“;

weiterhin: das Vorurteil des Forschers könnte einen Einfluss auf die Ergebnisse haben ...

((55) )

Die Kritik von Leamer (4)Welche Konsequenzen folgen aus der kritischen

Analyse?

Leamer schlägt vor, dass ein gewissenhafter Ökonometriker immer die Spannbreite angibt, innerhalb derer die geschätzten Koeffizienten bei unterschiedlichen Spezifikationen liegen;

falls sich herausstellt, dass diese Spannbreite sogar einen Wechsel im Vorzeichen der Koeffizienten umfasst (wie im vorliegenden Beispiel), so muss der Ehrlichkeit halber gesagt werden, dass offensichtlich die Qualität bzw. der Umfang der Daten keine gesicherte Aussage zulässt;

((66) )

Die Kritik von Leamer (5)Gegenkritik an Leamer

Leamer‘s Forderung (Publikationen von Spannbreiten) geht implizit davon aus, dass alle Spezifikationen „gleich gut“ sind.

Dies ist jedoch nicht der Fall: in aller Regel kann der Anwender zwischen den verschiedenen Spezifikationen anhand objektiver Testkriterien diskriminieren.

Es mag jedoch auch dann noch eine Spannbreite der Ergebnisse von Schätzungen geben, die auf Grundlage der durchgeführten Tests annähernd „gleich gut“ sind.

((77) )

3.2 Zur Kritik des probabilistischen Ansatzes (1)

Probabilistischer Ansatz (Haavelmo, Econometrica 1944): „The probabilistic approach in econometrics“

Stoßrichtung: gegen reinen Empirismus.

Dieser lässt sich wie folgt karikieren:„Ein hohes R2 auf der Suche nach einer Interpretation...“

(Desai)

„Sherlock Holmes Ansatz“: It‘s a capital mistake to theorize before you have all evidence“ (Leamer)

((88) )

3.2 Zur Kritik des probabilistischen Ansatzes (2)

Kernthese von Haavelmo:

„Schlussfolgerungen aus einer Stichprobe von Beobachtungen müssen im Rahmen eines vorspezifizierten stochastischen Modells erfolgen, von dem angenommen wird, dass es die Erzeugung von Daten adäquat beschreibt.“

((99) )

Zur Kritik des probabilistischen Ansatzes (3)

Die Vorstellung hinter dem probabilistischen Ansatz: die Relation wird durch einen stochastischen Störterm

ergänzt; aus den Ergebnissen der Schätzung werden die

„strukturellen“ Parameter des zugrunde liegenden theoretischen Modells erschlossen; (Voraussetzung dafür ist, dass sich die strukturellen Parameter identifizieren lassen)

Theorie liefert auf eindeutige Weise eine zu schätzende Relation; (gegebenenfalls ist zur Verwendung als Schätzansatz eine Transformation wie z.B. eine Linearisierung notwendig)

((1010) )

Haavelmo schwebt offenbar die Vorgehensweise der Naturwissenschaft vor,

aber: „... in real statistic analysis there are no

‚true models‘“ (Durbin 1988) „no laws in economics...“ (Kalman)

konkrete Probleme: u.U. fehlende Identifizierbarkeit (alternative

Modelle sind beobachtungsäquivalent) Strukturbrüche (Parameter sind keine

Naturkonstanten) partieller Charakter jedes ökonomischen Modells

Zur Kritik des probabilistischen Ansatzes (4)

((1111) )

Zur Kritik des probabilistischen Ansatzes (5)

Der Haavelmo-Ansatz wendet sich gegen den unkritischen Empirismus, er hat eine idealtypische Verbindung von Theorie und Empirie vor Augen.

Es ist jedoch fraglich, ob diejenigen, die sich auf den Ansatz berufen haben, diesen Anspruch tatsächlich eingehalten haben.

Kritische Fragen in diesem Zusammenhang: Wurde der Haavelmo-Ansatz missbraucht? Trägt er grundsätzliche Schwächen in sich? Wurde die Rolle, die die Theorie spielen kann,

überschätzt? Ist diese in der Lage, eine eindeutige Grundlage für die empirische Untersuchung zu liefern?

((1212) )

3.3 Die Lucas-Kritik

Ein grundsätzliches Problem einer Schätzung betrifft die unterstellte strukturelle Invarianz einer Schätzbeziehung; da ökonomische Beziehungen nicht den Status von Naturgesetzen haben, können sie sich im Zeitablauf verändern; sofern sich eine solche Veränderung abrupt vollzieht, spricht man von einem Strukturbruch; dieser kann durch Strukturbruchtests überprüft wird (sofern der Zeitpunkt der Veränderung a-priori bekannt ist: z.B. durch einen Chow-F-Test);

Lucas (1976) hat aber noch ein tiefergehendes Problem aufgezeigt: Schätzbeziehungen können sich u.U. nicht nur durch äußere Ereignisse, sondern auch aufgrund ökonomischer Modellzusammenhänge (modellendogen) verändern!

((1313) )

Die Lucas-Kritik (2)

Die Lucas-Kritik kommt insbesondere dann ins Spiel, wenn das Modell Verhaltenssteuerung durch Erwartungsbildung impliziert.

Beispiel: Es sei unterstellt, dass über einen längeren Zeitraum eine

Politik eines konstanten Geldmengenwachstums von m =5% bei einem realen Wachstum der Wirtschaft von Ŷ= 2% betrieben worden sei; die Inflationserwartungen Erwartungen haben sich demzufolge auf eine Höhe von

e = m – Ŷ = 3% eingestellt. Mit Daten für diesen Zeitraum wird nun ökonometrisch eine

Phillipskurve geschätzt, d.h. ein Zusammenhang zwischen Arbeitslosigkeit und Inflation.

((1414) )

Die Lucas-Kritik (3)Fortsetzung des Beispiels: Aus der makroökonomischen Theorie ist bekannt, dass die

Lage der Phillipskurve von den Inflationserwartungen abhängig ist; d.h. der Lageparameter der Kurve ist nur solange stabil, wie die Inflationserwartungen konstant sind;

falls nun die ökonometrisch bestimmte Phillipskurve als wirtschaftspolitische trade-off-Beziehung verstanden wird und die Politik die Beziehung ausnützen möchte (z.B. eine Reduktion der Arbeitslosigkeit durch expansive Politik anstrebt), verändern sich die Inflationserwartungen;

damit wird der trade-off instabil, die Wirkung der Politik-maßnahme wird nicht mehr durch die ursprüngliche Schätzrelation beschrieben; aufgrund der modellendogenen Veränderungen kommt es damit zu einer Fehlprognose der Politikwirkungen.

((1515) )

Die Lucas-Kritik (4)

Fortsetzung des Beispiels: Die Lucas-Kritik ist also insbesondere dann relevant, wenn

Schätzergebnisse als Grundlage wirtschaftspolitischer Eingriffe dienen und Wirtschaftssubjekte rationale Erwartungen bilden; dies kann dazu führen, dass sich durch die politische Intervention die Parameter der ökonomischen Relation verändern;man könnte von einer durch Politikmaßnahmen verursachten endogenen Instabilität der Parameter eines Modells sprechen.

((1616) )

Die Lucas-Kritik (5)

Konsequenzen Die Lucas-Kritik hat weit gehende Konsequenzen:

Selbst wenn das Modell korrekt spezifiziert ist und die Parameter im Beobachtungszeitraum stabil waren, kann sich die Modellstruktur verändern, sobald wirtschaftspolitische Eingriffe erfolgen;

damit wäre der Nutzen ökonometrischer Modelle für die Politikberatung fundamental infrage gestellt.

Für die empirische Methodik entsteht das Problem, Tests zu entwickeln, die die Stabilität des Modells bei Politikänderungen überprüfen.

((1717) )

3.4 Die Kritik von Hendry (data mining) (1)

Worauf zielt der Vorwurf des data mining im Sinne von Hendry?

Kritik an folgendem „typischen“ Vorgehen: Gegeben sei eine abhängige Variable (z.B. Konsum); gegeben sei ferner eine Menge von Variablen, die als

Regressoren in Frage kommen (z.B. das verfügbare Einkommen, Vermögen, Altersstruktur, Zinssätze, Konsumklima)

((1818) )

Die Kritik von Hendry (data mining) (2)

Es existieren dann sehr viele Variationsmöglichkeiten für den Schätzansatz, z.B. durch Veränderung der Spezifikation der

Schätzgleichung (z.B. Auswahl der Regressoren, der funktionalen Form, der Modellierung der Anpassungsprozesse)

durch Wahl des Beobachtungszeitraums durch Wahl der konkreten Daten (z.B. Auswahl

alternativer Zinssätze)Viele Varianten der Schätzgleichung können ohne

großen Aufwand berechnet werden (und werden es in der Regel auch); dadurch kann meist eine große Spannbreite von Ergebnissen generiert werden.

((1919) )

Die Kritik von Hendry (data mining) (3)

Der Suchprozess wird solange fortgesetzt, bis eine „befriedigende Variante“ gefunden ist,

d.h. der Forscher versucht eine Variante zu finden, in der Vorzeichen und Größenordnung der

Parameter den theoretischen Erwartungen (oder dem Vorurteil) entsprechen

und in der statistisch/ ökonometrische Kriterien

erfüllt, z.B. auf ein hohes R2, signifikante t-Statistiken, keine Autokorrelation etc.

Dieses Vorgehen mag auf den ersten Blick vernünftig erscheinen, ist jedoch sehr methodologisch außerordentlich problematisch!

((2020) )

Die Kritik von Hendry (data mining) (4)

Es besteht die Gefahr, dass das Ergebnis der Analyse sehr stark durch die subjektive Vormeinung der Forscher bestimmt wird.

Damit wird ein wesentliches Prinzip des wissenschaftlichen Vorgehens verletzt: die Objektivität bzw. die zu fordernde Unvoreingenommenheit gegenüber dem Ergebnis der Analyse.

Hendry karikiert dieses Vorgehen wie folgt:

„Die Daten werden solange gefoltert, bis sie gestehen.“ („If you torture the data long enough, nature will confess.“)

Er begründet seine Kritik am data mining mit Lovell´s Bias ...

((2121) )

Die Kritik von Hendry (Lovell‘s Bias) (5)Betrachtet wird ein Experiment, in dem voneinander

unabhängige Zufallszahlen aufeinander regressiert werden;

Modell1:

0 1 1

1

Bei einem -Fehler von 0.05 kann erwartet werden, dass

ˆin 5 von 100 Versuchen der geschätzte Koeffizient als

auf dem 5-Prozent-Niveau signifikant von Null verschieden

ausgewiesen wird

t t ty x

, obwohl der wahre Koeffizient Null ist.

Unterstellen wir nun, der Forscher sei an signifikanten

Ergebnissen interessiert. Angenommen, es stünden

voneinander unabhängige (zueinander orthogonale)

Regr

n

essoren zur Verfügung.

((2222) )

-

Die Wahrscheinlichkeit, nach Versuchen "Erfolge" zu

haben, bestimmt sich nach der Binomial-Verteilung:

( ) = (1 - )

mit als Erfolgswahrscheinlichkeit, also .

Die Wahrscheinlic

k n k

n k

nP Z k p p

k

p p

0 10 10

hkeit, bei =10 Versuchen

signifikanten Koeffizienten zu erhalten, beträgt:

10 ( 0) = 0.05 (0.95) 0.95 = 0.5987

0

n

P Z

keinen

Die Kritik von Hendry (Lovell‘s Bias) (6)

((2323) )

Im Umkehrschluss:

Bereits bei 10 Versuchen gibt es eine Wahrscheinlichkeit

von mehr als 40 Prozent, mindestens einen "signifikanten"

Zusammenhang zwischen einer reinen Zufallsvariablen und

zu findenty .

Der tatsächliche Fehler erster Art beträgt

somit = 1 0.5987 = 0.4013

und nicht 0.05, wie vorgespiegelt wird.

Die Diskrepanz zwischen dem vorgeblichen und tatsächlichen

Fehler erster Art nennt m

an (Lovell 1983).Lovell's bias

Die Kritik von Hendry (Lovell‘s Bias) (7)

((2424) )

0 1 1 2 2

1 2

Lovell's bias ist im Fall einer multiplen Regression weniger

wahrscheinlich, dennoch nicht zu vernachlässigen:

die Wahrscheinlichkeit, dass

"sig

t t t ty x x

Modell 2 :

sowohl als auch

1 2

1 2

100

nifikant von Null" sind, beträgt:

ˆ ˆP( signifik.) P( signifik.)=

ˆ ˆ1 P( nicht signifik.) 1 P( nicht signifik.)

Wk. bei einmaliger Versuch: 0.05 0.05 0.0025

Wk. bei 100 Versuchen: (1 0.0025) 0.77

86

Auch wenn die W'keit, keinen Doppelerfolg zu erzielen,

auf 0.7786 gesunken ist, ist in etwa 22% der Fälle, in denen aus

100 Versuchen ausgewählt wird, mindestens eine Schätzung

mit zwei scheinbar s

ignifikanten Koeffizienten dabei.

Die Kritik von Hendry (Lovell‘s Bias) (8)

((2525) )

/

Wenn Regressoren aus Kandidaten ausgesucht werden

und ein nominelles Signifikanzniveau gewählt wurde, so

beträgt das nur mehr

= 1 (1

tatsächliche Signifikanzni

)

oder approximati :

veau

v

c k

k c

c=10; k=2; 0.05

0

Bei

.25

spiel

=

:

25%

ck

Die Kritik von Hendry (Lovell‘s Bias) (9)

((2626) )

0

Bei Auswahl aus unabhängigen Zufallsvariablen beträgt

die Wahrscheinlichkeit für das Ergebnis

auf dem 5%-Niveau signifikanter Koeffizient:

( 0) = 0.05 (1 - 0.05) (1 - 0.05)0

c c

c

cP Z

kein

genau

1 1 1

auf dem 5%-Niveau signifikanter Koeffizient:

( 1) = 0.05 (1 - 0.05) 0.05 (1 - 0.05)1

auf dem 5%-Niveau signifikante

Koeffizienten:

( 1) 1 ( 0) ( 1)

c ccP Z c

P Z P Z P Z

ein

mindestens zwei

Die Kritik von Hendry (Lovell‘s Bias) (10)

((2727) )

Experiment für Modell 2: Auswahl von 2 Regressoren aus c unabhängigen Zufallsvariablen

SignifikanteKoeffizienten

Wahrscheinlichkeit bei Auswahl aus c Kandidaten

2 5 10 20 100

0 0.903 0,774 0,599 0,358 0,006

1 0.095 0,204 0,315 0,377 0,031

mind. 2 0.0025 0.023 0.086 0.264 0.962

5% 12% 22,6% 40,1% 92,3%

Die Kritik von Hendry (Lovell‘s Bias) (11)

Berechnung