kritische beurteilung von meta-analysen · pdf filebjelakovic g, nikolova d, gluud ll,...
Post on 05-Feb-2018
215 Views
Preview:
TRANSCRIPT
Gero Langer
Warum reichen Bücher nicht aus als Wissensquelle?
(vgl. Antman et al., 1992)
Bücher?
Rule 31: Review the World Literature Fortnightly London, O. (1987): Kill As Few Patients As Possible. Ten Speed Press
Zeitschriften?
1
10
100
1.000
10.000
100.000
1.000.000
195
0
195
2
195
4
195
6
195
8
196
0
196
2
196
4
196
6
196
8
197
0
197
2
197
4
197
6
197
8
198
0
198
2
198
4
198
6
198
8
199
0
199
2
199
4
199
6
199
8
200
0
200
2
200
4
200
6
200
8
PubMed Subset Nursing Journals Clinical Trials RCTs Meta-Analysen Practice Guideline
Daten generiert mit http://dan.corlan.net/medline-trend.html
Anzahl jährlich neu hinzugekommene Artikel in PubMed
~50/Tag
~2.370/Tag
~10/Tag
~3/Tag
Kollegen?
Hydrokolloidverband vs. Konventioneller Gaze-Verband und die Heilung chronischer Wunden
Sie brauchen eine Systematische Übersichtsarbeit oder – noch besser – eine Meta-Analyse!
Review: Hydrocolloid occlusive dressing versus conventional gauze dressing in the healing of chronic wounds
Comparison: 01 Gauze dressing vs. hydrocolloid dressing
Outcome: 01 Complete healing of wounds
Study Gauze Hydrocolloid RR (fixed) Weight RR (fixed)
or sub-category n/N n/N 95% CI % 95% CI
Backhouse et al. 22/28 21/28 10.36 1.05 [0.79, 1.40]
Gorse & Messner 26/52 54/76 21.65 0.70 [0.52, 0.96]
Alm et al. 4/25 17/31 7.49 0.29 [0.11, 0.76]
Cordts et al. 6/20 8/23 3.67 0.86 [0.36, 2.06]
Xakellis & Chrischil 18/21 16/18 8.50 0.96 [0.76, 1.22]
Colwell et al. 1/49 11/48 5.49 0.09 [0.01, 0.66]
Arnold et al. 14/47 11/46 5.49 1.25 [0.63, 2.45]
Ohlsson et al. 2/14 7/14 3.45 0.29 [0.07, 1.14]
Kim et al. 14/18 21/26 8.48 0.96 [0.71, 1.31]
Hansson 7/49 5/48 2.49 1.37 [0.47, 4.02]
Viciano et al. 11/15 17/23 6.62 0.99 [0.67, 1.47]
Srivastava et al. 23/50 33/50 16.29 0.70 [0.49, 1.00]
Total (95% CI) 388 431 100.00 0.77 [0.67, 0.89]
Total events: 148 (Gauze), 221 (Hydrocolloid)
Test for heterogeneity: Chi² = 25.08, df = 11 (P = 0.009), I² = 56.1%
Test for overall effect: Z = 3.60 (P = 0.0003)
0.1 0.2 0.5 1 2 5 10
Favours Hydrocolloid Favours Gauze
(vgl. Singh et al., 2004)
Die Geschichte der Meta-Analyse
Karl Pearson führte verschiedene Studienergebnisse zur Wirksamkeit von Typhusimpfungen unter Berücksichtigung ihrer Genauigkeit zusammen Pearson, K. (1904): Report on certain
enteric fever inoculation statistics. BMJ, 3, 1243-1246.
Smith & Glass führten 1977 den Begriff Meta-Analyse ein, als sie zur Untersuchung der Wirksamkeit von Psychotherapien die Ergebnisse von 375 Studien mittelten Smith, ML & Glass, GV (1977): Meta-
analysis of psychotherapy outcomestudies. Amer Psycho, 32, 752-760.
Begriffe
Übersichtsarbeit (narrative Review, Overview) alles zu einem Thema wird gesucht, z.B. Publikationen,
Meinungen was wichtig erscheint, wird aufgenommen, (subjektiv)
Unwichtiges ignoriert
Systematische Übersichtsarbeit (Systematic Review) Übersichtsarbeit über Primärstudien, die vorher definierte Ein-
und Ausschlußkriterien und eine festgelegte, reproduzierbare Methode der Datensammlung und Auswertung enthalten
Meta-Analyse (Meta-Analysis) Teil einer Systematischen Übersichtsarbeit gemeinsamer Schätzer für den Therapieeffekt wird aus den
Ergebnissen einzelner, gewichteter Studien berechnet (gepoolt)
Kumulative Meta-Analyse Meta-Analyse, in der die Primärstudien chronologisch
angeordnet sind und dann für jede neue hinzukommende Studie ein neuer gemeinsamer Effektschätzer berechnet wird
…noch mehr Begriffe!
Rapid Review Einschränkung beim Aufwand, z.B. weniger sensitive
Recherche, schnellere Qualitätsbeurteilung, narrative oder tabellarische Zusammenfassung
Scoping Review Vorläufige Einschätzung von Art und Umfang der
Literatur zu einem Thema; keine Qualitätsbeurteilung
Meta-Synthese Inhaltliche Zusammenfassung qualitativer Arbeiten zu
einem Thema
Umbrella Review Zusammenfassung von Meta-Analysen und
Systematischen Übersichtsarbeiten; breit angelegt
Network Meta-Analysis Indirekte Vergleiche werden aus Einzelstudien
abgeleitet Studie 1: A vs. B/Studie 2: A vs. C → B vs. C
Network geometry of well-connected network of randomized controlled trials (RCTs) evaluating stroke prevention among populations with atrial fibrillation
Mills E J et al. BMJ 2013;346:bmj.f2914
Systematische Übersichtsarbeit bzw. Meta-Analyse: Pro & Contra
Schlußfolgerungen sind zuverlässiger und präziserunterschiedliche Ergebnisse und Studien können zu
neuen Hypothesen über Subgruppen führenAussagen über die Tendenz eines Effektes sind
möglich, wenn vorhandene Studien heterogen oder von schlechter Qualität sind
objektiver Überblick über Evidence-Lagemehrere kleine, oft unterpowerte Studien können
einen Effekt aufzeigenÜbertragbarkeit auf den konkreten Einzelfall unter
Umständen problematischGeneralisieren ohne Subgruppen kann zu fehlerhaften
Hypothesen führen – manchmal werden »Äpfel und Birnen« in einen Topf geworfen und daraus gemeinsame Schlußfolgerungen abgeleitet
Verringern Antioxidantien (Vitamin A, C, E; Selen;
-Carotin) wirklich die Sterblichkeit?
Objective: To assess the beneficial and harmful effects of antioxidant supplements for prevention of mortality in adults Bjelakovic G, Nikolova D, Gluud LL, Simonetti RG, Gluud C
(2012): Antioxidant supplements for prevention of mortalityin healthy participants and patients with various diseases. Cochrane Database of Systematic Reviews, 3. CD007176.
78 randomisierte, placebo-kontrollierte Studien mit insgesamt 296.707 Teilnehmern wurden eingeschlossen
Gesamtergebnis: Mortalität 11,7% vs. 10,2% REM: RR 1,02 (CI95% 0,98; 1,05) FEM: RR 1,03 (CI95% 1,01; 1,05)
Studien mit niedrigem Bias-Risiko: -Carotin: 13,8% vs. 11,1%; RR 1,05 (CI95% 1,01; 1,09) Vitamin E: 12,0% vs. 10,3%; RR 1,03 (CI95% 1,00; 1,05) Vitamin A, Vitamin C und Selen: statistisch nicht signifikant
Cochrane Review:Schritte bei der Erstellung
Registrierung des Themas
Ausarbeitung des Protokolls
(Hintergrund, Ziele, Methoden, Ein- und Ausschlußkriterien,
Suchstrategie)
InternationalePeer-Review
Erstellung der Systematischen Übersichtsarbeit:
Recherche: Datenbanken, Handsuche,
Referenzen, Autoren,Experten
Studienauswahl: Ein- und Ausschlußkriterien
Qualitätsbeurteilung:Validität, Bias-Quellen
Sammlung der Rohdaten
Analyse und Interpretation der Ergebnisse:
Subgruppen, Poolen,Forest-Plot,
Anwendbarkeit
Regelmäßige Updates
Publikation der Review in der
Cochrane Library
Internationale Peer-Review
Publikation des Protokolls in der Cochrane Library
Publikation von SRs/MAs:Das PRISMA-Statement
PRISMA: Preferred Reporting Items for Systematic Reviews and Meta-Analyses
Checkliste und FlußdiagrammEntwickelt aus QUOROMPrimärartikel und detaillierte Darstellung:
Moher, D., Liberati, A., Tetzlaff, J., Altman, D.G. & The PRISMA Group (2009): Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement. PLoS Med 6(7): e1000097.
Liberati, A., Altman, D.G., Tetzlaff, J., Mulrow, C., Goetzsche, P.C. et al. (2009): The PRISMA Statement for Reporting SystematicReviews and Meta-Analyses of Studies That Evaluate Health Care Interventions: Explanation and Elaboration. PLoS Med 6(7): e1000100.
http://www.prisma-statement.org/Registrierung z.B. über http://www.crd.york.ac.uk/prospero/
PRISMA: Flußdiagramm
Records identified throughdatabase searching
(n = )
Additional records identifiedthrough other sources
(n = )
Records after duplicates removed(n = )
Records screened(n = )
Records excluded(n = )
Full-text articlesassessed for eligibility
(n = )
Full-text articlesexcluded, with
reasons(n = )
Studies included in qualitative synthesis
(n = )
Studies included in quantitative synthesis
(meta-analysis)(n = )
Section/topic # Checklist item Reported on page #
TITLE
Title 1 Identify the report as a systematic review, meta-analysis, or both.
ABSTRACT
Structured summary 2 Provide a structured summary including, as applicable: background; objectives; data sources; study eligibility criteria, participants, and interventions; study appraisal and synthesis methods; results; limitations; conclusions and implications of key findings; systematic review registration number.
INTRODUCTION
Rationale 3 Describe the rationale for the review in the context of what is already known.
Objectives 4 Provide an explicit statement of questions being addressed with reference to participants, interventions, comparisons, outcomes, and study design (PICOS).
METHODS
Protocol and registration
5 Indicate if a review protocol exists, if and where it can be accessed (e.g., Web address), and, if available, provide registration information including registration number.
Eligibility criteria 6 Specify study characteristics (e.g., PICOS, length of follow-up) and report characteristics (e.g., years considered, language, publication status) used as criteria for eligibility, giving rationale.
Information sources 7 Describe all information sources (e.g., databases with dates of coverage, contact with study authors to identify additional studies) in the search and date last searched.
Search 8 Present full electronic search strategy for at least one database, including any limits used, such that it could be repeated.
Study selection 9 State the process for selecting studies (i.e., screening, eligibility, included in systematic review, and, if applicable, included in the meta-analysis).
Data collection process 10 Describe method of data extraction from reports (e.g., piloted forms, independently, in duplicate) and any processes for obtaining and confirming data from investigators.
Data items 11 List and define all variables for which data were sought (e.g., PICOS, funding sources) and any assumptions and simplifications made.
Risk of bias in individual studies
12 Describe methods used for assessing risk of bias of individual studies (including specification of whether this was done at the study or outcome level), and how this information is to be used in any data synthesis.
Summary measures 13 State the principal summary measures (e.g., risk ratio, difference in means).
Synthesis of results 14 Describe the methods of handling data and combining results of studies, if done, including measures of consistency (e.g., I2) for each meta-analysis.
Section/topic # Checklist item Reported on page #
Risk of bias across studies
15 Specify any assessment of risk of bias that may affect the cumulative evidence (e.g., publication bias, selective reporting within studies).
Additional analyses 16 Describe methods of additional analyses (e.g., sensitivity or subgroup analyses, meta-regression), if done, indicating which were pre-specified.
RESULTS
Study selection 17 Give numbers of studies screened, assessed for eligibility, and included in the review, with reasons for exclusions at each stage, ideally with a flow diagram.
Study characteristics 18 For each study, present characteristics for which data were extracted (e.g., study size, PICOS, follow-up period) and provide the citations.
Risk of bias within studies
19 Present data on risk of bias of each study and, if available, any outcome level assessment (see item 12).
Results of individual studies
20 For all outcomes considered (benefits or harms), present, for each study: (a) simple summary data for each intervention group (b) effect estimates and confidence intervals, ideally with a forest plot.
Synthesis of results 21 Present results of each meta-analysis done, including confidence intervals and measures of consistency.
Risk of bias across studies
22 Present results of any assessment of risk of bias across studies (see Item 15).
Additional analysis 23 Give results of additional analyses, if done (e.g., sensitivity or subgroup analyses, meta-regression [see Item 16]).
DISCUSSION
Summary of evidence 24 Summarize the main findings including the strength of evidence for each main outcome; consider their relevance to key groups (e.g., healthcare providers, users, and policy makers).
Limitations 25 Discuss limitations at study and outcome level (e.g., risk of bias), and at review-level (e.g., incomplete retrieval of identified research, reporting bias).
Conclusions 26 Provide a general interpretation of the results in the context of other evidence, and implications for future research.
FUNDING
Funding 27 Describe sources of funding for the systematic review and other support (e.g., supply of data); role of funders for the systematic review.
Informationsquellen: „6S-Methode“ zum Auffinden der besten Evidence
Systeme
Sammlungen
Synopsen von
Synthesen
Synthesen
Synopsen von Studien
Studien
Anw
ender
(mod. nach DiCenso, 2009)
Lern
ende
Cochrane Collaboration
Archie Cochrane
»It is surely a great criticism of our profession that we have not organised a critical summary,
by specialty or sub-specialty, adapted periodically, of all relevant randomized controlled trials.« (1979)
Wo finden Sie solche Meta-Analysen?Die Cochrane Library
Cochrane Database of Systematic Reviews(CDSR; Cochrane Reviews)
8.332
Database of Abstracts of Reviews of Effects(DARE; Other Reviews)
30.175
Cochrane Central Register of Controlled Trials(CENTRAL; Clinical Trials)
780.942
Cochrane Methodology Register (CMR; Methods Studies)
15.764
Health Technology Assessment Database (HTA; Technology Assessments)
13.616
NHS Economic Evaluation Database(NHSEED; Economic Evaluations)
16.067
About The Cochrane Collaboration(About; Cochrane Groups)
82
The Cochrane Library, Juni 2014
Suche nach Systematischen Übersichtsarbeiten und Meta-Analysen
Cochrane Library: http://www.thecochranelibrary.com/PubMed: http://www.pubmed.com/
Clinical Queries:
Limits:
Der Review Manager
Kostenloses Software-Paket zur Erstellung von Systematischen Übersichtsarbeiten und Meta-Analysen (Literaturverwaltung) Strukturierte Eingabe Forest Plots Funnel Plots Statistik (Heterogenitätstests, Konfidenzintervalle, p-
Werte etc.)
http://ims.cochrane.org/revman/
Literaturempfehlungen
Egger, M., Smith, G. D., & Altman, D. G. (2001). Systematic reviews in health care : meta-analysis in context (2nd ed.). London: BMJ.
Glasziou, P. (2001). Systematic reviews in health care: a practical guide. Cambridge, New York: Cambridge University Press.
Hunter, J. E., & Schmidt, F. L. (2004). Methods of meta-analysis: correcting error and bias in research findings (2nd ed.). Thousand Oaks, Calif.: Sage.
Khan, K. S., Kunz, R., Kleijnen, J., & Antes, G. (2004). Systematische Übersichten und Meta-Analysen. Ein Handbuch für Ärzte in Klinik und Praxis sowie Experten im Gesundheitswesen. Berlin, Heidelberg: Springer-Verlag.
Mulrow, C. D., & Cook, D. (1998). Systematic reviews: synthesis of best evidence for health care decisions. Philadelphia, Pa.: American College of Physicians.
Rustenbach, S. J. (2003). Metaanalyse. Eine anwendungsorientierte Einführung. Bern: Verlag Hans Huber.
Schulze, R. (2004). Meta-analysis: a comparison of approaches. Toronto: Hogrefe & Huber.
Ried 2008:Knoblauch gegen Bluthochdruck
Einschlußkriterien
Publikationsbias
Die eigene Literaturrecherche
Überschneidungen zwischen Medline, Embase und Biosis liegen bei 40%
alle drei Datenbanken zusammen decken ca. 80% der medizinischen Literatur ab
Medline enthält höchstens 50% der relevanten Artikel eines (medizinischen) Fachgebiets
für umfassende Suchen, zum Beispiel im Rahmen von Systematischen Übersichtsarbeiten oder Leitlinien,reicht eine Recherche in Medline nicht aus!
…schön, wenn nette Menschen diese Arbeit schon erledigt haben…
Medline
Biosis
Embase
Probleme bei der Literaturrecherche, die Ihnen abgenommen werden
Auffindbarkeit und Vollständigkeit der Informationen es werden mehr Studien mit signifikantem Ergebnis
publiziert → Überschätzung des Therapieeffektes (= Publication Bias)
signifikante Ergebnisse werden häufiger in englischsprachigen Zeitschriften veröffentlicht (= Foreign Language Bias)
Studien in Online-Datenbanken werden nicht sicher aufgefunden, weil elektronische Datenbanken teilweise schlecht und uneinheitlich indexiert werden (= Retrieval Bias)
unterschiedliche Syntax und Suchmöglichkeiten in verschiedenen Datenbanken
Datenbanken sind unterschiedlich zugänglich (Kosten, Sprache, Handhabung)
Publication Bias
Turner, E. H., Matthews, A. M., Linardatos, E., Tell, R. A., & Rosenthal, R. (2008). Selective publication of antidepressant trials and its influence on apparent efficacy. The New England Journal of Medicine, 358(3), 252-260.
Industrie-geförderte Studien zur Wirksamkeit von Antidepressiva
1987-2004: 74 Studienprotokolle bei FDA registriert 38 Studien: Antidepressiva wirken
→ 37 Studien publiziert 36 Studien: Antidepressiva wirken nicht oder nur vielleicht
→ 22 Studien nicht publiziert→ 11 Studien publiziert mit Auswertung, die
Ergebnisse positiver aussehen läßt→ 3 Studien mit klaren negativen Ergebnissen
publiziert
Eindruck: 93% der Studien beschreiben positive WirkungKorrekt: 51% zeigen positive Wirkung
Publikationsbias: Haben Sie etwas übersehen?
Studien mit nicht-signifikantem Ergebnis werden mit geringerer Wahrscheinlichkeit oder später publiziert häufiger in nicht-englischsprachigen Zeitschriften
veröffentlicht
es gibt graphische Methoden und statistische Tests, um das Vorhandensein eines Publikationsbias zu untersuchen Graphisch: Funnel Plot Statistisch: Egger‘s Test
jede Meta-Analyse sollte eine Untersuchung auf Publikationsbias beinhalten
Vgl. Hopewell, 2009
Funnelplot
graphische Methode zur Untersuchung des Publikationsbias
Darstellung des geschätzten Therapieeffektes und der Genauigkeit der Ergebnisse der Einzelstudien (z.B. Inverse Varianz, N) in einem Streudiagramm
Abbildung sieht wie ein Trichter aus, falls den Studien ein gemeinsamer Therapieeffekt zugrunde liegt kein Publikationsbias vorliegt
leere Flächen im Trichter deuten auf einen potentiellenPublikationsbias hin
nur eingeschränkte Aussagekraft bei geringer Anzahl von Studien
Funnelplot: Beispiel für Publikationsbias
Relatives Risiko
0,2 0,5 1,0 2,0 5,0
1,0
0,8
2,0
Invers
e V
ari
anz
publizierte Studien
alle durchgeführten bzw.noch nicht durchgeführtenStudien, die (noch) nicht publiziert wurden
Glaubwürdigkeit der eingeschlossenen Studien
Bias: systematische Verzerrung des Ergebnisses
SelectionBias
PerformanceBias
AttritionBias
Beobachter-bias
Bias
MaßnahmezurMinimierung
Randomisierung Verblindung Intention-to-Treat-Analyse
Verblindung
geeignetePatienten
InterventionsgruppeOutcome
Kontrollgruppe
kein Outcome
Outcome
kein Outcome
Rando-misierung
Zeitraum,z.B. 1 Monat
Beurteilung der Studienqualität:Häufige Bias-Quellen in RCTs
Beurteilung der Studien nachvollziehbar
Übereinstimmung der Beurteiler
Übereinstimmung von Beurteilern
Berechnung: Prozentuale Übereinstimmung Cohens κ: Interrater-Reliabilität
κ>0,7 → ausreichende Übereinstimmung
Maß für die Güte des Beurteilungsinstrumentes
Heterogenität
Wie vergleichbar sind die Studien?
Statistisch mittels Heterogenitätstests ² I²
Klinisch mittels Expertise Pflegebedürftige Setting, Umgebungsbedingungen Interventionen Interventions- und Beobachtungsdauer Assessment der Outcomes
Der ²-Test auf Heterogenität (1)
non-parametrischer Test, mit dem sich die Signifikanz der Verteilung kategorialer Merkmale bestimmen läßt
die einzelnen Werte für ², ab denen Unterschiede als zufällig betrachtet werden müssen, schwanken stark in Abhängigkeit von Freiheitsgrad und α → man mußin einem Tafelwerk nachschlagen, ab welchen Werten von ² die Unterschiede in den Merkmalen auf Zufall beruhen
Der ²-Test auf Heterogenität (2)
Faustregel: ein ²-Test spricht für zufällige Unterschiede, wenn ² einen ähnlichen oder kleineren Wert als die Freiheitsgrade hat Freiheitsgrad (df, degrees of freedom): Anzahl der
(veränderlichen) Werte minus eins → werden in einer Meta-Analyse z.B. 8 Studien gepoolt, ist df=7
Problem: ²-Test hat geringe Power, d.h. es ist unwahrscheinlich, ein statistisch signifikantes Ergebnis zu erhalten, wenn eine wirkliche Heterogenität vorliegt
nicht-signifikante Tests sollten nicht als Beleg für Homogenität genommen werden!
Der I²-Test auf Heterogenität
Systematische Übersichtsarbeiten verwenden Studien aus unterschiedlichen Settings und Populationen, mit verschiedenen Methoden und Outcomes: Heterogenität ist wahrscheinlich immer vorhanden
I²-Test: Grad der Inkonsistenz zwischen den StudienBerechnung: (²-df)÷²*100%
Interpretation: Anzahl der gesamten Variationen in den Ergebnissen der Studien, die durch Heterogenität und nicht durch Zufall erklärt werden können
100% werden nie erreicht, bei Werten >70% ist Vorsicht bei der Interpretation der Ergebnisse der Meta-Analyse angebracht
Therapieeffekte
Therapieeffekte in Meta-Analysen
Dichotome Merkmale: Relatives Risiko, Odds Ratio Absolute und Relative Risikoreduktion Interpretation wie bei Interventionsstudien
Metrische Merkmale Gewichtete Mittelwertdifferenz (WMD, Weighted Mean
Difference): Einheit = Originaleinheit bei der Messung Standardisierte Mittelwertdifferenz (SMD, Standardized
Mean Difference, Cohens d): Differenz der mittleren Effekte in der Interventions- und Kontrollgruppe geteilt durch die gepoolte Standardabweichung; Einheit = standardisierte Einheit (und nicht Originaleinheit bei der Messung)
Beispiel: Hüftprotektoren
Zu Ihrer Fragestellung haben Sie fünf Studien in Ihre Systematische Übersichtsarbeit eingeschlossen
Die Anzahl der Oberschenkelhalsfrakturen in der Gruppe mit Hüftprotektor (Intervention) wird hier mit der Frakturrate in der Gruppe ohne Protektoren (Kontrolle) verglichen
Studien und Ergebnisse sind rein fiktiv!
Tabellarische Darstellung der Ergebnisse
QuelleIntervention
(n/N)
Kontrolle
(n/N)
Relatives Risiko
CI 95% p-Wert
Studie 1 40/400 80/440 0,55 0,39;0,78 0,001
Studie 2 3/46 8/55 0,45 0,13;1,59 0,21
Studie 3 3/12 2/9 1,13 0,23;5,39 0,88
Studie 4 44/208 55/220 0,85 0,60;1,20 0,35
Studie 5 7/39 7/46 1,18 0,45;3,07 0,74
gesamt 97/705 152/770 0,71 0,53;0,96 0,02
55
Graphische Darstellung der Ergebnisse
Study Treatment Control RR (random) Weight RR (random)
or sub-category n/N n/N 95% CI % 95% CI
Studie 1 40/400 80/440 41.05 0.55 [0.39, 0.78]
Studie 2 3/46 8/55 5.06 0.45 [0.13, 1.59]
Studie 3 3/12 2/9 3.37 1.13 [0.23, 5.39]
Studie 4 44/208 55/220 41.96 0.85 [0.60, 1.20]
Studie 5 7/39 7/46 8.56 1.18 [0.45, 3.07]
Total (95% CI) 705 770 100.00 0.71 [0.53, 0.96]
Total events: 97 (Treatment), 152 (Control)
Test for heterogeneity: Chi² = 4.91, df = 4 (P = 0.30), I² = 18.6%
Test for overall effect: Z = 2.27 (P = 0.02)
0.1 0.2 0.5 1 2 5 10
Favours treatment Favours control
Der Forest-Plot
am häufigsten verwendete Abbildungsart zur zusammenfassenden graphischen Darstellung einzelner Studienergebnisse
für jede Studie wird jeweils der geschätzte Therapieeffekt mit Konfidenzintervall dargestellt
Lage des Rechtecks: Stärke des TherapieeffektesGröße des Rechtecks: Gewichtung der einzelnen
Studiewaagrechter Strich: Breite des KonfidenzintervallsRaute: gepoolte Therapieeffekte
Gewichtungsmodell
Poolen von Studienergebnissen (1)
Fraktur Ø Fraktur EER CER RR
Studie 1Protektor 4 56
6,7% 7,3% 0,91Ø Protektor 11 139
Studie 2Protektor 40 140
22,2% 24,0% 0,93Ø Protektor 12 38
59
Poolen von Studienergebnissen (1)
Fraktur Ø Fraktur EER CER RR
Studie 1Protektor 4 56
6,7% 7,3% 0,91Ø Protektor 11 139
Studie 2Protektor 40 140
22,2% 24,0% 0,93Ø Protektor 12 38
naiv gepoolt
Protektor 44 19618,3% 11,5% 1,59
Ø Protektor 23 177
Simpson'sches Paradoxon: durch das unspezifische Aggregieren von Zähldaten werden Zusammenhänge erzeugt, die in den Einzeldaten nicht existieren
60
Poolen von Studienergebnissen (2)
besser: gewichteter Mittelwert der Therapieeffekte der Einzelstudien
Methoden der Meta-Analyse unterscheiden sich in der Art der Gewichtung: Fixed-Effects-Model oder Random-Effects-Model
Fixed-Effects-Model (FEM): evtl. Unterschiede in den geschätzten Therapieeffekten
sind ausschließlich auf die Zufallsstreuung zurückzuführen (Heterogenität nicht signifikant)
Variationen liegen innerhalb einzelner Studien, nicht aber zwischen Einzelstudien vor
Random-Effects-Model (REM): Therapieeffekt darf innerhalb einer einzelnen und auch
zwischen den Einzelstudien variieren Variation folgt vorgegebener Verteilung (meist
Normalverteilung)
vi=Varianz innerhalb Studienv*=Varianz zwischen Studien
Fixed- vs. Random-Effects-Model
Annahmen sind in beiden Modellen unrealistischoftmals vergleichbare oder sogar gleiche ErgebnisseKonfidenzintervall ist bei Random-Effects-Model
breiter:→ konservativere Entscheidung (Empfehlung!)
bei starker Heterogenität: Random-Effects-Model: gleiche Gewichtung aller Studien Fixed-Effects-Model: Konfidenzintervall viel zu eng aber: Untersuchung der Ursache der Heterogenität ist
wichtiger!
Fixed-Effects-Model (FEM)
Study Treatment Control RR (fixed) Weight RR (fixed)
or sub-category n/N n/N 95% CI % 95% CI
Studie 1 40/400 80/440 52.31 0.55 [0.39, 0.78]
Studie 2 3/46 8/55 5.00 0.45 [0.13, 1.59]
Studie 3 3/12 2/9 1.57 1.13 [0.23, 5.39]
Studie 4 44/208 55/220 36.70 0.85 [0.60, 1.20]
Studie 5 7/39 7/46 4.41 1.18 [0.45, 3.07]
Total (95% CI) 705 770 100.00 0.69 [0.55, 0.87]
Total events: 97 (Treatment), 152 (Control)
Test for heterogeneity: Chi² = 4.91, df = 4 (P = 0.30), I² = 18.6%
Test for overall effect: Z = 3.12 (P = 0.002)
0.1 0.2 0.5 1 2 5 10
Favours treatment Favours control
Random-Effects-Model (REM)
Study Treatment Control RR (random) Weight RR (random)
or sub-category n/N n/N 95% CI % 95% CI
Studie 1 40/400 80/440 41.05 0.55 [0.39, 0.78]
Studie 2 3/46 8/55 5.06 0.45 [0.13, 1.59]
Studie 3 3/12 2/9 3.37 1.13 [0.23, 5.39]
Studie 4 44/208 55/220 41.96 0.85 [0.60, 1.20]
Studie 5 7/39 7/46 8.56 1.18 [0.45, 3.07]
Total (95% CI) 705 770 100.00 0.71 [0.53, 0.96]
Total events: 97 (Treatment), 152 (Control)
Test for heterogeneity: Chi² = 4.91, df = 4 (P = 0.30), I² = 18.6%
Test for overall effect: Z = 2.27 (P = 0.02)
0.1 0.2 0.5 1 2 5 10
Favours treatment Favours control
Starke Heterogenität:Random Effects Model, Mantel-Haenszel
Study or Subgroup
01
02
03
04
05
06
07
08
09
10
Total (95% CI)
Total events
Heterogeneity: Tau² = 0,18; Chi² = 120,75, df = 9 (P < 0.00001); I² = 93%
Test for overall effect: Z = 2,35 (P = 0,02)
Events
40
40
40
40
40
40
40
40
40
400
760
Total
100
100
100
100
100
100
100
100
100
500
1400
Events
60
60
60
60
60
60
60
60
60
300
840
Total
100
100
100
100
100
100
100
100
100
500
1400
Weight
9,9%
9,9%
9,9%
9,9%
9,9%
9,9%
9,9%
9,9%
9,9%
11,0%
100,0%
M-H, Random, 95% CI
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
1,33 [1,23, 1,45]
0,72 [0,55, 0,95]
Experimental Control Risk Ratio Risk Ratio
M-H, Random, 95% CI
0.5 0.7 1 1.5 2Favours experimental Favours control
Starke Heterogenität:Random Effects Model, Inverse Varianz
Study or Subgroup
01
02
03
04
05
06
07
08
09
10
Total (95% CI)
Total events
Heterogeneity: Tau² = 0,17; Chi² = 113,29, df = 9 (P < 0.00001); I² = 92%
Test for overall effect: Z = 2,42 (P = 0,02)
Events
40
40
40
40
40
40
40
40
40
400
760
Total
100
100
100
100
100
100
100
100
100
500
1400
Events
60
60
60
60
60
60
60
60
60
300
840
Total
100
100
100
100
100
100
100
100
100
500
1400
Weight
9,9%
9,9%
9,9%
9,9%
9,9%
9,9%
9,9%
9,9%
9,9%
11,1%
100,0%
IV, Random, 95% CI
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
1,33 [1,23, 1,45]
0,72 [0,55, 0,94]
Experimental Control Risk Ratio Risk Ratio
IV, Random, 95% CI
0.5 0.7 1 1.5 2Favours experimental Favours control
Starke Heterogenität:Fixed Effects Model, Mantel-Haenszel
Study or Subgroup
01
02
03
04
05
06
07
08
09
10
Total (95% CI)
Total events
Heterogeneity: Chi² = 120,75, df = 9 (P < 0.00001); I² = 93%
Test for overall effect: Z = 3,05 (P = 0,002)
Events
40
40
40
40
40
40
40
40
40
400
760
Total
100
100
100
100
100
100
100
100
100
500
1400
Events
60
60
60
60
60
60
60
60
60
300
840
Total
100
100
100
100
100
100
100
100
100
500
1400
Weight
7,1%
7,1%
7,1%
7,1%
7,1%
7,1%
7,1%
7,1%
7,1%
35,7%
100,0%
M-H, Fixed, 95% CI
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
1,33 [1,23, 1,45]
0,90 [0,85, 0,96]
Experimental Control Risk Ratio Risk Ratio
M-H, Fixed, 95% CI
0.5 0.7 1 1.5 2Favours experimental Favours control
Starke Heterogenität:Fixed Effects Model, Inverse Varianz
Study or Subgroup
01
02
03
04
05
06
07
08
09
10
Total (95% CI)
Total events
Heterogeneity: Chi² = 113,29, df = 9 (P < 0.00001); I² = 92%
Test for overall effect: Z = 0,37 (P = 0,71)
Events
40
40
40
40
40
40
40
40
40
400
760
Total
100
100
100
100
100
100
100
100
100
500
1400
Events
60
60
60
60
60
60
60
60
60
300
840
Total
100
100
100
100
100
100
100
100
100
500
1400
Weight
4,8%
4,8%
4,8%
4,8%
4,8%
4,8%
4,8%
4,8%
4,8%
56,8%
100,0%
IV, Fixed, 95% CI
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
0,67 [0,50, 0,89]
1,33 [1,23, 1,45]
0,99 [0,93, 1,05]
Experimental Control Risk Ratio Risk Ratio
IV, Fixed, 95% CI
0.5 0.7 1 1.5 2Favours experimental Favours control
FEM und REM in der Praxis…
Li, J., Zhang, Q., Zhang, M., & Egger, M. (2007): Intravenousmagnesium for acute myocardial infarction. Cochrane Database SystRev 18(2), CD002755.
MAIN RESULTS: For early mortality where there was evidence of heterogeneity, a fixed-effect meta-analysis showed no difference between magnesium and placebo groups (OR 0.99, CI95% 0.94 to 1.04), while a random-effects meta-analysis showed a significant reduction comparing magnesium with placebo (OR 0.66, CI95% 0.53 to 0.82).
Problem: 1 Riesen-Studie, die einen Null-Effekt gefunden hat, während viele kleine Studien ein OR < 1 gefunden haben; durch die REM-Analyse wird die große Studie heruntergewichtet und ihr Einfluß „verwässert“
Kumulative Meta-Analyse
= Meta-Analysen, in denen die Primärstudien chronologisch angeordnet sind und dann für jede neue hinzukommende Studie ein neues Meta-Analyse-Ergebnis dargestellt ist
Gesamtergebnis läßtsich somit über die Zeit verfolgen
Jüni, P., Nartey, L., Reichenbach, S., Sterchi, R., Dieppe, P.A., & Egger, M. (2004): Risk of cardiovascular eventsand rofecoxib: cumulative meta-analysis. The Lancet, 364 (9450), 2021-2029
top related