systematic reviews und meta-analysen in der ... · was ist ein systematic review? 3 -konkrete...
TRANSCRIPT
Applied Statistics and Informatics
in Life Sciences
Schnickmannstr. 4· 18055 Rostock · Germany
Systematic Reviews
und Meta-Analysen
in der agrarwissenschaftlichen
Forschung
2015-06-25
Kerstin Schmidt, Jörg Schmidtke
Motivation
2
Doré, T. et al. (2011):
We suggest that agronomists make more use of
meta-analysis and comparative system studies,
these two types of methods being commonly
used in other disciplines but barely used in
agronomy. Meta-analysis would make it possible
to quantify variations of cropping system
performances in interaction with soil and climate
conditions more accurately across environments
and socio-economic contexts.
CSA News. 05/2014 CSA News. 05/2015
Lortie, CJ (2014)
Narrative reviews are dead.
Long live systematic reviews
(and meta-analyses).
Was ist ein Systematic Review?
3
-Konkrete wissenschaftliche
Fragestellung
-Festgelegtes Protokoll zur Suche
nach Publikationen, Studien,
Forschungsberichten
-Qualitative Bewertung der Studien
-Meta-Analyse der Studienergebnisse
Reproduzierbare, unverzerrte und
umfassende Übersicht relevanter
Studien
Qualitative und quantitative
Zusammenfassung der aktuell besten
Beweise für Entscheidungen in der
Landwirtschaft
Mehr als eine Literatur-Recherche?
4
Literature search
Narrative Review
Literature search
Scoping Review /
Evidence Map
Focused & explicit
review question
Search strategy
Inclusion& exclusion criteria
Documentation of the review
+
Im Gegensatz zu narrativen Literaturrecherchen folgen Systematic reviews
strikten Standards und einer rigorosen Methodik: mithilfe einer
Suchstrategie mit vorab genau definierten Suchbegriffen wird nach allen
Publikationen, die sich mit einer spezifizierten Fragestellung befassen,
gesucht. Die Auswahl relevanter Studien erfolgt anhand von vorab
definierten Ein- und Ausschlusskriterien.
Das Plus: Qualitätskontrolle und Meta-Analysen
5
Zusätzlich, wird die methodische
Qualität der Studien bewertet. Wenn
möglich, werden die Ergebnisse
quantitativ synthesiert (statistische
Meta-Analyse).
Literature search Literature search
Narrative Review Scoping Review /
Evidence Map
Focused & explicit
review question
Search strategy
Inclusion& exclusion criteria
Documentation of the review
+
Literature search
Systematic Review
Focused & explicit
review question
Search strategy
Inclusion& exclusion criteria
Documentation of the review
Methodological quality
assessment of studies
Quantitative data synthesis
(meta-analysis)
+
+
Wofür steht das „systematic“?
6
Die Fragestellung definiert den Rahmen des Reviews:
P: Population of interest
e.g. Pflanzenart(en) oder Pflanzenprodukt(e), ein Lebens- oder
Futtermittel, ein Management-System
I/ E: Invention or Exposure
e.g. ein Zusatzstoff für Lebens- oder Futtermittel, ein Pflanzenschutz-
mittel, ein Pflanzenschädling
C: Comparator (reference scenario against the I or E)
e.g. eine Kontroll- oder Referenzgruppe, eine Population ohne
invention/ exposure, verschiedene Dosierungen
O: Outcome of interest (variables for which data are collected)
e.g. messbare Eigenschaften oder Populationen, wie toxische
Effekte, der Schädlingsbefall, der Ertrag
… und eine systematische Methode
7
Suchstrategie:
Elektronische Datenbanken WWW websites
- Web of Science - google - EFSA
- PubMed - Scholar - FDA
- FSTA
…
Suchbegriffe Suchgleichungen
Einschränkungen:
Datum der Veröffentlichung
Sprache der Veröffentlichung
…
Ein- und Ausschlusskriterien
Werkzeuge
8
Zugang zu elektronischen Datenbanken
Referenzmanagement Software
Zugriff auf Volltexte
Standard
Arbeitsanweisungen
Schritte eines Systematic Reviews
9
1 Vorbereitung des Reviews (Protokoll)
3 Auswahl von Studien nach Ein- und Ausschlusskriterien
2 Suche nach Publikationen/ Studien
6 Synthese der Daten aus den Studien – Meta Analyse
5 Bewertung der methodologischen Qualität der Studien
4 Extraktion der Informationen aus den eingeschlossenen
Studien und Erstellung von Evidenz-Tabellen
8 Interpretation der Ergebnisse und Schlussfolgerungen
7 Präsentation der Daten und Ergebnisse
Vorbereitung des Reviews: das Protokoll
10
Adminstrative Angaben (Reviewer team, Zeitplan, Ressourcen)
Beschreibung des Hintergundes/ Motivation
Ziel
Typ des Reviews
Review Frage (P – population, I/E – invention or
exposure, C – comparator, O – outcome)
Methode
Suchstrategie (Suchbereiche, Datenbanken, andere
Quellen, Suchmaschinen, Einschränkungen)
Suchbegriffe, Suchgleichung(en)
Auswahlkriterien (Ein- Ausschluss)
Dokumentation des Reviews
11
The PRISMA statement Moher, D., Liberati, A., Tetzlaff, J., & Altman, D.
G. (2009). Preferred reporting items for
systematic reviews and meta-analyses: the
PRISMA statement. PLoS medicine, 6(7),
e1000097. doi:10.1371/journal.pmed.1000097
Flow chart
Meta-Analyse
12
Forest plot
Summary forest plot
Funnel plot
Anzures-Cabrera, J., & Higgins, J. P. T. (2010).
Graphical displays for meta-analysis: An overview
with suggestions for practice. Research Synthesis
Methods, 1(1), 66–80. doi:10.1002/jrsm.6
Beispiel: gesundheitliche Effekte von PSM
13
Was sind potentielle gesundheitliche Probleme(O) bei
Arbeitskräften in der Landwirtschaft (P), die mit PSM arbeiten
(E), verglichen mit anderen Berufsgruppen (C)?
Negative Auswirkungen auf die menschliche Gesundheit
Effekte auf nerologische Funktionen
Zusammenhang zwischen Pflanzenschutzmittel-
Exposition und Parkinson Krankheit
Spezifizierung
von O
Arbeit mit Insektiziden
Arbeit mit DDT Spezifizierung
von E
Beispiel: Umweltwirkungen von PSM
14
Was sind potentielle Effekte (O) auf die Umwelt (P) in Gebieten
wo PSM ausgebracht werden (E) im Vergleich zu
nichtbehandelten Bereichen (C)?
Negative Auswirkungen auf die Umwelt
Auswirkungen auf Nicht-Ziel-Organismen
Auswirkungen auf Insekten
Auswirkungen auf Schmetterlings-Populationen
Spezifizierung
von O
Ausbringen von Insektiziden
Ausbringen von Bt Insektiziden
Ausbringen von B.t. aizawai
Spezifizierung
von E
Richtlinien • CEBC (2008): Guidelines for systematic Review in Conservation and
Environmental Management
• CRD (2009): Systematic Reviews, CRD’s Guidance for undertaking reviews
in Health Care
• EFSA (2010): Application of systematic review methodology to food and
feed safety assessments to support decision making
• FDA (2009): Evidence-based Review System for the Scientific Evaluation of
Health Claims
• Higgins and Green (2009): Cochrane Handbook for Systematic Reviews of
Interventions
• Kohl et al. (2013): Developing a good practice for the review of evidence
relevant to GMO risk assessment
• Moher, D., Liberati, A., Tetzlaff, J., & Altman, D. G. (2009). Preferred
reporting items for systematic reviews and meta-analyses: the PRISMA
statement.
• Sargeant et al. (2005): A Guide to Conducting Systematic Reviews in Agri-
Food Public Health 15
Anzahl Reviews/ Meta-Analysen „Agrar“
16
Scopus Search
„systematic Review“ OR „meta analysis“
Publ. nach 1989
Auswahlprozess relevanter Reviews
17
Website
AgroParisTech
(75)
Scopus
Search
(75)
Screened
for
duplicates
(225)
Other
sources
(8)
Titles
screened
(191)
Duplicates
removed
(34)
Abstracts
screened
(185)Records
excluded
(75)Records
included
(110)
Web of
Sciences
(81)
Records
excluded
(6)
Fragestellungen
18
Cultivation
method
(83)
Environment
(20)
Breeding,
genetic traits
(7)
Crop traits
(32)
Environment
(20)
Soil
conditions
(14)
Crop traits &
Soil conditions
(13)
Pest & Weed
control (4)
Crop traits
(16)
Crop traits &
Soil
conditions (1)
Pest control
(3)
Crop traits
(7)
Agronomic
reviews (110)
19
Schnickmannstraße 4
18055 Rostock
Germany
Phone: +49 381 375661-0
Fax: +49 381 375661-18
E-Mail: [email protected]
Internet: www.biomath.de
Applied Statistics and Informatics
in Life Sciences