jahrestagung arbeitskreis evaluation und qualitätssicherung 2012 24.05.2012 summatives assessment...
TRANSCRIPT
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Summatives Assessment undformatives Progress Testing
Kombination zweier Evaluationsformen im Bereich der Dozentenrückmeldung, des Studierenden-Mentorings und der curricularen Weiterentwicklung
Johann AriasAlexander Schiffel
Sonja FinstererWolfgang DottMelanie Simon
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Bausteine eines Evaluationsergebnisses
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Bausteine eines Evaluationsergebnisses
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
• Gründe– Erreichen des „Ziels“– Curriculare
Weiterentwicklung– Verpflichtung
• „… den gesetzlichen Anforderungen wird Genüge getan“
• meist ohne Auswirkungen
Evaluation in der Lehre
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
• Evaluation wird zum Selbstzweck?– Potential für die
Qualitätssicherung wird nicht erkannt
• Evaluation wird zu Entscheidungen missbraucht?– Negatives Image– Opinion based vs. Evidence
based
Kromrey, H. [2005]
Probleme der Lehrevaluation
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Ziele der Lehre
• Welche Ziele hat ein Studiengang?– „Ziel […] ist der wissenschaftlich und praktisch in der Medizin ausgebildete Arzt
[…]. Die Ausbildung soll grundlegende Kenntnisse, Fähigkeiten und Fertigkeiten in allen Fächern vermitteln, […]“ (ÄAppO, 2003)
• Wie sollen die Ziele erreicht werden?– Qualität in der Lehre (Identifizieren und Beheben
von Problemen)– Vermittlung von Wissen und Kompetenzen der
Absolventen
• Woran erkennt man die Zielerreichung?– Befragen der Zielgruppen und
Prüfungsergebnisse
Spiel, C. [2011]
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
• Studentische Lehrveranstaltungs-Evaluation– Vorteile
• bewährte standardisierte Fragebögen• Hoher Erfahrungswert
– Probleme• Hoher Einfluss individueller Studienmotivation und
Erwartungshaltung• Image des/der Dozenten/Dozentin und keine
Vergleichsmöglichkeit• Positive Bewertung der Lehrveranstaltung nicht gleichbedeutend
mit Lernerfolg
Welche Formen der Evaluation stehen aktuell zur Verfügung? (1)
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
• Outcome-basierte Prüfungen
– Summativ– Formativ
– Messung von Wissenszuwachs und Kompetenz durch Prüfungen• Kursnoten und sonstige Testergebnisse sind Indikatoren für Qualifikation
– Herausforderungen• Qualität der Prüfungsfragen (Relevanz, Aussagekraft)
=> Reviewprozess
Welche Formen der Evaluation stehen aktuell zur Verfügung? (2)
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Aachener Modellstudiengang Medizin
1. Ärztl. Prüfung
2. Ärztl. Prüfung
1.+2. Studien-abschnitt
3. Studien-abschnitt & PJ
Progress Tests Progress Tests
60 Kursprüfungen summativ fachbezogen
2 Staatsexamina summativ allgemein
12 Progress Tests formativ allgemein
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
• Idee entstanden in den 70er Jahren• Vorreiter in NL und GB• Organisiert von der Charité, Berlin
(seit 1999)• Kooperation zwischen 15
Medizinischen Fakultäten- Fakultätsvergleiche
• Zentrale Fragendatenbank- Reviewprozesse
• 200 MC-Fragen auf Absolventenniveau
• Blueprint 14 Organsysteme,27 Fachgebiete
Progress Test Medizin (PTM)
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
• Idee entstanden in den 70er Jahren• Vorreiter in NL und GB• Organisiert von der Charité, Berlin
(seit 1999)• Kooperation zwischen 15
Medizinischen Fakultäten- Fakultätsvergleiche
• Zentrale Fragendatenbank- Reviewprozesse
• 200 MC-Fragen auf Absolventenniveau
• Blueprint 14 Organsysteme,27 Fachgebiete
Progress Test Medizin (PTM)
Organsystem Anzahl FragenAllgemeine Krankheitslehre 10Atmungsorgane 22… ..… ..… ..… ..… ..… ..… ..… ..… ..… ..… ..… ..
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Synthese der Evaluationsformen
Evaluations-Datenbank
Progress Test
Ergebnisse
Summative Ergebnisse
PTM Ergebnisse
Stud.LV-Evaluation
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Bezüge zwischen summativen und formativen Ergebnissen
Kurse
Aachener Curriculum
Progress Test
Organsysteme
Fachgebiete
MC-Fragen
1 MC-Frage : 1 Organsystem + 1 Fachgebiet
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Bezüge zwischen summativen und formativen Ergebnissen
Kurse
Aachener Curriculum
Progress Test
Organsysteme
Fachgebiete
MC-Fragen
1 MC-Frage : 1 Organsystem + 1 Fachgebiet1 Kurs : n Organsysteme + m Fachgebiete
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Bezüge zwischen summativen und formativen Ergebnissen
Kurse
Aachener Curriculum
Progress Test
Organsysteme
Fachgebiete
MC-Fragen
1 MC-Frage : 1 Organsystem + 1 Fachgebiet1 Kurs : n Organsysteme + m Fachgebiete=> 1 MC-Frage : x Kurse
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
?Wissensentwicklung im
Curriculum
Vergleiche von Evaluationsformen
Dozenten-Rückmeldung
Studierenden-Rückmeldung
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Wissensentwicklung Gesamt
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Wissensentwicklung Atmungsorgane
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Wissensentwicklung Atmungsorgane
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Wissensentwicklung Atmungsorgane
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Wissensentwicklung Atmungsorgane
WS 10/11
WS 10/11 WS 10/11
WS 10/11
WS 10/11
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
?Wissensentwicklung im
Curriculum
Vergleiche von Evaluationsformen
Dozenten-Rückmeldung
Studierenden-Rückmeldung
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
• Gibt es übereinstimmende Tendenzen beider Evaluationsformen?
– „Der persönliche Lerneffekt für mich war…“:– 1- sehr hoch bis 6- nicht vorhanden
Fragestellungen an den Vergleich PTM/Studentische LV-Evaluation
=?
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Vergleich PTM/Studentische LV-Evaluation
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
„Der persönliche Lerneffekt für mich war…“: 1- sehr hoch bis 6- nicht vorhanden
Vergleich PTM/Studentische LV-Evaluation
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
?Wissensentwicklung im
Curriculum
Vergleiche von Evaluationsformen
Dozenten-Rückmeldung
Studierenden-Rückmeldung
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Rückmeldung an Dozenten
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Rückmeldung an Dozenten
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
?Wissensentwicklung im
Curriculum
Vergleiche von Evaluationsformen
Dozenten-Rückmeldung
Studierenden-Rückmeldung
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
• Beratung in der Medizinischen Fakultät seit 2003- Ein Berater pro Jahrgang (jeweils ca. 250
Studierende)- Gruppen- und Einzelgespräche
• Ziele– Verbesserung der Prüfungsleistungen– Studiendauer reduzieren– Frühzeitiges Erkennen von Bedürfnissen,
Problemen und Potentialen• Studierende gezielter kontaktieren
– Self-Assessment fördern
Mentoring Konzept
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Student A Student B
Kurzübersicht
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Vergleich Summativ/Formativ
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Vergleich Summativ/Formativ
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
• Identifizierung vorhandener Evaluationsformen– Zusammenführung und Vergleich war
weiterführend
• Neue Themen in der Studierendenberatung– Bessere Einschätzung von Stärken und
Schwächen– Lerntypen identifizieren– Nachhaltigkeit von Gelerntem
Zusammenfassung
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Fazit
Stud. LV
-
Bewertung Su
mmative
Prüfunge
n
Form
ative
Prüfunge
n
Evaluation
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
Akzeptanz, Nachhaltigkeit
Valides Evaluationsergebnis
Fazit
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
• Erstellung eines Lernzielkatalogs– Eigenes Curriculum daran ausrichten und überprüfen
• Kompetenzvermittlung durch angepasste Prüfungsformate• Weg von reiner Bewertung anhand von Abschlussprüfungen
– Datenlage zur Bewertung nach Studienabschluss nicht vorhanden
• Optimierung der Evaluationsformen– Mentoringbedarf erkennen– Zugang Mentoring-Tool für Studierende– Bedarfsorientiertes Dozentenfeedback– Studentische Lehrevaluation weiter analysieren– Reviewprozess der summativen Prüfungsfragen
Ausblick
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
• An das PTM Team der Charité• Kollegen im Aachener Modellstudiengang
Medizin
Vielen Dank
AACHEN
www.gma2012.de
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
• Evaluation– Von Lehrveranstaltungsevaluation zu
Curriculumsentwicklung. Spiel , GMA 2011http://www.gma2011.de/index.php?option=com_content&view=article&id=420&Itemid=581&lang=en
– Zwischen Selbstzweck und Qualitätsmanagement. Quo vadis, Evaluatione? Spiel et al. In C. Spiel (Hrsg.), Evaluation universitärer Lehre - zwischen Qualitätsmanagement und Selbstzweck (S. 9-20). Münster: Waxmann., 2001
– Selbstevaluation in der Lehre. Beywel et al. Waxmann 2011
– Studierendenbefragung als Evaluation der Lehre? – Anforderung an Methodik und Design. Kromrey. Hg: Engel, Hochschulranking. Zur Qualitätsbewertung von Studium und Lehre, Campus Verlag, Frankfurt M., 2001
Literatur
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
• Progress Testing– Progress testing in German speaking countries. Nouns & Georg. Medical Teacher 2010.
– Progress Testing- ein Verfahren zur detaillierten Leistungsdarstellung und Lehrevaluation auf Basis der Wissensentwicklung von Studierenden. Nouns & Brauns. Blickpunkt Hochschuldidaktik 2008.
– Flexible electronic feedback using the virtues of progress testing. Muijtjens et al. Medical teacher 2010.
– Medical Teacher. Progress Testing Themed Issue. Volume 32, Number 6, June 2010, AMEE
• Mentoring– Querschnittsevaluation des Medizinischen Curriculums München (MeCuM) mit
Hilfe des Progress Tests Medizin (PTM). Schmidmaier et al. GMS Z Med Ausbild 2010.
– Aufbau eines innovativen Mentorenprogramms für eine große Zahl Medizinstudierender nach quantitativer und qualitativer Bedarfsanalyse. von der Borch et al. GMS Z Med Ausbild 2011, Vol. 28(2)
Literatur
Jahrestagung Arbeitskreis Evaluation und Qualitätssicherung 2012 24.05.2012
• Welche Ziele hat ein Studiengang?• Wie sollen die Ziele erreicht werden?• Woran erkennt man die Zielerreichung?• Sind die entsprechenden Ressourcen
vorhanden?
• Evaluationsformen an Ihrer Fakultät?• Progress Test in anderen Fachrichtungen?• Lernzielkatalog für andere Fachrichtungen?• Reviewprozesse für Kursprüfungsfragen?
Diskussion