technology based assessment marc rittberger
DESCRIPTION
Technology Based Assessment Marc Rittberger. DIPF Frankfurt am Main 60486 Frankfurt am Main. DIPF Berlin 10243 Berlin. Inhalt. DIPF Technology Based Assessment Programme for International Student Assessment – PISA Programme for the International Assessment of Adult Competencies – PIAAC - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/1.jpg)
Seite 1
Technology Based Assessment
Marc Rittberger
DIPF Frankfurt am Main60486 Frankfurt am Main
DIPF Berlin10243 Berlin
![Page 2: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/2.jpg)
Seite 2
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA
• Programme for the International Assessment of Adult Competencies
– PIAAC
• Fazit
![Page 3: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/3.jpg)
Seite 3
Selbstverständnis:
• Erkenntnisgetriebene Grundlagenforschung, innovative Entwicklungsarbeiten und
Anwendungen zum Nutzen der Gesellschaft im Bildungsbereich
• Bildungswissenschaftliche Forschung und nationales Kompetenzzentrum für
Bildungsinformation zum Gelingen von Bildung, indem das DIPF
• Wissen über Bildung generiert
• Wissen über Bildung geordnet und strukturiert
• Wissen über Bildung aus historischer Perspektive betrachtet
• Kompetenz- und Kommunikationszentrum im Bildungswesen
• Mitglied der Leibnizgemeinschaft mit 85 weiteren Instituten
![Page 4: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/4.jpg)
Seite 4
• 260 Beschäftigte
• 18 Professuren (davon 5 Juniorprofessuren, 3
Emeritus)
• > 100 Semesterwochenstunden Lehre
• ~ 50 DoktorandInnen
• > 22 Millionen Gesamtbudget
• >11 Millionen Drittmittel
DIPF 2010
![Page 5: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/5.jpg)
Seite 5
Bildungsforschung
• Bildung und Entwicklung
• Lehr-Lern-Prozesse und kognitive Funktionen im Alter
• Bildungsqualität und Evaluation
• Schul- und Unterrichtsqualität sowie
Kompetenzdiagnostik
• Steuerung und Finanzierung
• Indikatorenforschung, Bildungsrecht und
Steuerungskonzepte im Schulwesen
PISA 09, PISA 12, PIAAC
![Page 6: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/6.jpg)
Seite 6
Bildungsinformation
• Bibliothek für Bildungsgeschichtliche Forschung
• 1870 als Deutsches Schulmuseum gegründet
• Kommunikationszentrum für die historische
Bildungsforschung
• Informationszentrum Bildung:
• ganzheitliche Unterstützung des
wissenschaftlichen Forschungsprozesses durch
Information, Technologie und Beratungsleistung
und informationswissenschaftliche Forschung PISA 09, PISA 12, PIAAC
Pedocs, LZA, SCA,
Mauswiesel, Lesen Weltweit, Tagging, IWWB
![Page 7: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/7.jpg)
Seite 7
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA
• Programme for the International Assessment of Adult Competencies
– PIAAC
• Fazit
![Page 8: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/8.jpg)
Seite 8
Technology Based Assessment
• Messung von Kompetenzen im Kontext der pädagogisch-psychologischen
Diagnostik
kontextspezifische kognitive Leistungsdispositionen
• Kompetenzmessung zur Steuerung von Bildungssystemen
stärkerer Outputorientierung
• Assessment: Beurteilung von Personen hinsichtlich bestimmter Merkmale
oder bestimmter Eignungen
![Page 9: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/9.jpg)
Seite 9
Schematische Darstellung einer Hierarchie von Test, Skala, Aufgabe und Item am Beispiel von
Testinhalten in PISA 2003 Prenzel et.a. 2003, zitiert nach Hartig & Klieme 2007
![Page 10: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/10.jpg)
Seite 10
![Page 11: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/11.jpg)
Seite 11
Technologiebasiertes Testen
• Äquivalenzproblematik Mode Effect Studies
• Geringe Probleme bei Fragebögen
• Leistungstests problematischer Problem der flexiblen Handhabung
• Gleiche technische Voraussetzungen notwendig
• Testfairness: Vertrautheit mit Technologie
• Verbesserung der Testgütekriterien:
• Objektivität durch Standardisierung
• Reliabilität: Reduzierung der Mess- und Auswertungsfehler
• Validität: bspw. durch adaptive Verfahren
• Ökonomisierung der Erhebungen
• Vielfältigere Testinhalte und –formate
• Datensicherheit und Persönlichkeitsschutz
![Page 12: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/12.jpg)
Seite 12
DatenverarbeitungAutomatische Berechnungenvon statistischen Kennwerten
ItemerstellungEinfache StimuliKomplexe Stimuli & Interaktion
Personen ManagementSampling Prozeduren
Datenaufbereitung Automatische Codierung
ItemweiterentwicklungÜbersetzung, Kalibrierung
Item BankingMetadaten-ManagementTest ZusammenstellungTestung
Testsicherheit,Integration von Tests,Verzweigung, Adaptation,Dataspeicherung, Feedback
Datenmanagement Data-WarehouseAutomatische Reports
Assessmentprozess
![Page 13: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/13.jpg)
Seite 13
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA
• Programme for the International Assessment of Adult Competencies
– PIAAC
• Fazit
![Page 14: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/14.jpg)
14Seite 14
PISA 2009 ERA: Elektronisches Lesen: Konzeption und Logik
• Suche nach einer bestimmten Information:
Wann findet der nächste Kinderbuch-Sonntag im Frankfurter Literaturhaus statt?
Und um was genau wird es dann gehen?
![Page 15: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/15.jpg)
15Seite 15
Elektronisches Lesen: Konzeption und Logik
• Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte:
• Selbsttätige Textstrukturierung
• Informationsintegration
• Medium-spezifische Lesestrategien, z.B.:
• Identifikation der Textsorte
• Identifikation der Textstruktur
• Identifikation von Glauwürdigkeitsindikatoren
![Page 16: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/16.jpg)
16Seite 16
Elektronisches Lesen: Konzeption und Logik
• Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte
bezogen auf das Reading Literacy Framework:
Aspekt von Lesekompetenz ERA-Spezifische Anforderungen/Aufgaben
Informationen ermitteln Auffinden einer Information innerhalb einer komplexen Website
Textbezogenes Interpretieren Integration von Information von unterschiedlichen Webseiten
Reflektieren und Bewerten Beurteilen der Glaubwürdigkeit von Internetseiten
![Page 17: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/17.jpg)
17Seite 17
Elektronisches Lesen: Konzeption und Logik
• Testkonzeption:
• Abdeckung eines breiten Spektrums von Aufgaben – Beispiele:
• Finden von Informationen auf Webseiten (Informationen ermitteln)
• Integrieren unterschiedlicher Informationen aus verschiedenen Quellen (z.B.
einem Blogeintrag und einer Webseite) (Textbezogenes Interpretieren)
• Beurteilen der Glaubwürdigkeit von Treffern bei einer Suchanfragen oder der
Glaubwürdigkeit von Websites (Reflektieren und Bewerten)
![Page 18: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/18.jpg)
18Seite 18
Elektronisches Lesen: Konzeption und Logik
• Testkonzeption:
• Abdeckung eines breiten Spektrums von Aufgaben hinsichtlich Anforderungen:
Lesen
Nav
igat
ion
![Page 19: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/19.jpg)
19Seite 19
Beispiel: Testeinheit "Café der Philosophen"
Aufgabe 1: "Du bist auf derStartseite des Cafés derPhilosophen. Klicke auf den Link fürKonfuzius. Was meinteKonfuzius mit 'Ren' "?
Frieden und Wohlstand Leben in Chaos und Krieg Das Verhalten der Herrscher Menschlichkeit anderen gegenüber Leben in Harmonie
![Page 20: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/20.jpg)
20Seite 20
Beispiel: Testeinheit "Café der Philosophen"
Aufgabe 2: "Welche der folgendenVorstellungen fasst die Lehre vonZenon zusammen"?
Ein langes Leben führt zum Glück Logische Vernunft führt zum Glück Deinen Gefühlen folgen führt zum
Glück Glück führt zur Tugend
![Page 21: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/21.jpg)
21Seite 21
Beispiel: Testeinheit "Café der Philosophen"
Aufgabe 3: "Was sehen sowohl ZenonAls auch Bentham den verfügbarenInformationen zufolge als einzentrales Thema an?"
Wählen zwischenwidersprüchlichen Anforderungen
Entwickeln von Gesetzen überMänner und Frauen
Streben nach individuellem Glück Verstehen anderer Menschen
![Page 22: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/22.jpg)
22Seite 22
Technologische Herausforderungender ERA-Implementierung
Entwicklung der ERA-Skala:
• Ziel: ERA-Items sollen interaktive Hypertext-Umgebungen simulieren
• Autorenwerkzeug (HTB) mit graphischer Benutzeroberfläche zur Entwicklung von
Items durch “Lese”-Experten
• Softwareunterstützung der Itemübersetzung
• Computerbasierte Testplattform (TAO) zur Testzusammenstellung und -auslieferung
Lösungen:
• Generierung von Flash innerhalb eines ActionScript-Frameworks (AsWing)
• Model Driven Architecture - Ansatz in und mit Eclipse
• Nutzung von XLIFF (XML Localization Interchange File Format) und OpenSource-
Tools
• Reine Web-Plattform (PHP und Flash), weltweit zugreifbar
![Page 23: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/23.jpg)
23Seite 23
Technologische Herausforderungender ERA-Implementierung
Auslieferung der ERA-Skala:
• In über 20 Länder mit unterschiedlichen Sprachversionen
• Entsprechend “Lokalisierung” von Text und Texteingabe
• Hohe Heterogenität der Hard-/Softwareumgebungen an Schulen (zwischen und
innerhalb von Ländern)
Lösungen:
• ERA-Boot-CD, baut auf Knoppix auf
• Datenspeicherung auf USB-Stick – wahlweise auch als Boot-Medium
• Einsatz mehrerer Eingabemethodeneditoren für Chinesisch, Japanisch, Koreanisch
• Boot-System umfasst Client und Server
![Page 24: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/24.jpg)
Seite 24
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA
• Programme for the International Assessment of Adult
Competencies – PIAAC
• Fazit
![Page 25: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/25.jpg)
25Seite 25
• Erfassung kognitiver Kompetenzen, die wahrscheinlich persönlichem und gesellschaftlichem Erfolg zugrunde liegen
• Vergleich mit früheren Assessments (IALS, ALL) zur Lese- und Rechenfähigkeit von Erwachsenen
• Bestimmung des Einflusses dieser Kompetenzen auf gesellschaftliche und ökonomische Ergebnisse auf Individual- und Aggregatebene
• Hilfe zur Identifikation von politischen Maßnahmen, die zur Verbesserung dieser Kompetenzen beitragen
PIAAC-Ziele – International vergleichendes, multizyklisches Assessment von Erwachsenen (16-64 Jahre)
![Page 26: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/26.jpg)
26Seite 26
AustraliaAustriaBelgiumCanadaCzech RepublicChile DenmarkEstoniaFinlandFranceGermanyHungaryIreland
ItalyJapanSouth KoreaNetherlandsNorwayPolandPortugalRussian Fed.Slovak RepublicSpain SwedenUnited Kingdom United States
PIAAC: 26 teilnehmende Länder
![Page 27: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/27.jpg)
27Seite 27
• Erweiterte Erfassung von Erwachsenenkompetenzen, um für politische Entscheidungsträger relevante Informationen bereitzustellen (Erweiterte Konstrukte, z.B. Literacy inkl. ERA; neue Konstrukte, z.B. Problems Solving in Technology-rich Environment)
• Assessment-Design, das computer-basiertes adaptives Testen wie auch papierbasiertes Testen beinhaltet
• Open-source Testplattform zur Item- und Testentwicklung sowie zur Testauslieferung
PIAAC-Innovationen
![Page 28: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/28.jpg)
28Seite 28
Erfasste KompetenzenErfasste Kompetenzen
Components
Core cognitive
Non-cognitive
ICT/PS in TRE
Hintergrundvariablen, wie z.B.
Bildungsbiographie, Persönlichkeit
Lesefähigkeiten (Literacy)
einschließlich ERA, Rechenfähigkeiten
(Numeracy)
Problemlösen unter Verwendung von Informations- und Kommunikations-technologie (ICT)
Basale Lesefähigkeiten, wie z.B. Wortverständnis
![Page 29: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/29.jpg)
29Seite 29
Vorgängerstudien(Papier-basiert)
PIAAC
Vergleichbarkeit von Messungen
Computer-basiert
Papier-basiert
Vergleichbarkeit über Administrierungsmodi hinweg
IALS
ALL
Vergleichbarkeit über die Zeit
Computerbasiert Testen:- Adaptives Testen- New Literacy (www)- Problemlösen (ICT)
Zur Ermittlung von Trends
Für Personen erforderlich, die nicht ICT-literal sind
![Page 30: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/30.jpg)
30Seite 30
PIAAC
Vergleichbarkeit PBA-CBA
Computer-basiert
Paper-basiert
Vergleichbarkeit über Administrierungsmodi hinweg
Für den querschnittlichen Vergleich
Vergleichbarkeit muss erreicht werden in den Bereichen:
- Layout
- Antwortmodus
- Antwortbewertung
- über nationale Anpassungen hinweg
![Page 31: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/31.jpg)
31Seite 31
Vergleichbarkeit PBA-CBA: Layout
Layout von Literacy-Aufgaben:
• Hoch- vs. Querformat, d.h. für CBA in der Höhe geringerer Platz
• Autorentool CBA Item Builder ist keine Desktop Publishing Software (Text-/Bildlayout)
PBA CBA
Layout-anpassungenErforderlich, z.B. breitere
Spalten
![Page 32: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/32.jpg)
32Seite 32
Vergleichbarkeit PBA-CBA: Antwortmodus
Antwortmodus von Literacy-Aufgaben:
• PBA: freie Antwort, Einkreisung von Textteilen (z.B. richtige Antwort: Nudeln, Klassik)
• CBA: Markieren des Textes durch Klicken und Ziehen per Maus
PBA CBAAntwortmarkierung
![Page 33: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/33.jpg)
33Seite 33
Vergleichbarkeit PBA-CBA: Antwortbewertung
Antwortbewertung von Literacy-Aufgaben:
• PBA: Beurteilung der Antwort durch geschulte menschliche Beurteiler
• CBA: Automatische Beurteilung durch Vergleich der Antwortmarkierung mit dem
nutzerdefinierten Minimal- und Maximalbereich für eine richtige Antwort
PBA CBATextbereich für richtige Antwort
Textbereich für falsche Antwort
![Page 34: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/34.jpg)
34Seite 34
Vergleichbarkeit PBA-CBA: Nationale Anpassung
Nationale Anpassung der Antwortbewertung:
• PBA: Schulung nationaler Beurteilerteams mit Hilfe zentral geschulter Beurteiler
• CBA: Anpassung der Textbereiche für eine richtige Antwort im Laufe
Itementwicklung durch nationale Experten mithilfe eines speziellen graph. Editors
PBA CBATextbereich für richtige Antwort
Textbereich für falsche Antwort
![Page 35: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/35.jpg)
35Seite 35
• Auslieferung als Haushaltsstudie (Laptops)• Parallel laufende Studien, vorhandene Hardware• Maximale Abschottung erforderlich
Lösungen:• Virtuelle Maschine (VM)• VM bootet Linux (Client und Server)• Volle Bildschirmkontrolle durch VM• Einfache externe API zur Anbindung von nationaler Studiensoftware
PIAAC – Technische Herausforderungen
![Page 36: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/36.jpg)
36Seite
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA
• Programme for the International Assessment of Adult
Competencies – PIAAC
• Fazit
![Page 37: Technology Based Assessment Marc Rittberger](https://reader036.vdocument.in/reader036/viewer/2022062321/56813fd0550346895daab08b/html5/thumbnails/37.jpg)
37Seite
Technology Based Assessment
• Erste Schritte zur Ablösung von Papierbasierten Tests
• Übergangszeit mit verschiedenen Modi
• 21st century initiative (Cisco, Intel, Microsoft)
• Motoren
• International: OECD
• National: BMBF