elearning netzwerktag 2008: webbasierter self-assessments an der universität frankfurt...

eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt

Studienerfolg dank Self-Assessments?! Web-basierte Self-Assessmentsan der Universität Frankfurt

Siegbert Reiß

J.W. Goethe-University Frankfurt am Main

eLearning Netzwerktagam 30. Juni 2008 in Frankfurt am Main

eLearning Netzwerktag 2008: Webbasierter Self-Assessments an der Universität Frankfurt2

Übersicht

•Entwicklungsanlass

•Was meint Self-Assessment?

•Entwicklungsschritte eines Self-Assessments

•Technische Anforderungen

•Evaluation prognostischer Validitäten

•Resümee


•Hohe Studienbewerberzahlen/Zulassungsbeschränkung

•Hohe Studienabbruchzahlen

•Lange Studienzeiten

•„Erstsemester-Schock“ bei vielen Studierenden

Entwicklungsanlass


•Das Hochschulrahmengesetz (§ 14) verpflichtet die

Hochschulen, die „Studierenden und Studienbewerber über

die Studienmöglichkeiten und über Inhalte, Aufbau und

Anforderungen eines Studiums" zu unterrichten und sie

„durch eine studienbegleitende fachliche Beratung" zu

unterstützen.

Entwicklungsanlass


•Die Beratung von Studieninteressierten vor einer

Studienentscheidung stellt eine notwendige und wichtige

Kommunikations- und Serviceleistung der Hochschulen dar

(Profilierung der Hochschulen).

•Die Studienberatung soll Informationen über die

Studienvoraussetzungen und Studienanforderungen für alle

in Betracht kommenden Studiengänge anbieten.

Entwicklungsanlass


•Studienberatung soll einen Vergleich der Fähigkeiten, der

Bedürfnisse und Erwartungen des Einzelnen mit den

Anforderungen des interessierenden Studienfaches

ermöglichen.

•Potenzielle Studienbewerber müssen sich Klarheit darüber

verschaffen können, ob das Studienangebot der Hochschule

ihrer Wahl zu ihren Wünschen passt und ob sie die

Studienanforderungen nach eigener Einschätzung erfüllen

(Person-Job-Fit-Ansatz).

Entwicklungsanlass


•Entwicklung und Evaluation eines Konzeptes für die

Beratung und Rückmeldung sowie für die Auswahl von

Bewerbern für das Studium der Informatik und der

Psychologie in Frankfurt.

•Gemeinsames Projekt der Studiengänge Informatik und

Psychologie in der Erwartung, dass die Rückmeldung aus

dem Online-Self-Assessment zu einer besseren Passung

zwischen Bewerber und Studiengang führt (höhere

Studienzufriedenheit, geringere Zahl von Studienab-

brüchen, kürzere Studiendauer).

Entwicklungsanlass


•Web-basiertes und selbstgesteuertes Beratungsinstrument

•Richtet sich an Studieninteressierte •Bietet die Möglichkeit, die eigenen Fähigkeiten und akademischen Orientierungen zu erforschen

•Verwendet unterschiedliche Aufgaben und Fragen, die sich auf die spezifischen Anforderungen des Studienfachs beziehen

•Meldet individuelle Stärken und Schwächen des Teilnehmers hinsichtlich kognitiver Fähigkeiten, der Studienmotivation und zum Studierverhalten unter Bezugnahme auf die Studierendenpopulation des Faches zurück

Was meint Self-Assessment?


Entwicklungschritte eines SelfAssessments

Identifika-tion der Studieanfor-derungen

Literatur, Arbeitskreise, Befragungen und Absolventen-studien

Überführung der identifizierten Anforderungen in psychologische Konstrukte

Entwicklung von Tests und Fragenbogen zur Messung der definierten Konstrukts

Datengeleitete Verbesse-rungen der eingesetzten Tests und Fragebogen

Überprüfungder of Akzeptanz, Effekte Laufbahnent-scheidung und prädictive Validität

Anwendung

Datensamm-lungvia Internet, in Schulen, Laufbahn-beratung etc.

Anforderungen

Konstrukte

Test Konstruktion

Evaluation

(modifiziert nach Hornke, 2007)


•Bewahrung der Anonymität der Teilnehmer (Zuordnung der Psychologiestudierenden über eine zusätzliche Kodierung)

•Dauer der Bearbeitung bei 60 bis 90 Minuten•Online- und Offline-Bearbeitung (Modul können nacheinander herunter geladen werden)

•Unterstützung einer festgelegten Bearbeitungsreihenfolge (Fehlermeldung bei Nichteinhaltung der Reihenfolge)

•Einschränkung maximaler Bearbeitungszeiten durch Timer; zeitbeschränkte Pausen zwischen einzelnen Blöcken; keine Zeiteinschränkung zwischen den Modulen

Technische Anforderungenan das Tool


Startseite des Self-Assessments Psychologie


Teilnehmerrückmeldung


•Stichprobe Psychologie

- Insgesamt 74 Studierende der Pflichtlehrveranstaltung

„Psychologische Statistik I“ im ersten Studiensemesters

bearbeiteten das Online-Self-Assessment und erhielten dafür

Credits (quasi Vollerhebung einer Semesterkohorte).

•Stichprobe Informatik

– Insgesamt 84 Studierende der Lehrveranstaltung „Grundlagen

der Programmierung I“ bearbeiteten auf freiwilliger Basis das

Online-Self-Assessment.

Erprobungsstichprobenfür das Self-Assessment


Prognose von Studienleistung- Beziehung Kognitive Leistung zu

Leistung „Psychologische Statistik I“ N~62

Leistung „Grundlagen der Programmierung 1“ N~84

Skala Prog. ValiditätSpearman r

Textverständnis Deutsch - .01

Textverständnis Englisch .12

Stochastik .56 **

Prozentrechnung .21

Bruchrechnung .09

Algebra .41 **

Schlussfolg. Denken – verb. .41 **

Schlussfolg. Denken – fig. .02

Gesamtscore (Summenwert) .46 **


Textverständnis Deutsch .11

Textverständnis Englisch .12

Logik .19

Mathematik .28 *

Algorithmisches Denken .31 **

Schlussfolg. Denken - fig. .02

Gesamtscore (Summenwert) .31 **


Leistung “Psychologische Statistik I” N~59

Prognose von Studienleistung- Beziehung Studierverhalten und Studienmotivation zu

SkalaProg. Validität

Spearman rÄngstlichkeit - .10

Anspruchsniveau .23

Arbeitshaltung - .16

Flow .28 *

Kontrollüberzeugung .12

Leistungsanspruch .12

Lernbereitschaft. .01

Offenheit für Neues. - .04

Entscheidungsfähigkeit - .31 *

Stressbewältigung .36 **

Zielgerichtetheit .10

Zuversicht .18

Leistung “Grundlagen der Programmierung 1” N~84

SkalaProg. Validität

Spearman rÄngstlichkeit .06

Anspruchsniveau - .16

Arbeitshaltung .20

Flow - .12

Kontrollüberzeugung - .01

Leistungsanspruch - .05

Lernbereitschaft. - .03

Offenheit für Neues. .03

Entscheidungsfähigkeit .15

Stressbewältigung -.09


Zuversicht .20


•Die Prüfung der prognostischen Validität erfordert die Kontrolle der Erprobungsstichprobe hinsichtlich Selektions-effekten und einer korrekten Aufgabenbearbeitung durch dieTeilnehmer.

•Ist beides gewährleistet, sind die aus Studierendenauswahl-verfahren bekannten prognostischen Validitäten erzielbar.

•Weitere Studien zur prognostischen Validität des Verfahrens (z. B. in Hinsicht auf Zwischenprüfungen) sind notwendig.

•Insgesamt konnten die ersten Untersuchungen an Studien-anfängern die Praktikabilität und Validität des web-basierten-Self-Assessments bestätigen, so dass unseres Erachtens seiner Nutzung im Rahmen der Studienfachent-scheidung nichts entgegen steht.

Resümee


Adresse

https://www.gdv.informatik.uni-frankfurt.de/self-assessment/Informatik/ https://www.gdv.informatik.uni-frankfurt.de/self-assessment/Psychologie/

Johann Wolfgang Goethe-Universität FrankfurtAbtlg. für Psychologische Methodenlehre, Evaluation und ForschungsmethodikAbtlg. für Graphische Datenverarbeitung

Vielen Dank für Ihre Aufmerksamkeit


Bestandteile des Self-Assessments

Zehn inhaltlichen Aufgabenblöcke (im Flash-Format),

zusammengefasst zu drei Modulen

Acht organisatorische HTML-Seiten mit Beschreibungen der Ziele

und der Funktionsweise des Self-Assessments

(Start-, Beschreibungs- Registrierungs-, Zugangs-,

Auswertungsseite und Seiten zum Passwortmanagement)


Zusammensetzung der Module

Modul I (ca. 60 Minuten):

Studierverhalten und Studienmotivation I, Textverständnis

Deutsch, Textverständnis Englisch, Mathematische Kompetenz

(Stochastik, Bruchrechnen, Prozentrechnen, Algebra)

Modul II (ca. 30 Minuten):

Studierverhalten und Studienmotivation II, Interpretation von

Tabellen und Diagrammen, Schlussfolgerndes Denken – verbal

(Analogieaufgaben)

Modul III (ca. 10 Minuten):

Studierverhalten und Studienmotivation III, Interesse an

Inhalten des Psychologiestudiums, Schlussfolgerndes Denken –

figural (Matrizenaufgaben)









(Analogieaufgaben)







•Interne Erprobungsversion seit Juni 2006 zugänglich- Gegliedert in zehn inhaltlichen Aufgabenblöcke (7 Skalen zum Leistungsbereich,

12 Skalen zum Studierverhalten und zur Studienmotivation, 4 Interessensbereiche)

zusammengefasst in drei Modulen

- 60 bis 90 Minuten durchschnittliche Bearbeitungsdauer

- Online- und Offline-Bearbeitung möglich

- Unterstützung einer festgelegten Bearbeitungsreihenfolge der Blöcke

- Einschränkung maximaler Bearbeitungszeiten der Blöcke durch Timer;

zeitbeschränkte Pausen zwischen einzelnen Blöcken; keine Zeitein schränkung

zwischen den Modulen

•Erprobungsstichproben SS2006/WS2006/07 und SS 2007

• Öffentliche Zugänglichkeit seit SS 2008

Aktueller Entwicklungsstanddes Online- Self-Assessment Psychologie


Integration des SelfAssessments inden Prozess der Laufbahnentscheidung

Akademische LaufbahnentscheidungAkademische Laufbahnentscheidung

Entscheidung

Eltern, Lehrer, Freunde

Klasse 11 12 (13) Abitur Universitätszulassung

Begleitet durch:

Beratungs- und Informationsdienste Auswahl

Internet, Medien

Self-Assessment

Informationsmaterial der Universitäten

(nach Hornke, 2007)


Skalenanalysen Kognitive LeistungenInformatik

Skala Cronbach’s α Item-anzahl

Erklärte Varianz auf dem 1. Faktor

Logik 0,35 4 36,8%

Mathematik 0,52 6 30,6%

Algorithmisches Denken 0,41 5 31,4%

Textverständnis Deutsch 0,43 2 63,8%

Textverständnis Englisch 0,13 3 37,0%

Figurale Matrizenaufgaben 0,73 11 33,1%


Skalenanalysen Kognitive LeistungenInformatik

Skala Cronbach’s α Item-anzahl

Erklärte Varianz auf dem 1. Faktor

Kontrollüberzeugung 0,63 6 37,2%

Entscheidungsfähigkeit 0,74 4 57,2%

Belastbarkeit (Ängstlichkeit) 0,76 7 44,7%

Zuversicht 0,82 9 48,5%

Risikobereitschaft (Offenheit für Neues) 0,67 7 34,5%

Zielgerichtetheit 0,75 10 32,5%

Erfolgsorientierung (Stressbewältigung) 0,81 9 41,8%

Flow 0,80 8 42,2%

Leistungsdenken 0,84 10 42,5%

Lernbereitschaft 0,64 4 49,5%

Anspruchsniveau 0,87 7 58,2%

Lerntechniken 0,54 4 43,2%

Arbeitshaltung 0,71 9 53,6%

Interessenfragen 0,85 20 30,4%


N= 144<>146

Skalenanalysen Stichprobe I und IIKognitive Leistungen

1 Faktorenanalysen für dichotome Items wurden mit dem Programm mixFactor 1.3.75 von Häusler & Kubinger (Universität Wien) durchgeführt.

Skala Cronbachs α Itemanzahl Erklärte Varianz auf dem 1. Faktor1

Algebra .53 5 52,3 % Bruchrechnen .62 6 61,7 % Prozentrechnen .66 4 73,6 % Schlussfolgerndes Denken – figural

.82 12 66,3 %

Schlussfolgerndes Denken – verbal .66 11 39,0 % Stochastik .53 5 44,8 % Textverständnis - Deutsch .56 8 39,1 % Textverständnis – Englisch .54 5 66,4 %


N= 144<>146

Skalenanalysen Stichprobe I und II

Studierverhalten und Studienmotivation

Skala Cronbachs α Itemanzahl Erklärte Varianz auf dem 1. Faktor1

Ängstlichkeit .82 9 42,7 % Anspruchsniveau .87 7 57,7 % Arbeitshaltung .82 8 45,2 % Flow .77 8 39,2 % Kontrollüberzeugung .55 4 43,3 % Leistungsanspruch .83 10 41,5 % Lernbereitschaft .51 5 35,0 % Offenheit für Neues .76 6 45,9 % Entscheidungsfähigkeit .79 6 50,0% Stressbewältigung .83 9 43,2 % Zielgerichtetheit .79 9 39,2 % Zuversicht .86 10 47,0 %


Prognose von Studienleistung- Beziehung Kognitive Leistung zu Leistung im Fach „Psychologische Statistik II“

Stichprobe N~46

.47**Gesamtscore (Summenwert)

.10Schlussfolgerndes Denken - figural

.43**Schlussfolgerndes Denken - verbal

.15Algebra

.25Bruchrechnung

.32*Prozentrechnung

.32*Stochastik

.18Textverständnis Englisch

.20Textverständnis Deutsch

Prog. Validität

Spearman r

Skala

.47**Gesamtscore (Summenwert)

.10Schlussfolgerndes Denken - figural

.43**Schlussfolgerndes Denken - verbal

.15Algebra

.25Bruchrechnung

.32*Prozentrechnung

.32*Stochastik

.18Textverständnis Englisch

.20Textverständnis Deutsch

Prog. Validität

Spearman r

Skala


Stichprobe N~45

Prognose von Studienleistung- Beziehung Studierverhalten und Studienmotivation zu Leistung im Fach “Psychologische Statistik II”


Ängstlichkeit -.23

Anspruchsniveau .18

Arbeitshaltung -.03

Flow .20

Kontrollüberzeugung .21

Leistungsanspruch -.06

Lernbereitschaft -.09

Offenheit für Neues .04

Entscheidungsfähigkeit -.15

Stressbewältigung .28


Zuversicht .24


Vorhersagemodell für das Kriterium Studienerfolg (Leistung im Fach „Psychologische Statistik I“) von Stichprobe II (N=57).

Prognose von Studienleistung

4 Einflußvariablen: R R2

Kognitive Leistung (Summenwert)EntscheidungsfähigkeitFlowStressbewältigung .52 .27

elearning netzwerktag 2008: webbasierter self-assessments an der universität frankfurt...

Documents