Evaluation und Akkreditierung in den Niederlanden

Am Beispiel der Politikwissenschaft

Dietmar Braun

Institut d’Etudes Politiques et Internationales, Université de Lausanne

Beitrag zum Kongress „Akkreditierung und Qualitätssicherung in den Geistes- und Sozialwissenschaften“, am 29. April 2004 in Bern (Gurten)

2

Hintergrund Lange Tradition der Evaluation

Seit Ende der 80er Jahre Umstellung der Universitäten auf „bedingte

Finanzierung“ in der Forschung und Leistungsfinanzierung in der Lehre (Finanzierung auf der Basis der Zahl der Student(in)) und der „Erfolgsquoten“

Studiendauer Diplome

Elsevier Umfragen Organisatorischer Rahmen: Mehrere

Universitätsreformen New Public Management Starke Rektorate und Dekane

3

Hintergrund (Forts.) Zentralstaat mit erheblicher Macht Evaluationen können Konsequenzen für die

Finanzierung durch den Staat haben Kontrolle über „Inspectie“ Im Abstand von 6 Jahren wurden für alle

Fächer Evaluation von Forschung und Lehre durchgeführt Zuerst Forschung und dann Lehre Ist das richtig? > s.u.

4

Wie Evaluation von

Forschung und Lehre

organisieren?

Gleichzeitig Zuerst Forschung

Zuerst Lehre

Vorteile

Qualität der Personen für die Lehre kann über

Forschungsleistungen beurteilt werden

Spannungen zwischen FuL

werden deutlicher

z.B. Zeitverdrängung

5

Von der Evaluation zur Akkreditierung VSNU als Implementationsorgan der

Evaluation Zwischen Selbstverwaltung und staatlicher

Kontrolle Gesetzliche Verpflichtung der Unis, Evaluation durch

externe Experten durchführen zu lassen Durchführung aber an VSNU abgegeben Trotzdem Deregulierung und mehr Autonomie für die

Universitäten als Grundgedanke Gründung der NAO (Nederlandse Accreditatie

Organisatie; heute NVAO (Nederlands-Vlaamse Accreditatie Organisatie), die anstelle der „Inspectie“ die „Meta-Evaluation“ übernimmt. Ab 2007

6

Organisation der Akkreditierung

Jedes Fach muss sich akkredieren lassen. Nur dann Finanzierung und Diplomvergaberecht.

Die NVAO publiziert die Resultate in einem öffentlichen Bericht

Die Beurteilung erfolgt über externe Experten, deren Bericht von der NVAO gut geheissen werden muss.

Die Organisation der Evaluation erfolgt über sogenannte „Besuchende und Beurteilende Instanzen“ (VBIs; Visiterende en Beoordelende Instanties“), die unabhängig von der NVAO im Auftrag der Universitäten agieren

7

Organisation der Akkreditierung (Forts.) Die heutige VSNU hat eine solche

Organisation gegründet, die QANU (Stiftung Quality Assurance Netherlands Universities).

Aufgabe der externen Evaluation: Qualitätsüberwachung Qualitätsverbesserung Verantwortung gegenüber der Öffentlichkeit

8

Im Übergang von Evaluation und Akkreditierung

Unser Auftrag (Politikwissenschaft): Evaluation der bisherigen Leistungen und

Organisation der Politikwissenschaft Aber zusätzliche Informationen, um bei

Beantragung einer verfrühten Akkreditierung, direkt auch Vorlage für Akkreditierung geben zu können > Bachelor und Masterprogramme (zum grossen Teil bereits implementiert in den Niederlanden seit 2001)

Periode des Übergangs mit Schwierigkeiten, beide Aufträge klar voneinander zu trennen > Übergangsregelung

Im Grunde wird die Evaluation eine Evaluation des BAMA-Programms

9

„A la recherche de la commission..“

Die Zusammenstellung der Evaluationskommission erfolgt durch die VSNU auf Vorschlag der Vereinigung des Faches Externe Experten (national/international?)

In unserem Fall: Soviel wie mögliche Ausländer, die Niederländisch sprechen und die Breite des Faches abdecken; sowie ein Experte auf dem Gebiet der Erziehungskunde sowie eine Studentin (Insgesamt 6 und ein Sekretär)

Unabhängigkeitserklärung Man muss sich auf Experten einigen: Konfrontationen,

Konflikte... Der Präsident der Kommission, einmal gewählt, hat

aber relativ viel Spielraum, um die anderen Mitglieder vorzuschlagen

Die Mitglieder der Kommission werden bezahlt

10

„A la recherche de la commission..“ (Forts.) Alle Institutionen, die das Fach unterrichten,

werden evaluiert (in diesem Fall 4) Ziel ist es eine qualitative Bewertung des

Ausbildungsgangs für jede Institution zu geben

Aber auch eine vergleichende Bewertung anhand von: Exzellent; Gut, Ausreichend, Ungenügend

Und eine allgemeine vergleichende Betrachtung

11

Die Evaluationskommission

Beurteilen

Beraten

Vergleichen

Informieren

Das Fach

SelbstevaluationBeurteilungsbericht

BESUCH

Studenten, Dozenten,

Stakeholders

Altes Protokoll

KriterienrasterÜbergangsprotokoll

Akkreditierung

12

Ein Site-Visit.... Vorbesprechung der Kommission Gespräch mit den Verfassern der Selbstevaluation Gespräch mit der Studienkommission Gespäch mit Studenten der Studienkommission Gespräch mit Studenten aus unterschiedlichen Jahren Gespräch mit der Examenskommission Gespräch mit Studienkoordinator und Studienberater Gespräch mit Diplomanden, die im Berufsleben

stehen sowie mit Arbeitgebern Gemeinsames Essen mit Rektor, Dekan und Leitung

des Faches

13

Ein Site-Visit....Tag 2 Vorbesprechung der Kommission Gespräch mit Koordinator Internationalisierung Gespräch mit Dozenten Sprechstunde Begutachtung der Infrastruktur Gespräch mit dem Unterrichtsmanagement

und dem Dekanat Befindungen der Kommission Präsentation des vorläufigen Berichts

14

Kriterienraster (1) Es besteht ein „Protokoll Qualitätsvorsorge in der

Bildung 2000-2005“, von der VSNU zusammen-gestellt. Definiert 11 Qualitätsaspekte als Grundlage der Arbeit der Kommission

Die Kommission formuliert ein Zielraster, das sich an internationalen Kriterien orientiert

Die Qualitätsaspekte und das Zielraster werden in einer Checkliste ausgearbeitet, die die Befragungen anleitet.

In der Checkliste wird nach den neuen Richtlinien zwischen den „Aspekten“ unterschieden (die 11 alllgemeinen Qualitätsaspekte („genügend“ oder ungenügend“) und den „Facetten“, den unter die Aspekte fallenden Unterzielen (4-Punkte-Skala)

15

Die 11 Qualitätsaspekte Zielsetzungen des Faches und angestrebtes Niveau

an Ausbildung (Wissen, Fähigkeiten); angestrebtes Profil; Orientierung an internationalen Massstäben; Operationalisierung der Ziele im Lehrprogramm

ZIELE > PROFIL > LEHRPROGRAMME Inhalt und Struktur des Lehrprogramms

(Orientierungsfunktion der Lehrprogramme; Selektion; Wissenschaftliches Niveau; Anschluss der Lehre an die Forschung; Vermittlung von welchen Fähigkeiten in welcher Lehrperiode; Abstimmung der Lehrprogramme)

16

Die 11 Qualitätsaspekte (Forts.) Die Unterrichtskonzepte und Unterrichtsformen

(adäquate Konzepte zur Umsetzung der Ziele; didaktische Konzepte; passende Unterrichtsformen; Prüfungsformen; Qualität der Begleitung durch Dozenten; Beurteilungsweise bei den Abschlussarbeiten; Kontakte zwischen Dozenten und Studenten in Stunden ausgedrückt)

Zulauf an StudentInnen (Anzahl und Qualität (mit welcher Ausbildung); Mann/Frau-Verhältnis; konkrete Massnahmen zur Gewinnung neuer Studenten; Informationspolitik)

17

Die 11 Qualitätsaspekte (Forts.) „Studierbarkeit“ (Mass, in dem das Fach ein

schnelles und qualitativ hochstehendes Studium möglich macht) > Studienbegleitung; „Machbarkeit“: Studium kann in der geplanten Zeit durchgeführt werden; Anschluss der einzelnen Programmteile aufeinander; Prüfungsbedingungen; besteht ein Studienregistrierungssystem

18

Die 11 Qualitätsaspekte (Forts.) Effektivität (in welcher Zeit studieren die

StudentInnen fertig (erstes Jahr, Bachelor, Master), mittlere Studiendauer; konkrete Politik zur Verbesserung der Effektivität

Qualität der Diplomanden (akademische Qualitäten; Berufsqualitäten; realisierte Arbeitsmarktperspektiven; Beurteilung des Studiums durch die fertigen Diplomanden; Inhalt und Niveau der Abschlussarbeiten)

19

Die 11 Qualitätsaspekte (Forts.) Organisatorische Effizienz

(Kommunikationslinien; Verteilung der Verantwortung; genügend Personal; Verhältnis Fakultät - Fach)

und Qualität der Unterrichtenden (akademisches und didaktisches Niveau; welche Art von Expertisen, Verteilung der Expertisen auf Dozenten; unterrichten Professoren im ersten Jahr; Personalpolitik)

20

Die 11 Qualitätsaspekte (Forts.) Infrastruktur (Räumlichkeiten; Bibliotheken,

ICT; Finanzielle Bedingungen) Internationalisierung und externe Kontakte

(institutionelle Kontakte mit ausländischen Einrichtungen; Studieren im Ausland; ausländische Studenten (Austausch); Internationalisierungspolitik; aber auch Kontakte mit der Arbeitswelt; Netzwerke der Dozenten

21

Die 11 Qualitätsaspekte (Forts.) Interne Qualitätssicherung (System der

internen Qualitätssicherung; sein Funktionieren (Rolle der Studienkommission; Beteiligung der StudentInnen; Verbesserungen anlässlich der vorigen Evaluation; Wert der Selbstevaluation)

22

Das Zielraster der Kommission Kommission formuliert selbst die allgemeinen

Zielsetzungen: was kann nach internationalen Massstäben von einer politikwissenschaftlichen Ausbildung erwartet werden > Definition der Politikwissenschaft; welche Bestandteile; Zielsetzungen in bezug auf Berufsprofil und akademisches Profil

Was kann daraufhin von einem Diplomanden idealiter erwartet werden? Z.B. bei Wissen: Kenntnis der Grundbegriffe und

Theorien, Beherrschen der wichtigsten Methoden; die Besonderheiten der PW gegenüber anderen Disziplinen

23

Das Zielraster der Kommission (Forts.) Urteilsbildung (z.B. Fähigkeit, selbständig zu

analysieren, ein Problem zu formulieren und zu lösen; kritische Reflexion über wissenschaftliches Handeln usw.)

Kommunikative Fähigkeiten (Teilnahme an öffentlichen Debatten; Diskussion mit anderen Disziplinen; Vulgarisierung der Wissenschaft)

Sonstige Fähigkeiten (Verarbeiten relevanter Informationen usw.)

Wir haben auf Festlegung idealer Lösungswege verzichtet: Wie man die Lehre gestaltet, sollte frei bleiben

24

Dublin Deskriptoren Die Dublin Deskriptoren sollen auf das

neue BAMA Studium angewandt werden

Hieraus ergeben sich keine Veränderungen, ausser in bezug auf die Vertiefung von Wissen und die Fähigkeit des autonomen, wissenschaftlichen Handelns.

25

BA vs. MA Anwendung von Wissen

in bekannten Situationen Mit Begleitung arbeiten

können Imstande einen Beitrag

zur Lösung gesellschaftlicher Probleme zu machen

Genügend Wissen über die neuesten Entwicklungen auf dem Fachgebiet

Anwendung von Wissen auch in neuen Situationen

Selbständig arbeiten können

Imstande sein, einen originellen Beitrag zur Lösung ges. Probleme zu machen

Vertieftes Wissen, um sich ein selbständiges Urteil zu bilden

26

BA vs. MA Fähigkeit, um

disziplinäres Wissen zu verarbeiten

Imstande sein, um Ideen, Lösungen, Informationen zu vermitteln

In Kontakt mit wiss. Forschung gekommen sein

Fähigkeit, um multidisziplinäres Wissen zu verarbeiten

Imstande sein, um Resultate sowie die Überlegungen, die hier zugrunde liegen, deutlich und konsistent zu vermitteln

Aktive Partizipation in wiss. Forschung

27

Indikatorenentwicklung Kommission muss über Zielraster, Aspekte und

Facetten zu testbaren Kriterien kommen Problem: hohe Komplexität (Anzahl solcher

Kriterien: 11 Aspekte mal 5 Facetten mal Indikatoren)

Beispiel: Aspekt Zielsetzungen des Faches und angestrebtes Niveau

an Ausbildung (Wissen, Fähigkeiten) Facette: Akademische und professionelle Zielsetzungen des

Faches gemäss dem Zielraster der Kommission Indikatoren: z.B. werden die wichtigsten Kernbegriffe

vermittelt; wird das Besondere an der PW vermittelt; besteht der Anschluss der Lehre an die Forschung; wird das Teilnehmen an öffentlichen Debatten gefördert als Zielsetzung usw.

28

Schwierigkeiten Internationalität

Welche Vorbilder im Ausland? Gibt es internationale Regeln über „best practices“ Hilfskriterium: Kontakte mit ausländischen

Universitäten Interdisziplinarität

Anzahl Nebenfächer? Gemeinsamer Unterricht mit anderen Fächern? Multidisziplinäre Fragestellungen?

29

Schwierigkeiten (Forts.) Berufsqualifikation

Heikles und schwieriges Thema: Inwiefern sollen die Geistes- und Sozialwissenschaften auf ein konkretes Berufsprofil vorbereiten?

Problem: „akademische Signatur“; breites Berufsprofil des Politologen

Organisation von Kontakten über Praktiken? Beteiligung von Stakeholders bei den Lehrplänen? Besonderes Problem: Bachelor und Master. Bachelor

berufsvorbereitend? Zeit für Praktiken? Master nur „akademisch“ oder auch berufsvorbereitend? Zeit für Praktiken?

30

Schwierigkeiten (Forts.) Plus und Minus

Quantitative Bewertung im Vergleich: Notwendig? Reicht nicht eine qualitative Bewertung?

Konsensfindung in der Kommission Steckenpferde der Kommissionsmitglieder Zeitdruck bei der Konsensfindung Behandlung nach „Aspekten“ Rolle des Präsidenten

.....Durchschauen, was die „Wahrheit“ ist....

31

Arbeitsweise der Kommission Reduktion auf wichtige Fragen anhand

der Selbstevaluation Ausarbeiten von Fragen für jedes

Gespräch (Kommissionen, Dekanat, Studenten usw.)

Befragung - Mitschreiben Nachgespräch - Erste Eindrücke

32

Strukturüberlegungen (1) Akkreditierung ist sinnvoll, um „reflexive“

Bildungspolitik in den Einrichtungen zu stimulieren Die Selbstevaluation ist ein taugliches Instrument

reflexiver Bildungspolitik. Sie erzwingt - gemeinsam mit dem vorgegebenen Kriterienraster - grundsätzliche Überlegungen zweckrationaler Art: Wie geeignete Mittel in bezug auf die gesetzten Ziele finden?

Akkreditierung muss eine permanente Übung sein: Nur wenn in bestimmten Zeiträumen Evaluationen wiederholt geplant sind, entsteht der notwendige Druck zur permanenten Qualitätssicherung

33

Strukturüberlegungen (2) Evaluationen können von den Institutionen als

internes Druckmittel gebraucht werden, können aber auch negative Effekte nach aussen haben

Von Nivellierung der Unterrichtsqualität durch Akkreditierung kann keine Rede sein. Jede Institution hängt vielmehr von den finanziellen

und organisatorischen Rahmenbedingungen ab In diesem Rahmen werden kreative und jeweils

passende Lösungen für den Unterricht gefunden Die Qualitätskriterien heben im allgemeinen die

Unterrichtsqualität

34

Strukturüberlegungen (3)

Es gibt - in Grenzen - einen „Race to the Top“ Die Qualitätskriterien garantieren eine

Angleichung der Lehre nach oben Dies kann aber nur tatsächlich geleistet werden,

wenn die finanziellen Rahmenbedingungen stimmen

Auf jeden Fall kann man sich nicht zur Ruhe setzen, wenn man einen „Minimalstandard“ hat, solange Akkreditierung regelmässig durchgeführt wird

35

Strukturüberlegungen (4) Akkreditierung unter Bedingungen der

Austerität ist demotivierend Es wird ein vermehrter Einsatz aller Beteiligten

gefordert, während die Ressourcen nicht wachsen Hochfliegende Qualitätsvorhaben können nicht

realisiert werden Es besteht ein ständiger Kampf zwischen den

Fächern Die Beziehungen zum Dekanat müssen ständig

beachtet werden

36

Strukturüberlegungen (5) StudentInnen als Indikator für

Ressourcenzuweisung ist problematisch Widerspruch Qualität - Quantität Konkurrenz um StudentInnen zwischen den

Universitäten Aber verzerrte Konkurrenz: Standort spielt eine Rolle:

Amsterdam hat einen Wettbewerbsvorteil; in der Peripherie grössere Probleme

Man muss nicht „gut“ sein, um Studenten zu haben Konkurrenz um ausländische Studenten im MA nimmt zu

> englischsprachige MA

37

Strukturüberlegungen (6) Schafft Akkreditierung Konkurrenz?

In begrenztem Rahmen ja: die Veröffentlichung des Evaluationsberichtes und die Verwendung dieses Berichtes in Elsevier und anderen Zeitschriften macht Unterschiede sichtbar und beeinflusst zum Teil die Entscheidungen der StudentInnen, wo sie studieren.

Die Universitäten versuchen, ihre Stärken in der Konkurrenz um StudentInnen hervorzuheben und ggf. Nischen zu finden.

In Amsterdam stark problemorientiertes Studium, in Leiden starke „akademische Signatur“

38

Strukturüberlegungen (7)

Akkreditierung ist ein aufwendiges Verfahren Vorbereitungen etwa ein halbes Jahr Arbeit der Kommission Organisation der Besuche

Sie ist ein sehr geeignetes Mittel, um erbrachte Leistungen - aber auch Schwächen - auszuweisen

Akkreditierung unterstützt die Umsetzung von BAMA, weil sie Qualitätsmassstäbe setzt und Kontrolle ausübt, inwiefern die neue Ausbildung nach den Vorgaben der Dublin Deskriptoren organisiert ist. Diese alleine reichen aber nicht aus. Es bedarf eines erweiterten Kriterienraster für die Qualitätssicherung.

39

Strukturüberlegungen (8) Akkreditierung lohnt sich, weil sie das

Denken in Ziel-Mittel-Relationen einübt und Strategien der Qualitätssicherung institutionalisiert. Dies kommt den StudentInnen zugute.