toetsen (en waarom?) toetsconstructie belicht t-college exacte vakken

Toetsen (en waarom?) toetsconstructie belicht

T-college exacte vakkenEconomie, M&O

Mariska Min, Peter Uylings 11 oktober 2012

The more time…• Mevrouw, denkt u nu echt dat die grassprietjes

harder gaan groeien als u er elke dag een meetlatje langs houdt? (Gerard Westhoff)

• The more time you spend on teaching, the less there is left for learning (David Little)

• The more time you spend on testing, the less there is left for learning (Hetty Mulder)

Waarom zou je toetsen?

Onderwijs en toetsen:twee kanten van dezelfde medaille!

Vergelijk training en wedstrijd Vorm: papier, computer,theoretisch, praktisch.

• Welke (soorten) toetsen?• Voor wie, met welk doel?

Feedback,Fast Feedback,(zelf)diagnostische toets, oefentoets

een rol van de constructiegroep

• Eisen die aan een vraag gesteld worden: 1 Validiteit2 Betrouwbaarheid3 Bruikbaarheid4 Aanvaardbaarheid5 Transparantie 6 Functioneel7 Efficiënt

1 Begripsvaliditeit• Een toets is begripsvalide als deze het

begrip, zoals bedoeld, daadwerkelijk meet (‘wat meet de toets’).

Bv.: Als een afsluitende toets voor aardrijkskunde, economie of geschiedenis vooral leesvaardigheid meet, is de toets niet begripsvalide.

….zijn jouw vragen dan beter?….

….zijn jouw vragen dan beter?….

2 Inhoudsvaliditeit• Een toets is inhoudsvalide als de

opgaven en opdrachten uit de toets het te toetsen onderwerp inhoudelijk dekt.

Bv.: Een toets over de hele geschiedenis van Nederland, die alleen maar vragen over de 20e eeuw bevat, is niet inhoudsvalide.

betrouwbaarheid 1

1 Objectiviteit• Een toets is objectief als het voor de

hoogte van de score niet uitmaakt welke docent de antwoorden van de leerling corrigeert.

betrouwbaarheid 2

2 Specificiteit• Een toets is specifiek als alleen

leerlingen die de leerstof beheersen de vragen correct kunnen beantwoorden.

• (biologie: intelligentie in context?!)

betrouwbaarheid 3

3 Moeilijkheid• Een toets is van de juiste moeilijkheid als

deze voor de leerlingen noch te moeilijk noch te makkelijk is.

Toets- en ItemanalyseItem 16 16

A

B

C

D*

Pro

porti

e

ScoregroepenSubgroep 0 -- Subtoets 0 (Missings)

0.0

0.2

0.4

0.6

0.8

1.0

1 2 3 4

betrouwbaarheid 4

4 Differentiatie• Een toets differentieert goed als deze

een duidelijk onderscheid maakt tussen leerlingen die de stof goed en minder goed beheersen.

Toets- en ItemanalyseItem 28 28

Pro

porti

e

ScoregroepenSubgroep 0 -- Subtoets 0

0.0

0.2

0.4

0.6

0.8

1.0

1 2 3 4

Aanvaardbaarheid• Een toets is

aanvaardbaar als leerlingen, docenten en ouders er blijk van geven de toets te accepteren als valide, betrouwbaar en bruikbaar.

Transparantie

• Examensysteem is voor iedereen te doorzien.

• Constructie• Normering• Spreadsheet!

Beheersingsniveaus:(re)productie

1. Kennis, weten: omvat feiten, procedures en concepten die kandidaten moeten kennen voor een stevige basis.

2. Gebruik, toepassen: focust op de vaardigheid van de kandidaat om kennis en conceptueel begrip toe te passen in bekende, recht-toe-recht-aan situaties en contexten; beperkt aantal oplossings-stappen.

3. Inzicht, redeneren: gaat verder dan het oplossen van standaard problemen en omvat complexe, onbekende situaties en contexten en multi-step problems.

RTTI

Reproductieve vragen = R  “Wat is de definitie van een soort?”Toepassingsgerichte vragen niveau 1 = T1Bijv. Opzoeken in tabellen/schema;s als je hebt geleerd hoe deze werkt. “welke mobiele telefoon is hier de beste koop?”Toepassingsgerichte vragen niveau 2 = T2-bijv. Een opgave oplossen in een voor de leerling onbekende context “Piet krijgt 20,- uitgekeerd bij 4% rente. Wat was zijn oorspronkelijke inleg?”Inzichtvragen = I-bijv. Uitleggen / verklaren“Geef een verklaring voor het feit dan zwangere vrouwen meer koolstofdioxide uitademen dan niet-zwangere vrouwen”

Eens oefenen

het construeren van open vragen 1

Het formuleren van vraag en antwoordvraag- De vraag mag niet voor meer uitleg

vatbaar zijn.- Splits vraag op in een informatiegedeelte

en vraaggedeelte.- Werk met intro’s als de vraag te lang

dreigt te worden.

Waarom bepaalt het KNMI elk uur de temperatuur op een groot aantal meetpunten?

de klassieker

• waarom: Dat levert nuttige informatie op voor boeren en tuinders.

• KNMI: Dat behoort tot de taken van dat instituut.• elk uur: Dat levert een grote betrouwbaarheid

van meting op vergeleken bij een kleiner aantal meetmomenten.

• temperatuur:Voor het doen van een goede weersvoorspelling, zijn temperatuurgegevens onmisbaar. 

• een groot aantal meetpunten: Temperaturen kunnen van plaats tot plaats nogal verschillen.

de klassieker

Het KNMI bepaalt elk uur de temperatuur van een groot aantal meetpunten.

• Geef een reden waarom dat elk uur gebeurt.

• Geef een reden waarom dat op een groot aantal meetpunten gebeurt.

verbetering

het construeren van gesloten vragen 5

Samenvattend:. (inleiding +) vraag = stam . alternatieven (minimaal drie; bij voorkeur vier of

vijf)

Voorbeeld:Stam: In welk plaats staat het Cito?Alternatieven: A in Amsterdam

B in ArnhemC in EnschedeD in Groningen

Sleutel: BAfleiders: A, C, D

De Vier Producten!• Toets zelf• Uitwerkbijlage• Antwoordmodel• Correctie spreadsheet

1. I opened a course on a topic I know nothing about,

clicked through without reading anything, and took the assessment. I passed! What does that suggest?A. I am a genius!B The assessment was too easy.C Maybe the course was to easy, too.D Maybe the course didn’t even need to be written.E B, C en D

2. In a multiple-choice question, when is the longest answer the correct answer?

A RarelyB SometimesC It’s almost always the correct answer,

and it’s often stuffed with new information that should have gone in the main part of the course but we forgot so now we’re putting it in the quiz because we can’t possibly leave out the tiniest detail.

D Occasionally

4. When is it NOT a good idea to avoid negative questions?

A NeverB SometimesC AlwaysD What?

• ‘bouwplan’ van toets • overzichtstabel met percentages /

aantallen vragen en opdrachten, • verdeeld over leerstof en vaardigheden• bevat concrete inhouden• is een hulpmiddel in het

toetsconstructieproces • is een verantwoording en legitimering • voorkomt eenzijdigheid•

toetsmatrijs

Formuleringen bij exacte vakken• Bepaal (figuur, diagram, uitwerkbijlage)• Bereken (grootheid, getal, eenheid) • Leg uit…. • Leid af….• Voer de volgende opdrachten uit: • Teken/schets• Geef aan of/in (uitwerkbijlage)• Beredeneer…

• lettertype• regelafstand• plaats van illustraties• plaats van vraagnummers• Dyslexie: A3?? Arial of Courier?

Formuleringen layout en…..