troels endelig 2018.06.17 peergrade lom flat templated · læringsmålene opnås bedst muligt...

RoskildeUniversity

Formativ evaluering med IT-systemet PeergradePotentialer og begrænsninger i universitetsundervisning

Bertel, Troels Fibæk; Bentzen, Tina Øllgaard

Published in:Læring og Medier (LOM)

DOI:10.7146/lom.v10i18.103307

Publication date:2018

Document VersionOgså kaldet Forlagets PDF

Citation for published version (APA):Bertel, T. F., & Bentzen, T. Ø. (2018). Formativ evaluering med IT-systemet Peergrade: Potentialer ogbegrænsninger i universitetsundervisning. Læring og Medier (LOM), 10(18), 1-22.https://doi.org/10.7146/lom.v10i18.103307

General rightsCopyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright ownersand it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights.

• Users may download and print one copy of any publication from the public portal for the purpose of private study or research. • You may not further distribute the material or use it for any profit-making activity or commercial gain. • You may freely distribute the URL identifying the publication in the public portal.

Take down policyIf you believe that this document breaches copyright please contact rucforsk@ruc.dk providing details, and we will remove access to thework immediately and investigate your claim.

Download date: 12. Oct. 2020

Læring & Medier (LOM) – nr. 18 - 2018 ISSN: 1903-248X

http://www.lom.dk 1

Formativ evaluering med IT-systemet Peergrade – Potentialer og begrænsninger i universitetsundervisning

Troels Fibæk Bertel Adjunkt, Ph.d. Kommunikation, Institut for Kommunikation og Humanistisk Videnskab, Roskilde Universitet

Tina Øllgaard Bentzen Postdoc, Ph.d. Roskilde School of Governance, Institut for Samfund og Erhverv, Roskilde Universitet

http://www.lom.dk 2

Resumé/Abstract Dereridesenereårkommetetøgetfokuspåværdienafformativevalueringpåuniversiteterne,mendettetiltrodsevalueresdestuderendespræstationerfortsatovervejendesummativtgennemeksaminer.Nyeonlinelæringssystemer,sombl.a.slårsigoppåatkunnestyrkefeedbacktildestuderendeogspareressourcerforunderviseren,syneslovendeiforholdtilatunderstøtteformativevaluering.Denneartikelundersøgerpotentialerogbegrænsningervedatanvendeetsystemafdennetype,Peergrade,tilformativevalueringiuniversitetsundervisning.Metodiskerartikleninspireretafaktionsforskningogbaseretpåetkomparativtcasestudie,hvorPeergradeafprøvesogevaluerespåtohumanistiskeogsamfundsfagligeuniversitetskurser.Påbaggrundafafprøvningenkonkludererartiklen,atdereretpotentialeknyttettilbrugenafPeergrade,derdelskanafhjælpenogleafdelogistiskeudfordringer,derkanværeforbundetmedfeedbackprocesser,ogdelskanunderstøttelæringgennembrugenafformativevalueringunderanvendelseafpeer-feedbackogrubrics.Samtidigpegerstudietpå,atbrugenafsystemetkræverenstørreinvesteringafressourceriplanlægning,faciliteringogkoordineringfor,atdestuderendefårudbytteafforløbet.

Althoughformativeassessmentinuniversityteachinginrecentyearshasreceivedincreasingattention,studentperformanceispredominantlyevaluatedusingsummativeevaluation.Newonlinetechnologies,whichpromisetofacilitatepeer-feedbackprocessesinteachingandsaveteacherstimeandresourcesotherwisespentgivingfeedbacktostudents,seempromisingforsupportingformativeassessment.Thisarticleexaminesthepotentialsandlimitationsofusingonesuchsystem,Peergrade,forformativeassessmentinuniversityteaching.Inspiredbyactionresearch,thearticlepresentsacomparativecasestudy,whereformativeassessmentusingPeergradeisimplementedandevaluatedintwouniversitycoursesinthehumanitiesandsocialsciences.ThearticleconcludesthatPeergradehasapotentialforovercomingsomeofthelogisticalchallengesofhandlingpeer-feedbackprocessesandforimprovinglearningthroughtheuseofrubricsandpeer-feedback.Thestudyindicates,however,thatimplementingsuchprocesses,demandsanon-trivialinvestmentofresourcesintermsofplanning,facilitationandcoordinationifstudentsaretobenefit.

http://www.lom.dk 3

Indledning DereroverdesenereårudvikletenrækkeforskelligeonlineIT-systemertilunderstøttelseafpeer-feedback-processeriuniversitetsundervisning.EtrelativtnytskudpåstammeneridennesammenhængPeergrade(www.peergrade.io),somerudvikletpåDanmarksTekniskeUniversitet(DTU),ogsomnetopnugørsitindtogpålandetsuniversiteter.ViafprøveridenneartikelPeergradepåtohumanistiskeogsamfundsfagligekandidatkurserpåRoskildeUniversitet,hvorprogrammetforsøgesanvendttilunderstøttelseafformativevaluering(påengelsk”formativeassessment”)—dvs.tilenbedømmelse,derforetagesiløbetafundervisningen,oghvisresultaterbrugestilatjustereundervisnings-oglæringsaktiviteter,sålæringsmåleneopnåsbedstmuligt(Black&William,1998a,1998b;Heritage,2010;Heritage&Stigler,2010).Dettegørvi,fordidenfremherskendesummativeevalueringformiuniversitetsundervisningen(hvordestuderendespræstationprimærtevalueresvedafsluttendeeksaminer)kankritiseresforatføretiluhensigtsmæssigelæringspraksisserogresultater(Gibbs,1999;Gibbs,Simpson,Gravestock,&Hills,2004),mensformativevalueringfremhævessomenmetode,derbedreunderstøtterlæring,nårformativebedømmelserkombineresmedkonstruktiv(peer)feedback(Black&William,1998a,1998b;Gibbsetal.,2004).DaPeergradenetopfokusererpåatfaciliterepeer-feedback,synesanvendelsenafsystemetiforbindelsemedformativevalueringumiddelbartlovende;detteunderstøttesendvidereogsåaftidligereforskning,derviseratonlineværktøjerkanværefremmendeforlæring,nårdekombineresmedformativevaluering(Gikandi,Morrow,&Davis,2011).Vispørgerderforiartiklen:”MedhvilkepotentialerogbegrænsningerkanPeergradeanvendestilformativevalueringiuniversitetsundervisningen?”

Formativ evaluering AfprøvningenafPeergradevilidenneartikelindgåisammenhængmedformativevaluering,hvorforviherkortdefinererdennerammesætning.Black&William(1998b)definererformativevalueringpåfølgendemåde:

“Weusethegeneraltermassessmenttorefertoallthoseactivitiesundertakenbyteachers—andtheirstudentsinassessingthemselves—thatprovideinformationtobeusedasfeedbacktomodifyteachingandlearningactivities.Suchassessmentbecomesformativeassessmentwhentheevidenceisactuallyusedtoadapttheteachingtomeetstudentneeds”.

IfølgeGibbsm.fl.erdenudbredteanvendelseafsummativevalueringiuniversitetsundervisningproblematisk,idetdenrisikereratunderstøtteenlæringiselvedetatbeståeksamenersnarereendatmestreindholdetietgiventlæringsforløb(Gibbs,1999,p.42),ligesomdenkanmedføreen

http://www.lom.dk 4

instrumentel”dullandlifelesslearningthathasshortlastingoutcomes”(Gibbsetal.,2004,p.3).Formativevalueringfremhævesikontrasthertilsomenmetode,derbedreunderstøtterlæring,når1)underviserentilpasserundervisningenpåbaggrundafinformationtilvejebragtgennemevaluering;2)destuderendemodtagerhandlingsrettetfeedback,derfortællerdem,hvordandekanforbedredereslæring;3)destuderendeerinvolveretievalueringsprocessengennemselv-ogpeer-evaluering(Black&William,1998b;Gibbsetal.,2004;Heritage&Stigler,2010,p.7).DerfindesifølgeHeritageikkenogenfastopskriftpå,hvorledesformativevalueringbøreksekveresidenenkelteundervisningssituation(2010,p.5);dogbørlæringsaktiviteterneafstemmesmedlæringsmåleneforlæringsforløbet(Rienecker,Jørgensen,Dolin,&Ingerslev,2015).

Peergrade Peergrade(www.peergrade.io)eretonlinenetværksbaseretværktøj,somerdesignettilatunderstøttepeerfeedbackiuniversitetsundervisning.Igrovetrækfungererprogrammetpåfølgendemåde:Underviserenformulererenskriftligopgave,somgørestilgængeligfordestuderendegennemsystemetsammenmedendeadlineforaflevering.Herefterbesvarerdestuderendeopgavenindividueltellerigrupperoguploaderdenisystemet,somfordelerdeindkomnebesvarelsermellemdem.Destuderendegiverherefterfeedbacktilhinandensopgaverunderanvendelseafskemaermedfastebedømmelseskriterierogspørgsmål,såkaldte”rubrics”(senedenfor),somunderviserenharforberedtpåforhånd.Hvisenstuderendeellergruppeoplever,atfeedbacken,dermodtages,erurimelig,hardemulighedforatmarkeredette,ihvilketfaldundervisereninddragesogskaltagestillingtilsituationen.Destuderendeforventesogsåatgivefeedbackpådenfeedback,demodtager,hvilketbådetjenersomentilbagemeldingtilfeedbackgiveren,ogsominputtildealgoritmer,dermatcherfeedbackgiverog-modtager.Feedback-giverog-modtagerkanisystemetgøresanonymeoverforhinanden,hvilkettidligereforskningharindikeretkangøredestuderendemeretilbøjeligetilatafgivekritiskfeedbackogføretilforøgetlæring(Lu&Bol,2007).Underviserenkanfølgeforløbetafafleveringenogfeedbackgivningenisystemetogfårafslutningsvisforskelligemetrikkerogetsamletresultatforhverstuderendesperformance(dettegælderogså,hvisdestuderendeafleverersomgruppe).Peergradeerifølgeproduktetshjemmesideudvikletmedafsætipædagogiskforskningogsystemethævdesatkunnebidragemedenbedrelæringsoplevelsefordestuderendesamtenmereeffektivprocesforunderviseren.IintroduktionsvideoentilPeergradeerdentidsbesparelse,derhævdesatkunneopnåsvedatoverladefeedbackafgivelsetildestuderende,endvidereetcentraltargumentforatbrugesystemet(Peergrade.io,n.d.-b).

EtvigtigtelementafPeergradeerbrugenafsåkaldte”rubrics”.Enrubrickandefineressom”adocumentthatarticulatestheexpectationsforanassignment

http://www.lom.dk 5

bylistingthecriteriaorwhatcounts,anddescribinglevelsofqualityfromexcellenttopoor”(Reddy&Andrade,2010,p.435).Ienkvalitativanalyseaf21studier,hvorrubricsharværetanvendttilformativevaluering,identificererPanadero&Jonsson(2013)enrækkemåder,hvorpårubricskanmedvirketilatunderstøttelæringidennesammenhæng.Førstogfremmestøgerbrugenafrubricsgennemsigtighedenafbedømmelsesprocessenog-kriterierne,hvilketkanmedvirketilatberoligedestuderendeoggøreprocessenmerehåndterbar.Herudoverkanrubricsgørefeedback-processernemmere,forøgedestudendestropåegenformåenogselvhjulpenhed(”self-efficacy”)samtunderstøttederesstyringafegenlæring,bl.a.gennemenforøgetindsigtiegenvidenogfærdigheder,mulighedforattilrettelæggeegenarbejdsindsatsogfortløbendebedømmeegetarbejde(”self-regulation”).Dissepositiveeffektermodereresafdestuderendeskøn(hvorkvinderinoglesammenhængeharhaftbedreeffektafrubricsendmænd),hvorvidtrubricskombineresmedmeta-kognitiveaktivitetersåsompeer-feedbackellerej(succesfuldeinterventionerkombinereroftedeto)oglængdenafinterventionen(hvorlængereinterventionerofteharenstørrepositiveffekt,specieltforyngrestuderende/skoleelever).

Peergradeanbefaler,atrubrics,deranvendestilfeedbackisystemet,udformessomkonkretespørgsmåltilopgaven,derbedømmes(Peergrade.io,n.d.-a),ogviharfulgtdisseanbefalingerinærværendeafprøvning.Systemetgivermulighedfor,atspørgsmålenebådekanudformessomlukkedekvantitativespørgsmål,derisinesvarmulighedereksplicitererkvalitetskriterierneforbedømmelsen,ellersomåbnekvalitativespørgsmål.Spørgsmålstypernekanogsåkombineresved,atdestuderendebedesuddybederessvarpådelukkedespørgsmålmedenkommentar.Jf.definitionenovenfor,erdetetikkeettypisktrækvedrubrics,atdeudformessomspørgsmålogsvarpådennemåde.Detspecifikkeformat,deranvendes,erdogifølgePanadero&Jonssonnæppeafgørende,sålængeengivenrubricbidragertilenøgetgennemskuelighedibedømmelseskriterierne(2013,p.141).

Somdetfremgårafdetovenstående,giverPeergradesomsystemaltsåunderviserenenrækkeværktøjer,derfacilitererdenlogistiskehåndteringaffeedbackprocesser,samtidigmedatdetimplementererenbestemtpædagogiskpraksis—afgivelseaffeedbackunderanvendelseafrubrics.Afdenneårsagvildissetodimensionerafsystemetværenærtforbundneidetnedenstående.Viprøverdogatanskueliggøreforskellenemellemdetodimensioner,hvordetforekommersærligtrelevant.

http://www.lom.dk 6

Valg af cases AfprøvningenafPeergradeblevudførtiforbindelsemedtokurserpåRoskildeUniversitet,somdetoforfatterehverisærundervistepåiefteråret2017,hhv.”CrossMedia”og”Politikogadministrationidanskekommuner”.ValgkursetCrossMediablevafholdtpåInstitutforKommunikationogHumanistiskVidenskab(IKH)oglåtidsmæssigtførst.Undervisningenforegikpåengelskfordanskeoginternationalestuderende.Detvaretintensivtkursus,sombestodaf12undervisningsgangeàfiretimer.Kursetafvikledesoverfireugerogomhandledeteoriogpraksisirelationtildesign,medierogkommunikation.Underkursetarbejdede19kandidatstuderendeigrupper,hvordedesignedeogudvikledeenidétiletIT-produktelleren-tjeneste.Kursetblevevalueretsummativtefter7-trinsskalaenmeden10-sidersskriftligopgave,hvordestuderendeskullebeskrivedenidéellerdetprodukt,deharudviklet,samtbegrundeogreflektereteoretiskoverderesvalg.Tilstedeværelsepåkursusgangenevarikkeobligatorisk.Undervisningenblevvaretagetaftopersoner,hvorTroelsFibækBertelvarkursusansvarligogstodforotteaftilektioner.Peergradeharpåkursetværetanvendttiltoøvelsesopgaver.Denførsteopgaveblevudførtdesidstetotimerafenenkeltundervisningsgang,hvilketvistesigikkeatværehensigtsmæssigt,dadetkræverlængeretidfordestuderendeatlevereetskriftligtproduktafsådanenstandard,atanvendelsenafevalueringsspørgsmålenegivermening.Derforblevdennæsteopgaveudformetmedenlængeretidsfrist,hvordestuderendeiløbetafhalvandenugeskulleskriveoguploadeenopgaveiPeergrade.Opgavenvarendelanalyse,dersenere(iomarbejdetform)skulleindgåidenendeligeeksamensopgave.

KursetPolitikogadministrationidanskekommunerblevafholdtpåInstitutforSamfundogErhverv(ISE)over12kursusgangeàhalvandentimepr.uge.Samletsetløbkursetoverknap3måneder.De35studerendevarpåkandidatniveau,ogundervisningenforegikpådansk.Undervisningengennemførtesafetlærerteampåfirepersoner,hvorafTinaØllgaardBentzenstodforfemafgangenesamthavdedetoverordnedekursusansvar.Encentralambitionikursetharværetatskabebådeteoretiskogpraktiskbaseretlæring,ogderforerderetableretettætsamarbejdemedenkommune,sombidragermedoplægsamtinvitererpåen”rundrejse”isinearbejdsgange.Kursetblevevalueretsummativtgennemtoopgaver:Deneneopgaveblevudleveretogigangsatibegyndelsenafkursettilafleveringindenkursetsafslutning.Denandenopgavevaren48timersopgave,somgennemførtesumiddelbartefterkursetsafslutning.Detoopgavervægterhver50%ivurderingenafdensamledekarakter,somgivesefter7-trinsskalaen.AfprøvningenafPeergradeblevudførtiforbindelsemeddenførsteopgave,somblevudarbejdetundervejsikursusforløbet.Opgavenblevudformetifire

http://www.lom.dk 7

forskelligevariantermedforskelligespørgsmålogblevtildeltdestuderendeefterettilfældighedsprincip.

Kursus “CrossMedia” “PolitikogAdministrationIdanskekommuner”

Niveau Kandidat KandidatOmråde Kommunikation

(humanistisk/samfundsfaglig)

Forvaltning(samfundsfaglig)

Antalundervisningsgange

Antalstuderende 19 35Undervisningsgangenslængde

4timer 1,5timer

Kursetstidsramme Afviklesover4uger Afviklesover12ugerAntallærere 2 4Eksaminationsform Skriftlig14-dageseksamen

(10 sider) ved kursetsafslutning. Bedømmesefter7-trinsskalaen.

En skriftlig opgave underkurset (5 sider) samt enskriftlig 48-timers-opgave(5sider).Bedømmes samlet efter 7-trinsskalaen.

Sprog Engelsk DanskBrugafPeergrade Gruppebaseret – hver

studerende giverindividuelt feedbackpåenopgave udformet af engruppe.

Individuel – hverstuderendegiverindividueltfeedbackpåenopgavefratoindividuellestuderende.

OpgaveriPeergrade

To opgaver: Én opgavegivet som en del af enundervisningsgang. Énopgaveløstmedenfristpåenuge.

En opgave: De studerendehar ca. midtvejs ikursusforløbet uploadetudkast til den opgave, somdeobligatoriskskalafleverevedkursetsafslutning.

Detokurserdelerenrækkeligheder,menerogsåforskelligepåflereområder.Somvistitabel1erderibeggekurserstilfældetaleomuniversitetskurserpåkandidatniveau,hvorderanvendesskriftligeksamensomgrundlagforsummativbedømmelse.Dererdogogsåenrækkeforskelle:CrossMediaeretintensivtkursuspå48timer,derafviklesoverenperiodepåfireugerogharrelativtfåstuderende,mensPolitikogadministrationidanskekommunereretkursuspå18timer,somafviklesover12ugermedenstørregruppeafstuderende.Enandenforskeler,atCrossMediaividudstrækningerbaseretpågruppearbejde,mensarbejdsformenpåkursetPolitikogadministrationidanskekommunerprimærterindividuel.

Tabel1:Oversigtoverdetokurser

http://www.lom.dk 8

ForskellenemellemkursernegørdetmuligtforosatudforskepotentialerogbegrænsningerianvendelsenafPeergradetilformativevalueringgennempeer-feedbackiforskelligartedekontekster,derdogerfagligtbeslægtede.MedafsætiFlyvbjergsterminologikanvalgetafdetocasesbetegnessomet”maksimalvariation”-udvalg,hvilketersærligtrelevant,nårmåletmedforskningeneratfåvidenomforskelligebetingelserforprocesellereffektiencase(Flyvbjerg,2006).

Metodologi og metode Metodiskbasererundersøgelsensigpåaktionsforskning,somerkarakteriseretvedenambitionomatskabevidengennemdeltagelseoginterventionietfelt.Aktionsforskningbyggerpåenhermeneutisktilgangogbrugenafinteraktiveprocesseriskabelsenafempiriskematerialersamtbrugenafeksperimentertilatudforskebetingelserogeffekteridetsocialeliv(Nielsen&Nielsen,2010).Denvidenskabeligeproceseriaktionsforskningsparadigmetforbundetmedåbneeksperimenterogbevidstplanlagteændringerietgiventfelt,somkræverdeltagelseoginvolveringafaktørerneifeltet.Encentralpointeerogså,atforskeren,derinvolverersigiaktionsforskning,måbetragtesigselvsomendelaffeltetfremforatværeenobjektivobservatørfrasidelinjen.Derforkræveraktionsforskninggrundigrefleksionoveregenrolleogbetydningforprocessen.Aktionsforskningafviserdetpositivistiskesynspunkt,atvidenomsocialerelationerkanobjektiviseresudenforståelseforkonteksten.Derforermåletidenneartikelikkeatproduceregeneralisérbareresultater,menatillustrerevariationerihvilkepotentialerogbegrænsningeranvendelseafPeergradekanhaveiforskelligekontekster.Viharvalgtaktionsforskningsomafsæt,idetvisomkursusansvarligeogundervisereudgørencentraldelafdetfelt,viundersøger.Detgiverosenværdifuldindsigtogensærligmulighedforatiscenesætteeksperimenteriundervisningen,mensamtidigerdenneindvævedepositionuforeneligmedetpositivistiskidealomobjektivitet.

ForbeggekurserharafprøvningenafPeergradefulgtsammegrundskabelon:

• Introduktiontillæringsmål,rubricsogbrugenafPeergrade• Oprettelseafkursus,opgaveogstuderendeiPeergrade• Afleveringafopgaverogdistributionafopgavertilfeedback• Distributionaffeedbackblandtdestuderende• EvalueringafbrugenafPeergradegennemåbendialogforankreti

enanonymafstemningiprogrammetKahoot.CrossMediaerafvikletca.tomånederførkursetPolitikogadministrationidedanskekommuner,hvilketharbetydet,aterfaringernefradettekursusharbidragettilovervejelserogtilpasningeribrugenafPeergradepådetefterfølgendekursus.Enerfaringfraførstekursusharf.eks.vist,atdererbrug

http://www.lom.dk 9

foratafsættemeretidendoprindeligtforventettilatinstruereom,hvordanfeedbackenskalgives,hvilketharaffødtflereindsatserpådetnæstekursusift.atklædedestuderendebedrepåtildette.

Iforholdtiludarbejdelsenafbedømmelsesspørgsmålideanvendterubricsblevderidenaktuelleafprøvninganvendtrubricsbeståendeaftispørgsmål,ottelukkedeogtoåbne.Eteksempelpåetafdeottelukkedespørgsmål(derhvertfulgtesafetuddybendeobligatoriskåbentkommentarfelt)idenaktuelleafprøvning,er:”Hvorklarognematfølgeerargumentationeniopgaven?”,hvorsvarmulighedernevar1)”Argumentationeneruklarogsværatfølge”,2)”Argumentationenervissestederuklarogsværatfølge”og3)”Argumentationenerklarognematfølge”.Brugenafdennetypespørgsmålekspliciteredebedømmelseskriterierne,hvorveddeudoveratværenemmeatanvendefordestuderendeogsåsikrededensystematikoggennemskuelighedibedømmelsen,derercentralforeneffektivbrugafrubricsiformativevaluering.Eteksempelpåetåbentspørgsmåler”Hvadfungeredespecieltgodtiteksten?”.Dabedømmelsesspørgsmåleneerknyttettilkurserneslæringsmålsamtundervisningssprog,erdeikkeheltidentiske;doggårflerespørgsmålafmeregenerelkarakterigenpåbeggekurser.Bedømmelsesspørgsmåleneblevgjorttilgængeligefordestuderendeforudforbesvarelsenafderesopgaver,hvorveddekunnetagehøjdeforbedømmelseskriterierneideresarbejde.BrugenafrubricseriPeergradeautomatiskkoblettilenmeta-kognitivaktivitetiformafpeer-feedback,hvilketmenesatkunneøgedereslæringspotentiale,ogdamålgruppenerungevoksneuniversitetsstuderende,vurderesdenrelativtkorteinterventionslængdeikkeatværeproblematisk(jf.Panadero&Jonsson,2013).

AfprøvelsenafPeergradeharhaftetformativtsigte,hvorforviikkehargjortbrugafdeafsystemetsfunktionaliteter,dersigtermodunderstøttelseafsummativevalueringf.eks.iformafkaraktergivning.Endvidereharanvendelsenafsystemetprimærthaftfokuspåatunderstøttedestuderendeslæringsaktivitetergennempeerfeedbacktildenenkeltestuderendeellergruppe.Derharsåledesimerebegrænsetomfangværettaleom,atopgaverogfeedbackerblevetdiskuteretiplenumpåholdene—selvomdettenaturligviserforekommet,hvisdestuderendeharhaftspørgsmålellerkommentarer—ligesomderikkeerforetagetsystematiskeændringeraflæringsaktiviteterne.Ensådan”student-oriented”tilgangsynesatværepålinjemeddenfremherskendepraksispåområdet(Panadero&Jonsson,2013).

EvalueringenafafprøvningsforløbetmedPeergradeerforetagetetpardageefter,atdestuderendeharmodtagetfeedbackpåderes(sidste)opgaver,ogderharpåbeggekurserværetafsatca.enhalvtimetildette.Evalueringenertildelsgennemførtgennemottespørgsmåliquiz-ogafstemningsværktøjetKahoot(www.kahoot.com),sommuliggørenanonymogøjeblikkeligafstemning,hvordestuderendedeltagergennemderesmobiltelefonereller

http://www.lom.dk 10

tablets,oghvorresultaterneumiddelbarteftersvarafgivelsenkanvisespåprojektoriplenum.Påbeggekurserhardesammeottespørgsmålværetanvendt;herspørgesbl.a.tildestuderendesgenerelleoplevelseafPeergrade,værdienafatfåoggivefeedbacksamtderesegenarbejdsindsatsift.atskriveenopgaveoggivefeedbackpåandresopgaver.Resultatetafafstemningenfremgåraffigur1sidstidenneartikel.

BrugenafKahootkangiveetkvantitativtfingerpegomdestuderendesvurderingerafPeergradesomsystem.Kahootertilgengældikkesærligtanvendeligtift.kvalitativeevalueringer,ogderforharafstemningværetkombineretmedopfølgende,kvalitativedialogeriplenumefterpræsentationenafsvarfordelingenpåhvertafdeottespørgsmål.

EvalueringentagerihøjgradafsætidestuderendesoplevelseafPeergrade,hvilketnaturligvisharnoglemetodiskesvagheder—herunderatoplevelsenaflæringsmetodenikkebehøveratreflektere,omlæringfaktiskfindersted.Omvendtmåmansige,atdestuderendesoplevelseaflæringsaktiviteterne,ogderesderaffølgendeindstillingtildem,errelevante,daenpositivoplevelseafenlæringsmetodealtandetligemåfremmemotivationenforatgennemførelæringsaktiviteterne.Påsammemådeeridentifikationenafeventuelleoplevedebarriererforlæringenforudsætningforatfjernedissebarrierer.Derforervidenom,hvaddestuderendeopleversompotentialerogbegrænsningeriPeergradeinteressantift.atdesignelæringsforløb,somoplevesunderstøttende.Dethavdeværetinteressant,hvisbrugenafPeergradekunneholdesopimodregulæreindikatorerforlæringsomf.eks.enændringieksamenskarakterer,mendaundersøgelsenerudførtindenforetenkeltsemester,erdetteikkeenmulighed.Desudenvilledetværevanskelligtatmålesådanneeffekterselvoverfleregentagelserafsammekursus,dapersonsammensætning,pensumogkontekstforandresovertid.Ioverensstemmelsemedaktionsforskningsparadigmetinddragervidesudenvoreegneoplevelserogtolkningerogsammenholderdettemeddestuderendesoplevelseriensamletanalyse.

DekvalitativeplenumdiskussionerfraevalueringenblevoptagetsomlydfilogerefterindsamlingentransskriberetogkodetiNVivo.KodningenerforetagetmedudgangspunktiCharmaz’tilgangtilGroundedTheory-analyse(2006),hvorkodningenforetagesiterativtgennemindledende(”initial”)ogfokuseret(”focused”)kodning.Hervederførstdecentralekategorierogsenereenrækkeoverordnedetemaeridentificeret.Dissetemaerbrugesidetefterfølgendetilatstrukturereanalysen,såledesathverttemagivesenoverskrift,hvorundertemaetbehandles.

Analyse PeergradesomSystemBetragtetsomsystemharvihaftgodeerfaringermedPeergrade,somhjælpermedatfacilitereenfeedbackproces,derlogistiskvilleværesværathåndtereogoverskueudenensådanstøtte,ikkemindstpåstørreundervisningshold.Systemethåndterereffektivtbl.a.udsendelseafpåmindelseromafleveringsfristersamtfordelingenafopgaverogfeedbackmellemdestuderendeogmuliggørtilligeenanonymafgivelseaffeedback,hvilketdestuderendeivoresafprøvningoplevedevarpositivt,dadekunnegivemereærligfeedback,nårdeikkeskulletagehensyntilpersonligerelationer.Iforholdtilsystemetslæringskurveervoreserfaring,atdeterrelativtnemtatanvendeforbådeundervisereogstuderende.Etaspekt,derdogmedførtevisseudfordringer,varatfådestuderendetilatafgivefeedbackpådenfeedback,deselvhavdemodtaget,formentligfordiværdienafdettefordenenkelteikkeerumiddelbartindlysende.Afslutningsvisskaldetigenunderstreges,atviikkeharafprøvetfunktionalitetrettetmodsummativevaluering.

KvantitativeevalueringsresultaterSamletsettegnerdekvantitativeresultaterfraevalueringerneetsammensatbilledeafdestuderendesoplevelseafatbrugePeergradepådetokurser(sefigur1sidstidenneartikel):MensdestuderendepåCrossMediaopleverathaveydetenstørreindsatspåatgivefeedback,enddestuderendepåPolitikogadministrationidanskekommunertilkendegiverathavegjort,erbilledetomvendtift.deresoplevedeindsatsift.atskriveopgaven.Værdienafatgivefeedbackoganvendelighedenafdenfeedback,manharfået,evalueresgenereltlidthøjerepåCrossMedia,mensdestuderendepåPolitikogadministrationidanskekommunerihøjeregradoplever,atdeudarbejdederubricshjalpdemtilbedreatforståopgavensevalueringskrav.IforholdtildenoplevedenytteværdiafatbrugePeergradetilatøveopgaveskrivningpåkurseterdestuderendepåPolitikogadministrationidanskekommunerogsålidtmerepositive.

Denabsolutmestmarkanteforskelerdog,atdestuderendepåPolitikogadministrationidanskekommunerilangthøjeregradvurderer,atdetsamletseterengodidéatbrugePeergrade.Hele54%vurderer,atdetbestemterengodidé,mens43%synes,atdetinogengraderengodidé.Kun4%(svarendetilenenkeltstuderende)mener,atdeterendårligidé.DestuderendepåCrossMediaermereforbeholdne,idet62%mener,atdetinogengraderengodidéatbrugePeergrade,mens23%svarernejtilspørgsmålet.Blotca.15%(svarendetiltostuderende)menerbestemt,atdeterengodidé.SamletsetladeroplevelsenafatbrugePeergradealtsåtilatværemerepositivfordestuderendepåPolitikogadministrationidanskekommunerendfordestuderendepåCrossMedia.

Somtidligerebeskreveterderenrækkeforskellepådetokurser,herunderkursernesintensitet,anvendelseafindividueltarbejdekontragruppearbejdeogkoblingenmellemøvelsesopgaverneogeksamen.Disseforskellekanienvisudstrækningbidragetilatforklareforskellenidestuderendesbesvarelserpådetokurser.Derudoverharanvendelsenafaktionsforskningbetydet,aterfaringerfraCrossMedia,dertidsmæssigtlåførst,harkunnetbrugestilattilretteforløbetpåPolitikogadministrationidanskekommuner.Derkanaltsåværeflerefaktorer,sompotentieltkanforklare,hvorforbrugbarhedenafdetsammesystemoplevesforskelligtidetokontekster.Vivendertilbagetilenrækkeafdissefaktorernedenfor.

ForventningsafstemningEncentralerfaringpåCrossMedia-kursetvar,atfaciliteringafprocessenervigtigforatsikreforventningsafstemningogklarhedomkringforløbet,samtatdennefaciliteringkankræveenstørreinvesteringafressourcer,endmansomunderviserumiddelbartkunneværetilbøjeligtilatantage.Dettehandlerdelsom,atdestuderendeskalpræsenteresgrundigtogkonkretfordenforeståendeanvendelseafPeergrade,herunderkravtilopgavenogindføringibrugenafrubrics,menogsåatderafsættestidtildialogomkringforventningernetilomfangetogkvalitetenafdenfeedback,derskalgives.Hvornårerkritikf.eks.tilstrækkeligomfattendeogkonstruktiv,oghvordanskalmansommodtagerhåndteredenfeedback,manfår?Afklaringafsådannespørgsmålharbetydningfor,hvorafstemtegruppenafstuderendeeridenmåde,degiverogmodtagerfeedbackpå,ogunderstøtterdermedogsåetfællesniveauidet,deinvestererifeedbacken.PåPolitikogadministrationidanskekommunerblevderderforarbejdetmeddetteienmereudstraktgradendpåCrossMedia.Blandtandetblevderiløbetafundervisningenafsattidtilenkortdialogom,hvadkonstruktivfeedbacker,oghvilkeovervejelsermanbørgøresig,nårmangiverfeedback.Tiltrodsfordenneekstraindsatsvistedenkvalitativeevaluering,atdestuderendestadigefterspørgermeretidtilatgåidialogomsådannespørgsmål.F.eks.spørgerenstuderende,omdeteriorden,atvedkommendeikkerettersigefterdenfeedback,hanellerhunharmodtaget,hvishanellerhuneruenig.Hererderaltsåbrugforenafklaringaf,hvilkenstatusfeedbackenhar,oghvordanmansommodtagerkanvælgeatbrugeden.Étforslageratgøredialogenomfeedbackmerekonkretvedatgennemgåeksemplerpågodfeedback.Forbeggekursernegælderdetendvidere,atderogsåblevbrugtrelativtmangeressourcerpåatkommunikeremeddestuderendeudenforundervisningenom,hvordandeskullebrugePeergradesamtatmindeomfristerforafgivelseaffeedbackmv.Atdererrelativtmangespørgsmål,derskalafklares,ogmegenkommunikationpåkrævetiforbindelsemeddette,kantildelsskyldes,atbrugenafetsystemsomPeergradeogdenpraksis,detimplementerer,ernyeoginogenudstrækningukendtefænomenerfordestuderende.Derbetalesaltsået”startgebyr”iformafenstørreressourcemæssiginvesteringførste

gangsystemetanvendes,mendettesandsynligt,atdettevilmindskesinogengrad,hvisdestuderendevænnestilatbrugePeergradeovertid.

AtgivefeedbackEnudfordringpåbeggekurserer,atdestuderendeikkealtidfølersigkompetentetilatgivefeedbackpåhinandensbesvarelser.Destuderendeserikkesigselvsomeksperterideteorier,hvisanvendelsedeskalgivefeedbackpåogopleverathavebegrænsetindsigtideakademiskekriteriertilf.eks.atvurderekvalitetenafenanalyseellerendiskussion,hvorfortolkningsfrihedenianvendelsenafkursuslitteraturenkanværeganskestor.TostuderendefraCrossMediasigerf.eks.omdette:

Detvarvirkeligtsværtatværesuperkritisk,fordihvilkenpositionharjegtilatbedømme,omnogenharskrevetengodanalyseellerej?

Jegkangodtkommemedminegenmening,menjegerikkeekspertenpådether.

Iandretilfældeitalesættesdetforhold,atdestuderendeikkealtidharnåetatorienteresigidendelafpensum,deranvendesiopgaven/opgaverne,deskalgivefeedbackpå.PåPolitikogadministrationidanskekommunererderpåforhånddefineretfireforskelligeopgaver,somerfordelttilfældigtimellemdestuderende,hvornogleopgaverharkrævet,atdestuderendelæserforanipensumiforholdtilkursetsprogression,mensandreikkeharkrævetdette.PåCrossMediastillesøvelsesopgavernemedudgangspunktialleredegennemgåetteori,mentilgengældskrivergrupperneherommegetforskelligartedeemner.Såledeskommerfeedbackenpådetokursertilatforegåpåkrydsogtværsafforskelligedeleafkursuslitteraturenogemneområder,ogdetteudfordrerafsættetforatgivefeedback,dadestuderendeikkeblotkansammenligneandresanalysermedderesegen,menmåmestrepensummeregenerelt.EtkonkretforslagfradestuderendepåPolitikogadministrationidanskekommunererderforatbegrænseopgavernetildenlitteratur,derindtilvidereergennemgået,elleratvælgeénfællesopgave,somafgrænserdenlitteratur,manskalskabesigoverblikoverforbedreatkunnegivefeedback.Enandenmulighederenkvalitetssikringgennemenfællesopsamlingpåfeedbacken,somvivendertilbagetilnedenfor.

Trodsdisseudfordringeroplevermangestuderende,atdétatgivefeedbackpåandresarbejdebidragertilegenlæring—bl.a.pga.denkommunikation,derforegårgennemdeudarbejdederubrics.Påbeggekurseroplevernæstenallestuderendebestemt,ellerinogengrad,atdétatgivefeedbackhjælperdemtilbedreatforstådenstilledeopgavesevalueringskrav.EnstuderendefraPolitikogadministrationidanskekommunerudtalerf.eks.omdette:

Jegsynesfaktisk,detharværetenfinmåde.Mankommersådanindistoffetpåenandenmåde.Altsåendvedatbarelæsetilforelæsningen.Såjegermegetfanafdetpåetlæringsmæssigtplan.Ogjegsynesogså,detvarfedtatgivefeedback.Altsåjegtænkte–”duharfaktiskforståetnoget,somjegikkeharforstået.Deterfedt,dether.Detgiverfaktiskmeremeningformig.”Detlærermignogetatgiveandrefeedback.

Herharopgavenskvalitetdogogsåbetydning:Détatgivefeedbackpåethalvfærdigtudkastgiverikkedetsammeudbyttesomatgivefeedbackpåengennemarbejdetopgave,hvormanfårnyeperspektiverpåstoffet.EnstuderendefraCrossMediasigeromdette:

Jegtror,(udbyttet)afhængeraf,hvilkenopgavedufår,forhvisdufårenopgave,derermegetoverfladiskogudenreferencer,såkanduikkebrugedettilretmeget.

Mensprocessenmedatgivefeedbackladertilatkunnebidragetillæringen,erdetaltsåsomunderviservigtigtatværeopmærksompå,atufærdigeellermangelfuldeopgaveroplevessommindreudbytterigeatgivefeedbackpå.Derforkandetværeengodidéatladedestuderendebedømmeflereopgaver,såsandsynlighedenforatdekommerikontaktmedopgaver,deroplevessomudbytterigeatkommentere,øges.

AtmodtageogbrugefeedbackMensstørstedelenafdestuderendepåbeggekursermener,atdeharlagtenmiddelellerstorindsatsiatgiveandrefeedback,ogstørstedelenopleveratfeedbackenfraandreidetmindstevarnyttigienvisudstrækning,fortællerflerestuderendeveddenmundtligeevaluering,atdeikkeoplevede,atdenfeedback,defik,hjalpdeminævneværdiggrad.Specieltvardetetproblem,nårfeedbackenikkevarkonkretogkonstruktiviforholdtilf.eks.atforeslåløsningerellerforbedringeriforholdtileventuelleproblemer.Eteksempelpåafgivenfeedbacktildetåbnespørgsmål”Hvaderdeprimærekritikpunkteriforholdtilteksten?(venligstuddyb)”ienrubricfraCrossMedialyderisinhelhed:”Ikkenogetbestemt.Begreberogteorikunnehaveværetuddybetistørregrad”.Deterklart,atensådanfeedbackkunibegrænsetomfangkananvendesafmodtagerentilatforbedresinpræstation.EnstuderendefraCrossMediasigeridenneforbindelsefølgende:

Vihavdejoallerederubricen,davilavedevoresaflevering,ogdavisåfikfeedbacken,vardensletikkespecifik.Ogpådenmådehjalpdenossletikke;jegsynesikke,jegblevklogereefteratlæsefeedbacken(…)denburdehavehaftflereeksempleriforholdtil…dervaren,dersagde,atvibrugtefor

mangecitaterosv.DetvarOK,mensåsagdedenogså,atdervarformegettekstatlæseellersådannoget.Ogsågikdensletikkeindi,altså,”måskeskulleIskærenedpåtekstenomaffordancesogistedetbrugemerepladspådetellerdet”.

Detteproblemvilleformentligkunnebegrænsesmedenendnugrundigereintroduktiontil,hvordanmangivergodogeffektivfeedback,f.eks.medudgangspunktianvisningernehosHattie&Timperley,derpåpeger,atensådanfeedbackskalbesvaretrefundamentalespørgsmålift.læringsprocessen:”Whatismygoal?”,”HowamIgoing?”og”Wheretonext?”(2007).

Iafsnittetomudfordringervedatgivefeedbacknævntevi,atnoglestuderendeikkeansåsigselvsomværendekvalificeredetilatgivefeedbacktilandre,bl.a.pågrundafetbegrænsetkendskabtildetfagligestofområde,deførstervedattilegnesig.Irelationtilatmodtagefeedbacksesentilsvarendeopfattelseafandrestuderendeskompetencertilatgivefeedback.PåCrossMedianævnteflerestuderende,atdevarmereinteresseredei,hvadunderviserenmentevarengodbesvarelse,endhvadderesmedstuderendemåttemene—uagtetatdissehavdeudformetderesfeedbackpåbaggrundafenrubricproduceretafunderviseren.F.eks.fortalteenstuderende:

Påmindsttrekurserjeghartaget,hvorstuderendeharskulletevaluerehinanden,såhardeandrestuderendesagtnoget,somunderviserenharværetuenigi.Såjegtænkerogsåpå…hvisenandenstuderendegiverénfeedback,ogsåfølgermanrådetisitessay,mensåsigerdu”nej,deterheltgalt”(…)måskeskulleduevaluereos,istedetforatvievaluererhinanden.

Sådannesynspunkterogoplevelserkunneformentligimødegåsvedatforklare,atfeedbackikkenødvendigvisskaltagesforpålydendesomenrettelseafarbejdet,mensnarereskaltjenesometinputtilegenrefleksion,samtatpeer-feedbackiøvrigtbådekanværekvantitativtmereomfangsrigogbredspektretendekspert-feedback,pga.atflerepersonerkommentererarbejdet,ogkvalitativbedremåltpåfeedbackenseffekter(Cho&MacArthur,2010).Enandenmådeatimødekommedestuderendesbetænkelighederblevforeslåetafdestuderendeselv,dersavnedeenforankringaffeedbackenfraPeergradeiklasseundervisningen.Ideresøjnevilleensådanforankring(hvorderf.eks.blevsamletoppåfeedbackenafundervisereniplenum)kvalitetssikrefeedbackenoggøredenmereanvendeligsamtmotiveretiletstørreengagementiafgivningaffeedback,damanihøjeregradvillebliveholdtansvarligforatdeltageiprocessen.Enløsningkunnederforvære,atbrugenafPeergradeihøjeregradblevintegreretiundervisningenistedetforatkøreparalleltmeddenne.

PåPolitikogadministrationidanskekommunerdukkedeogsåenproblemstillingopiforholdtilmodtagelsenaffeedbacken.Herbeskrevenstuderende,atdenmodtagnefeedbackoplevedessommegetkontantoghård,fordiderikkevaretmennesketilstedetilatblødeleveringenop.Atfraværetafinterpersonellecueskanmedføreenutilsigtethårdleveringerenkendtrisikoimedieretkommunikation(jff.eks.Baym,2010),sommanbørværeopmærksompåogevt.forsøgeatforebyggevedenintroduktiontil,hvordangodfeedbackudformesunderhensyntagentilmediet,denskalleveresigennem.

Fordikvalitetenaffeedbackenvilvarieremellemstuderende,kandetværevigtigtatsikre,atettilstrækkeligtantalstuderendegiverfeedbackpådensammeopgave.Vedindividuellebesvarelserbetyderdetteipraksis,atenenkeltstuderendekommertilatgivefeedbacktilflerebesvarelser.Detskaberdenudfordring,atgennemlæsningogkommenteringafopgaverkanbliveenomfattendeopgavefordestuderende,afhængigtafopgaverneslængde.Derforkandetværeenovervejelse,omopgavernesomfangbørgøreslidtmindremodtilgengældatstillekravom,atdestuderendeskalgivefeedbacktilflere.Detteharyderligeredenpositivekonsekvens,atdefårindblikiflereopgavebesvarelser.Vedgruppebesvarelsermedindividuelfeedbackerproblemetmedenstorarbejdsbyrdeikkeisammeudstrækningtilstede,daflereindividerautomatiskgiverfeedbackpåfærregruppebesvarelser.

KoblingtilobligatoriskekravpåkurserneEnforskelpåbrugenafPeergradepådetokursererogsåopgavenskoblingtildeobligatoriskekravpåkurset.OpgavernepåCrossMediaharhaftkarakteraføvelsesopgaver,somikkeharværetknyttetdirektetileksamenpåkurset,mensopgavenpåPolitikogadministrationidanskekommunererenobligatoriskopgave,derskalafleveresiløbetafkursetsafvikling,foratmankanbeståkurset.ForbådedestuderendepåCrossMediaogPolitikogadministrationidanskekommunergælder,atdeparalleltmeddetpågældendekursusharandrekursus-og/ellerprojektforløb,hvilketbetyder,atdeofteopleveretkrydspresift.,hvordanarbejdsindsatsenskalprioriteres.Idettekrydspreskanopgaver,somikkeharnogendirektebetydningforeksamen,hurtigtblivenedprioriteret.DestuderendepåPolitikogadministrationidanskekommunerbetonerspecifikt,atkoblingentildeobligatoriskekravhargjortarbejdetmedPeergradeforpligtende.Dettegælderikkeblotift.tilderesindsatsmedatskrivederesegenopgave,menogsåift.atgivebrugbarfeedbacktilderesmedstuderende:

Detharenbetydningfordetansvar,manføler,nårmangiverfeedback.Altså,hvismanved,atdeterenopgave,manskalbrugetileksamen,følermansigmereforpligtettilatgøresigumage.Derliggeretansvariatgivekonstruktivfeedbackpånoget,derikkeersåfærdigt,hvismanved,atdeternoget

personenarbejdervideremed,ogsomtilsidstbliverendelafeksamen.

Koblingentildeformellekravharaltsåifølgedestuderendebetydningbådeift.,hvormangekræfter,derinvesteresiatudarbejdeopgaven,ogiatgiveandrefeedbackpåderesopgaver.DerforkanenovervejelseværeatgørearbejdetmedPeergradetilenobligatoriskdelafkursuskravetogatundersøge,hvilkeeksamensformersomunderstøtterdettesamspilbedst.

KursernesrammebetingelserSomtidligerenævnterderenrækkeforskellepådetokursersrammebetingelser,somogsåvisersigathavebetydningforbrugenafPeergrade.CrossMediakøreroverenkortereperiodeendPolitikogadministrationidanskekommuner,menmedfleretimer,hvilketgiveretmerekondenseretforløbmedbegrænsedemulighederforatbededestuderendelavestørreskriftligehjemmeopgaverparalleltmedkurset.PåPolitikogadministrationidanskekommunererdetsomtidligerenævntenudfordring,atopgavenpga.kursusplanlægningengivespåettidspunkt,hvorikkealkursuslitteraturergennemgået.Selvomopgavenførstskalafleverestotredjedeleindeikursusrækken,opleveskravetomatskullegivefeedbacktiltoopgaverpådettetidspunktsomenbelastningfornoglestuderende:

Jegværetretfrustreret,fordidetliggersåtidligtiforløbet.Jegkommertilnærmestatskrivetreeksamensopgaveridetherforløb.

Dettekandog,somtidligerenævnt,formentligafhjælpesvedatlaveopgaver,derfokusererpåafgrænsededeleafteorien.

Enandenforskelpådetokurserer,atopgavernepåCrossMediaerlavetigrupper,mensopgavernepåPolitikogadministrationidanskekommunererlavetindividuelt.Samletseterdetindtrykket,atdengruppebaseredebrugafPeergradepådenenesidegørdetmindresårbartatmodtage(fælles)feedback,menogsåkangøredetmindreforpligtendeatindgåiprocessen.DetteunderstregesaferfaringernefraPolitikogadministrationidanskekommuner,hvornoglestuderendeopleveratståtilbagemedenhårdkritik,somdeikkerigtigkandelemednogen.Tilgengældmotivererdeindividuelleopgavernoglestuderendetilatlæggeenstørreindsatsiarbejdet,dadenetopikkekan”gemmesig”igruppen.

DiskussionDenovenståendeanalysebidragertilenøgetforståelseaf,påhvilkenmådeogunderhvilkebetingelserPeergrademedfordelkananvendestilatstyrkeformativfeedbackpåuniversitetskurser.Pådenbaggrunderderenrækkeopmærksomhedspunkter,derbørreflekteresover,nårPeergradeinddragessometformativtelementpåsådannekurser.

MensmaniinformationsmaterialetforPeergradekankonstatere,atencentralmålsætningmedsystemeteratfrigiveundervisertid,vedatdestuderendeselvforestårfeedbackensideløbendemedundervisningen,viserresultaterneafdettestudieennogetandenvirkelighed.Vurderingeneroverordnetset,atbrugenafsystemetlogistiskharfaciliteretdenformativeevalueringsprocesogbidragettillæringpåkurserne.Brugtsomenekstralæringsaktivitetharsystemetdogikkekrævetmindre,menderimodmeretidafunderviseren.Detøgederessourceforbrugskyldesnaturligvistildels,atsystemet,ogdenpraksisdetimplementerer,ernytforbådeunderviserogstuderende,ogatderskerenekstrainvesteringafressourcerførstegangsystemetanvendes;detteressourceforbrugvilsandsynligvisinogenudstrækningkunnereduceres,nårdereretableretenstørreerfaringmedbrugafsystemet.Somunderviserskalmandogværeopmærksompå,atsystemetfortrinsvislevererentekniskløsningpådelogistiskeogpragmatiskeudfordringervedatfacilitereenfeedbackprocesistorskala.Udarbejdelsenafrubricsmedeksplicittebedømmelseskriterierioverensstemmelsemedkursetslæringsmålerenforudsætningforatbrugesystemetogkræverisigselvenheldelarbejdeogkvalitetssikring.Itillægtildettekommerkommunikationoghåndteringafprocessen;somunderviserkræverdetplanlægningatsikredenrettedialogmeddestuderendeombrugenafrubricsogrammerneforfeedback,ligesomdetkrævermegentidatsikredennødvendigeforventningsafstemning,faciliteringogkoordineringafforløbetforatunderstøttedensociale,læringsmæssigeproces.Detovenståendeeraltsammenaktiviteter,somskalbehandlessideløbendemeddentraditionelleundervisning.Dakravoglæringsmålendviderevilvarierefrakursustilkursus,måmanforvente,atbehovetforkommunikationogfaciliteringafprocesseninogengradvilbestå,selvomstuderendeogunderviserefårstørreerfaringmedsystemet.

Endelstuderendeytredeefterafprøvningenønskeom,atfeedbackenfraderesmedstuderendeefterfølgendeblevbehandletiplenumafunderviseren;deføltesigikkenødvendigvissomeksperterpådetstof,degavfeedbackpå,ogvurderedehellerikke,atderesmedstuderendevardet.Dettekunnemuligvisinogengradimødesesvedtydeligereatkommunikeretildestuderende,atekspert-feedbackhverkeniomfangellerkvalitetnødvendigviserbedreendpeer-feedback(Cho&MacArthur,2010).AlternativtburdePeer-feedbackenmåskesomforeslåetsessometsupplementtilunderviserfeedbacksnarereendsomenerstatningfor

den—ihvertfaldpåkurser,hvorindholdetlæggeroptilenhøjgradafselvstændigrefleksionogvariabilitetidemuligeanalyser.Enopfølgningiplenumvildesudenværeetudtrykfor,atfeedbackenbrugesformativtbådeafdestuderendeogunderviseren.EnøgetintegrationafPeergradeiundervisningenvilleherudoverbevirke,atderbedrekunnetageshåndomprocessenogallokeresressourcertildenne.

Dettestudiepegerendviderepåvigtighedenaf,atbrugenafPeergradetilpasseskursernesrammebetingelser.Påkorte,intensivekurserbøropgavernesomfangogtidsfristertilpasses,sådestuderendeharrealistiskmulighedforatlæggedennødvendigearbejdsindsats;eventueltkandetteforsøgessikretvedatgivemulighedfor,atopgavertildelsbesvaresiundervisningstiden,hvisdetteermuligt.Detgælderdogogsåpålængerekurser,hvoropgavernesudformningisærbørtagehøjdefor,hvilkenlitteratur,derergennemgået,nåropgavenskalafleveres.Tilsvarendekandetmåskeværenødvendigtattilpassekursernesrammertilbrugenafsystemet;destuderendevarmeremotiveredeforatlavedestilledeopgaveroggivefeedback,hvisdettevarobligatoriskpåkurset,ogdetkunnederforovervejesatindføredissepraksissersomobligatoriskeudtrykforaktivdeltagelse.ResultaterneåbnerogsåeninteressantdiskussionompotentialerogbegrænsningeriatbrugePeergradetilgruppeopgaverkontraindividueltudformedeopgaver.Studietpegerumiddelbartpå,atindividuelleopgaverkanværeforbundetmedstørreansvarlighediarbejdetmedatudformeopgaveroggivefeedback.Spørgsmåletom,hvordanPeerfeedbackbedstunderstøttesvedgruppeopgaverkontraindividuelleopgavervilværeetinteressantspørgsmåltilfremtidigforskning.

KonklusionIdenneartikelundersøgespotentialerogbegrænsningervedbrugenafsystemetPeergradetilformativevalueringgennempeer-feedbackiuniversitetsundervisning.SomsystemhjælperPeergrademedatfacilitereenfeedbackproces,derlogistiskvilleværesværathåndtereudenensådanstøtte,ikkemindstpåstørrehold.VioplevedeikkestørretekniskeellerforståelsesmæssigeudfordringerknyttettilPeergradebetragtetsomsystem—frasetatdestuderendehavdesværtvedatforståvigtighedenafatgivefeedbackpådenfeedback,deselvhavdemodtaget.Samletsetvisererfaringernefraafprøvningenpådetokurser,atdestuderendeopleverdetsomnyttigtatbrugePeergradeogdenpraksis,somsystemetimplementerer,iuniversitetsundervisningen.Destuderendeoplever,atdetforøgerdereslæringatmodtageogisærgivefeedbacktilandrestuderende,ligesomsystemetsbrugafrubricsformangehargivetanledningtilstørrerefleksionoverdekriterier,undervisernevurdererderesarbejdepå.SamletsetvurderesPeergradealtsåtilathavespændendepotentialerift.atunderstøtteformativevalueringogbidragetilatstyrkeundervisningenskvalitetpåuniversitetskurser.

BrugenafPeergradekræverdogenpædagogiskindsatsfraunderviserenift.atindtænkeogtilpassebrugenafsystemettilundervisningsforløbetogdeformellerammer,kurseterunderlagt.Bl.a.krævesderendelarbejdeafundervisereniforbindelsemedudarbejdelseafderubrics,dererenforudsætningforbrugenafsystemet,ligesomderkrævesenforventningsafstemningmellemunderviserogstuderendeift.opgavensformat,formogevalueringskriterierfor,atforløbetkanskabeværdi.Foratsikrekonstruktivogbrugbarfeedbackkræverdetogså,atunderviserenfacilitererendialogomdette,såderblandtdestuderendeopnåsenfællesforståelseaf,hvordanfeedbackgivesogmodtages.Derudoverkræversystemetogsålavpraktiskkoordineringogkommunikationfor,atalleharforståetoghusker,hvilkehandlingerderkrævesafdemoghvornår.Afprøvningenviserogså,atkursernesformellerammerkanhavebetydningforudbyttetafbrugenafsystemet;hvisfeedbackengivespåopgaver,dersidenbedømmessummativtmedkarakter,kandetteværemereforpligtendeogmotiverende,endhvisderanvendesreneøvelsesopgaver.Hvissådanneanvendes,kandetovervejesatgøredisseobligatoriske.

Referencer Baym,N.K.(2010).Personalconnectionsinthedigitalage.Cambridge,UK;Malden,MA:Polity.

Black,P.,&William,D.(1998a).AssessmentandClassroomLearning.AssessmentinEducation:Principles,Policy&Practice,5(1),7–74.

Black,P.,&William,D.(1998b).InsidetheBlackBox:RaisingStandardsthroughClassroomAssessment.PhiDeltaKappa,80(2),139–148.

Charmaz,K.(2006).Constructinggroundedtheory:apracticalguidethroughqualitativeanalysis.London:Sage.

Cho,K.,&MacArthur,C.(2010).Studentrevisionwithpeerandexpertreviewing.LearningandInstruction,20(4),328–338.

Flyvbjerg,B.(2006).FiveMisunderstandingsaboutCase-Studyresearch.QualitativeInquiry,12(2),219–245.

Gibbs,G.(1999).UsingAssessmentStrategicallytoChangetheWayStudentsLearn.InS.Brown&A.Glasner(Eds.),AssessmentMattersinHigherEducation(pp.41–52).London,UK:McGraw-HillHigherEducation.

Gibbs,G.,Simpson,C.,Gravestock,P.,&Hills,M.(2005).ConditionsUnderWhichAssessmentSupportsStudents’Learning.LearningandTeachinginHigherEducation,(1),3–31.

Gikandi,J.W.,Morrow,D.,&Davis,N.E.(2011).Onlineformativeassessmentinhighereducation:Areviewoftheliterature.ComputersandEducation,57(4),2333–2351.

Hattie,J.,&Timperley,H.(2007).ThePowerofFeedback.ReviewofEducationalResearch,77(1),81–112.

Heritage,M.(2010).AssessmentwithandforStudents.InM.Heritage&J.W.Stigler(Eds.),Formativeassessment:Makeithappenintheclassroom(pp.7–20).ThousandOaks,Ca.:Corwin.

Heritage,M.,&Stigler,J.W.(2010).Formativeassessment:Makeithappenintheclassroom.ThousandOaks,Ca.:Corwin.

Lu,R.,&Bol,L.(2007).AComparisonofAnonymousversusIdentifiablee-PeerReviewonCollegeStudentWritingPerformanceandtheExtentofCriticalFeedback.JournalofInteractiveOnlineLearning,6(2),100–115.

Nielsen,S.,&Nielsen,K.A.(2010).Aktionsforskning.InS.Brinkmann&L.Tanggaard(Eds.),Kvalitativemetoder-engrundbog.København:HansReitzelsForlag.

Panadero,E.,&Jonsson,A.(2013).Theuseofscoringrubricsforformativeassessmentpurposesrevisited:Areview.EducationalResearchReview,9,129–144.

Peergrade.io.(n.d.a).FeedbackRubrics-Aguidetocreatingeffectivefeedbackrubrics.RetrievedMay15,2018,fromhttps://www.peergrade.io/blog/create-effective-feedback-rubrics/

Peergrade.io.(n.d.-b).Peergrade-BetterFeedbackforYourStudents.RetrievedMay15,2018,fromhttps://youtu.be/US_raZCfJAM

Reddy,Y.M.,&Andrade,H.(2010).Areviewofrubricuseinhighereducation.Assessment&EvaluationinHigherEducation,35(4),435–448.

Rienecker,L.,Jørgensen,P.S.,Dolin,J.,&Ingerslev,G.H.(Eds.).(2015).UniversityTeachingandLearning.Frederiksberg,DK:Samfundslitteratur.

Figur1:SvarfordelingafdenanonymeevalueringafbrugenafPeergradepådetokurser,”CrossMedia”og”Politikogadministrationidedanskekommuner”.Dervar13udafialt19studerendepåCrossMedia,somdeltogievalueringenogbesvarededekvantitativespørgsmålmedundtagelseafspørgsmål7,som12besvarede.ForPolitikogadministrationidanskekommunersvedkommendevarder28studerendeudaf40,derdeltogievalueringenogbesvaredespørgsmål1,2,5,og7,mens27studerendebesvaredespørgsmål3,4og6.

0% 10%20%30%40%50%60%70%80%90%100%

Kommunekurset

Cross Media

Kommunekurset

Cross Media

Kommunekurset

Cross Media

Kommunekurset

Cross Media

Kommunekurset

Cross Media

Kommunekurset

Cross Media

Kommunekurset

Cross Media

Evaluering af Peergrade på de to kurser

Ja bestemt/Stor indsats Ja, i nogen grad/ Middel indsats Nej/ Lille indsats

troels endelig 2018.06.17 peergrade lom flat templated · læringsmålene opnås bedst muligt...

Documents

department for environment and heritage heritage south...

cultural heritage & heritage tourism

heritage schools - heritage trust network · heritage...

wrghm - stockton heritage | stockton heritage

world heritage centre - world heritage list

hum07 - heritage - heritage report - chinh mai

“heritage 101: understanding heritage buildings”

como heritage trail: heritage interpretation plan · como...

brancheorientering for tekstilfarvning og -tryk · ference...

heritage registration process heritage act 2004

district plan – listed heritage place heritage … ·...

oregon heritage tools & resources 2020-2025 oregon...

heritage listing explained - nsw environment & heritage ·...

agenda informationer –bedst på nettet –forslag til...

taking stock: heritage inventories and heritage decision...

heritage west allis heritage newsletter

como heritage trail: heritage interpretation plan ·...

new heritage frontiers: heritage, landscape and...

cultural heritage assessment report cultural … c cultural...

softwaretest...9.- 10. december 2009 · teknologisk institut...