learning analytics og big data i et kritisk perspektiv(men også med muligheder)

Learning Analytics og Big Data i et kritisk perspektiv(men også med muligheder)

Thomas RybergProfessor msoInst. for kommunikation, [email protected]@tryberg - twitter

mailto:[email protected]

Agenda

• Kort om mig – hvorfor dette oplæg, hvad er mit bias– Ikke maskin-stormer – networked learning og læring og

sociale medier– Lidt generelt om #edtech– Hvorfor kritik? Hvorfor Big Data?

• Problematikker og udfordringer ved big data og learning analytics– Fra videnskabsfilosofisk perspektiv– Fra pædagogisk perspektiv

• Mulige veje – hvor skal vi hen du?

Stærke stemmer der taler om nært forestående, radikale forandringer– Game-changers, disruptions, paradigme-skifte, 2.0, med på vognen

Stor afstand mellem:

De faktiske kvalitative forandringer teknologi har medført inden for uddannelse og den faktiske udviklingshastighed

Samme tog kører til perronen uden at være vidende om, at det har været der før og er kørt i ring

#EDTECH er BIG BUSINESS

Full of:

Men også potentiale…

“There must be an industrial revolution in education in which educational science and the ingenuity of educational technology combine to modernize the grossly inefficient and clumsy procedures of conventional education.”

- Sidney Pressey, 1924, inventor of the Automatic Teacher, the first electronic device used in schools

The motion picture is destined to revolutionize our educational system and...in a few years it will supplant largely, if not entirely, the use of textbooks.

—Thomas Edison, 1922

Prof. C. C. Clark of New York University conducting a class from his home (1935)

Source: http://www.smithsonianmag.com/history/predictions-for-educational-tv-in-the-1930s-107574983

“The scene will be a commonplace one tomorrow, without a doubt, when television will be as indispensable to our every day home life as the radio program receiver is today.” (The April 1935 issue of Short Wave Craft magazine)

1954

http://www.idealearninggroup.com/blog/history-of-elearning-e-is-for-evolutionary

Umiddelbar feedback, selv-drevet læring, adaptiv læring – ofte hørt ifht nye læringsteknologier - også learning analytics – det er ikke så nyt….

Learning analytics

• “Learning analytics is the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimising learning and the environments in which it occurs” https://en.wikipedia.org/wiki/Learning_analytics

• Educational data mining, academic analytics, learner modelling – ældre tradition

• Læs mere om LA på: solaresearch.org – SOLAR – society for learning analytics research

https://en.wikipedia.org/wiki/Learning_analytics

Hvorfor kritik

• Kritik er ikke lig uenighed – kritik er ikke negativt• Big Data, Learning Analytics ligger i krydsfeltet mellem forskning og

Big Business– “[…] academics should not engage in research that industry ‘can do

better’” (Lin, cited in boyd & Crawford)– Big Data og Learning Analytics er i øjeblikket buzz-words og smølfeord

– kandidater til Bullshit bingo og florerer i bullshit-bæltet – Det betyder ikke de er meningsløse, tomme eller uinteressante – men

det betyder vi skal være varsomme• Akademisk rum – plads/tid til:

– Refleksivitet– Eftertænksomhed, langsommelighed (bagstræberisk)– Social kritik– Og Dilbert…

Personificeringen af bullshit bæltet – well-meaning, but….

Kritisk refleksivitet

• Vigtigt at metoder, teorier og antagelser udfordres, kritiseres, forbedres

• Der er noget særlig persuasivt og tillokkende ved Big Data, Learning Analytics og visualisering af data – det bekymrer mig! Vigtigt at være kritisk

• Vigtigt at vi er refleksive i forhold til ALLE de metoder vi anvender og data vi indsamler – hvad er styrker, hvad er svagheder – hvad kan data sige, hvad kan de ikke sige

• At vælge data og fokus er også at fravælge andre blikke

Seeing is believing: The effect of brain images on judgments of scientific reasoning

• McCabe, D. P., & Castel, A. D. (2008). Seeing is believing: The effect of brain images on judgments of scientific reasoning. Cognition, 107(1), 343–352. http://doi.org/10.1016/j.cognition.2007.07.017

White paper: Open Learning Analytics: an integrated & modularized platformhttp://solaresearch.org/OpenLearningAnalytics.pdf

Tænkt eksempel på ‘student dashboard’

• Vi må være forsigtige i at antage, at fordi noget er mere visuelt interessant, at det også:– A: Er mere sandt og bedre reflekterer/repræsenterer

en kompleks underliggende virkelighed– B: Folk kan læse data og agere på det på meningsfuld

og god vis

Big Data changes the definition of knowledge• Andersson, Wired (2008)

– “This is a world where massive amounts of data and applied mathematics replace every other tool that might be brought to bear. Out with every theory of human behavior, from linguistics to sociology. Forget taxonomy, ontology, and psychology. Who knows why people do what they do? The point is they do it, and we can track and measure it with unprecedented fidelity. With enough data, the numbers speak for themselves. (2008)”

– ‘accounting tools . . . do not simply aid the measurement of economic activity, they shape the reality they measure’ (Du Gay & Pryke in boyd & Crawford)

Big Data changes the definition of knowledge?

• De værktøjer vi får i hånden ændrer vores tilgang til og forståelse af ”verden”

– Tid (kronometer) – måler ikke noget, men strukturerer meget af vores samfund og forståelse

– Fødselstal, scanninger, diagnoser – producerer viden men også ‘anxieties’ og nye foki

– Images og scans som persuasive• De kan også ændre hvad vi forstår som ‘videnskabelighed’, ‘data’,

sandhed, nytte osv.– Andersson citat afspejler måske en lidt naiv scientisme /

positivisme– Hvid-kittel knæfaldet – videnskab og videnskabelse én tilgang

‘pure data driven research’ – numbers, data and truth is ‘out there’– What is easily available guide our eyes – nem adgang til bestemte

typer af data producerer bestemt forskning/tæ – her-og-nu på twitter fremfor ‘long data’

– Numre og ‘true sciences’ – men læring et menneskeligt fænomen (erfaringer, følelser, meningsfylder, politik, idealer) – alt det hvorom ‘science’ does not always speak…det rodede

• Dashboards med data – nye måder at producere bestemte subjekter – ”de bliver hvad vi måler”

– Kan man ‘måle’ en kompetence? Ligesom temperatur?

Claims to objectivity and accuracy are misleading• ‘Numbers, numbers, numbers’, writes Latour

(2009). ‘Sociology has been obsessed by the goal of becoming a quantitative science’ (boyd & Crawford)– Hvid-kittel knæfaldet – kvantitativ forskning mere

objektiv og videnskabelig – blottet for subjektivitet og fortolkning – data taler for sig selv

– Men analyse er fortolkning – “making sense of data”

– Data ‘er’ ikke derude – data produceres (craftes) – de vælges, (ud)renses (data-wrangling) og andre bestemmer hvilke data der ér tilgængelige (fx.API)

– Vi “måler” ikke bare noget – vi konstruerer – Hvad dækker data? Selvom de er Big – er de så

altomfattende, er der huller? Hvor meget kan man fortælle om person ud fra fodspor – hvor partielle er data?

As a large mass of raw information, Big Data is not self-explanatory. And yet the specific methodologies for interpreting the data are open to all sorts of philosophical debate. Can the data represent an ‘objective truth’ or is any interpretation necessarily biased by some subjective filter or the way that data is ‘cleaned?’. (2010, p. 13) (boyd & Crawford)

Too often, Big Data enables the practice of apophenia: seeing patterns where none actually exist, simply because enormous quantities of data can offer connections that radiate in all directions (boyd & Crawford)

Database pedagogies (Williamson)

• Adaptive learning systems (som man har arbejdet med siden 70’erne!!!!!)

• Skræddersyet, individuel læring• “Læser”, modellerer, forudser,

tilretter sig til eleven (more capable peer)

• Automated management & governance

• Men måler og vejer eller producerer metrics bestemte subjekter?

• Hvilke forståelser af pædagogik, læring og individer er i spil – hvilke forståelser træder i forgrund – hvilke i baggrund?

every child has a ‘digital tutor’ that is responsive to their interests, their prior conceptions and achievement and the potential for ‘intelligent online platforms that can use data gathered from learners to become smart enough to predict, and then appropriately assist and assess, that learner’s progression to mastering the concept being taught (Williamson)

The aim of some learning analytics developments is to create automated pedagogic systems, or what might be termed database pedagogies. These database pedagogies can include automated messages which provide brief and simple nudges or fully automated intelligent tutoring systems: the automatic production of personalized pedagogies (Williamson)

database devices are based on the logic that the subject is made up of unique combinations of distributed transactional metrics that reveal who they are and their capacities, problems and needs. An individual is not simply a child or youth, but rather a combination of needs and services. (Citation in Williamson)

Forskellige pædagogiske forståelser

#edtech historien ikke en lige linie men en strid mellem perspektiver / pædagogiske idealer (Weller, 2007)

Broadcast perspektiv•Gøre indhold og ressourcer tilgængelig for flest muligt – on demand•Selv-drevet, individualiseret•Genbrug, skalerbart, kost-effektivt (reducere underviserens rolle)•Learning objects, Open Educational resources•Også: kontrol, standardisering, institutionalisering, industrialisering•“The broadcast view can be found in higher education and national policies and it is also common in corporate training” (Jones & Dirckinck-Holmfeld, 2009)

Diskussions perspektiv•Viden som skabt gennem dialog, samarbejde og kommunikation•Gensidig forpligtethed – relationer ml studerende og ml studerende og undervisere•Grupper, intimitet, relationer, samarbejde og koordination – tidsafhængig•Internationalt et ‘rand-perspektiv’

Jones, C., & Dirckinck-Holmfeld, L. (2009). Analysing Networked Learning Practices. In L. Dirckinck-Holmfeld, C. Jones, & B. Lindström (Eds.), Analysing Networked Learning Practices in Higher Education and Continuing Professional Development (pp. 10–27). Rotterdam: Sense Publishers. Weller, M. (2007). Virtual learning environments : effective development and use. London: Routledge.

2 hovedparadigmer indenfor uddannelsestænkning

• Angelsaksisk curriculumtænkning (John Biggs)

• Kontinental (Skandinaviske tænkning) didaktisk tænkning (Wolfgang Klafki)

Venligst udlånt af Ulla Konnerup, AAU, 2015

Klafki

• Dannelse• Personlige, faglige kompetencer• Selvstændighed og kritisk tænkning i forhold til tilegnelse af et videns-

og kompetencefelt

“Yde eleverne hjælp til at udvikle deres medbestemmelse og solidaritetsevne”

“Sammenhængen mellem undervisning og læring forstås som interaktionsproces”Klafki, Wolfgang (2001). Dannelsesteori og didaktik. Århus: Klim.

Klafki, Wolfgang (1983). Kategorial dannelse og kritisk-konstruktiv pædagogik. Udvalgte artikler og indledning ved Sven Erik Nordenbo. Nyt Nordisk Forlag Arnold Busck.Wolfgang Klafki, (Hg.). (1988). Verführung Distanzierung Ernüchterung. Kindheit und Jugend im Nationalsozialismus.

Autobiographisches aus erziehungswissenschaftlicher Sicht. Wienheim und Basel: Beltz Verlag.


Angelsaksiske tænkning

• Ingen ækvivalent begreb til dannelse• Curriculum tænkning, der bygger på teori om

instruktion og undervisningsforskning

På forhånd intenderede læringsmål, der ved hjælp af effektiv undervisning tilstræber et fastlagt og måleligt læringsindhold hos den studerende, hvor effektivitet udmønter sig som et syn på forståelse som en opadgående lineær bevægelse

(Wiberg 2011)


Forståelser af læring

• Hvad hvis læring ikke er tilegnelse af det eksisterende, men opdagelse og skabelse af det nye?

• Hvordan måler vi hvad der ikke eksisterer/er skabt endnu?

• Måle det vi forstår så lidt om – kreativitet, forandringsprocesser, følelser, gruppedynamik?

• Er læring en lineær proces fra en begyndelse til en ende? En fastsat diagram over udvikling – et ‘skill-tree’?

• ”Teaching to the PISA test”

Nogle (andre) pædagogiske principper• Cooperation and collaboration and in the learning process• Working in groups and in communities• Discussion and dialogue• Self-determination in the learning process (ikke nødv self-directed)• Difference and its place as a central learning process• Trust and relationships: weak and strong ties• Reflexivity and investment of self in the networked learning

processes• The role technology plays in connecting and mediating• (Hodgson et al., 2012, p. 295)• Hodgson, V., McConnell, D., & Dirckinck-Holmfeld, L. (2012). The Theory, Practice and Pedagogy

of Networked Learning. In L. Dirckinck-Holmfeld, V. Hodgson, & D. McConnell (Eds.), Exploring the Theory, Pedagogy and Practice of Networked Learning (pp. 291–305). Springer New York. Retrieved from http://link.springer.com/chapter/10.1007/978-1-4614-0496-5_17

Nogle muligheder for Learning Analytics• Meget LA handler om personalisering, individualisering, frihed fra

andre (fleksibilitet) – hvor er understøttelse af dialog, samarbejde og gensidig forpligtethed?

• Maarten de Laat fra Welten Institute – arbejder med app til læreres egen dannelse af sociale og professionelle netværk– Visualiseringer af hvem de lærer fra hvem og om hvad – skaber nye

forbindelser, giver overblik til refleksion• Sociogrammer – bruge Social Network Analysis til at visualisere

hvem i en gruppe der kommunikerer mest og med hvem – til refleksion over roller og inklusion/eksklusion

• i MOOCs og store online kurser er LA stor hjælp til identifikation af patterns (hvem logger ind, hvem læser etc.)…men i en folkeskoleklasse?

• Det vigtige er: Hvilke læringsmæssige idealer vil vi realisere og understøtte gennem en data-informeret tilgang – hvilke kommer vi måske til at lukke øjnene for.

White paper: Open Learning Analytics: an integrated & modularized platformhttp://solaresearch.org/OpenLearningAnalytics.pdf

Analytics at scale: UK schools

30

• Aligned with clear aims

• Huge and sustained effort

• Agreed proxies for learning

• Clear and standardised visualisation

• Driving behaviour at every level

BUT•Stressed, unhappy learners•Analytics with little value for learners or educators•Omission of key areas, such as collaboration

NB – slide taken from ”Scaling up learning analytics” by Rebecca Ferguson http://www.slideshare.net/R3beccaF/scaling-up-learning-analytics

• Kan vi dekomponeres til et antal tællelige enheder, som aggregeret på forskellige vis kan kaldes kompetencer eller dannelse? F.eks. Learning dispositions

• Enhederne er ord, begreber, teori, abstraktioner, akademiske distinktioner som er med til at producere og konstruere forståelser af hvad vi er – de er ikke en 1:1 model af virkeligheden (den er for kompleks)

• Det tror jeg vi glemmer en gang imellem i vores fascination af data og visualiseringer og begreber

• Kan vi sige noget om folks personlighed ved at stikke et termometer i røven af dem?

database devices are based on the logic that the subject is made up of unique combinations of distributed transactional metrics that reveal who they are and their capacities, problems and needs. An individual is not simply a child or youth, but rather a combination of needs and services. (Citation in Williamson)

Opsummerende

• Learning Analytics og Big Data er ikke bare neutrale værktøjer, data og systemer – de indeholder bestemte forståelser og måder at se verden på.

• De skaber også bestemte subjekter, praksisser, rationaliteter og idealer• Hvilke syn på læring og pædagogik følger med værktøjerne og

metoderne – hvilke implicitte pædagogikker er indskrevet i kildekoden• Hvilke muligheder og problemer giver det hvis vores forståelse af læring

konfigureres gennem databaser tabeller og kryptisk algoritmer?• Hvilke kompetencer kræver det at forstå og afkode de data vi producerer

– forstår vi faktisk, hvad vi opererer på eller er det black-boxed• Specielle pædagogikker der understøttes af denne tænkning?• Er forståelser rundet af dataloger og statistikere snarere end

pædagoger, filosoffer og humanister?

Hvilke spørgsmål bør I stille

• Læring eller data først? Hvad er jeres forståelse/ideal omkring læring (læring som identitet, transformativ?)– Kan I måle det? Hvad er begrænsningerne?– Hvilke data har I adgang til? Hvilke har I ikke?– Data-driven eller problem-driven – løser I et problem/har et

spørgsmål eller har I nogle data, der leder efter ét– Hvad er det I vil forstå – er analytics svaret?

• Et par vigtige spørgsmål at reflektere over– Hvem måler hvem – og med hvilket formål?– Hvem bestemmer målene? Lærere? Kommune? Elever?– Er man målt eller måler?– Hvem ejer data, hvem ejer retten til at bestemme mening og analyse?– Hvem har kompetencerne til at læse målingerne?– Hvem bliver ‘empowered’, hvem bliver ‘marginalised’?

Referencer

• boyd, danah, & Crawford, K. (2012). Critical Questions for Big Data. Information, Communication & Society, 15(5), 662–679. http://doi.org/10.1080/1369118X.2012.678878

• Jones, C., & Dirckinck-Holmfeld, L. (2009). Analysing Networked Learning Practices. In L. Dirckinck-Holmfeld, C. Jones, & B. Lindström (Eds.), Analysing Networked Learning Practices in Higher Education and Continuing Professional Development (pp. 10–27). Rotterdam: Sense Publishers.

• Weller, M. (2007). Virtual learning environments : effective development and use. London: Routledge.

• Williamson, B. (2014). Policy networks, database pedagogies, and the new spaces of algorithmic governance in education. In S. Bayne, C. Jones, M. de Laat, T. Ryberg, & C. Sinclair (Eds.), Proceedings of the Ninth International Networked Learning Conference (pp. 547–554).