A glance into the future of digital language learning for professionals:

Adaptive, Entertaining, Intelligent, Open and Ubiquitous

Say it with Vowels

0. CALL als onderzoeksdomein1. A - adaptive2. E - entertaining3. I - intelligent4. O - open5. U - ubiquitous

0. evolutie van CALL als onderzoeksdomein

0.1 radicaal interdisciplinairaanvankelijk: CALL als deel van toegepaste

taalkunde & taaldidactiek– inzichten uit taaldidactiek hertalen naar e-

omgeving– onderzoekers uit Letteren, coördinatoren

talencentra, leermiddelenontwikkelaars, etc. – => application-driven, development-oriented,

less research oriented

(Levy 1999: 72)

• human-computer interaction: usability onderzoek• artificial intelligence: expert dialoogsysteem,

geprogrammeerde instructie• computational linguistics (NLP): spraaksynthese

(ASR) en spraakherkenning (TTS), taalkundige annotatie

• technology and design: effectiviteitsonderzoek, instructional design

• psychologie: werking geheugen, automatiseringsprocessen, leerprocessen

• SLA: leerstadia, context, learnability• computerwetenschappen: datamining, semantic

web, distributed networks

informatica(Prof. dr. Patrick Decausmaecker)

gedistribueerde beslissings-ondersteuning

multi-agent systemen

heuristische optimalisatie

data mining heuristieken

gedistribueerd zoeken

toegepaste taalkunde(Prof. dr. Piet Desmet)

elektronische taalleeromgevingen

taaltesting

CorpusCALL

auteurssystemen

onderwijskunde

(Prof. dr. Geraldine Clarebout)

ontwikkeling van leeromgevingen

met speciale aandacht voor:

rol en functie van leerhulpen zoals pedagogical agents

identificeren van relevante leerderskenmerken

methodologie(Prof. dr. Wim Van den Noortgate)

multilevel analyse

meta-analyse

item respons theorie

digital libraries

mobile mobile learninglearning

elektronic elektronic assessmentassessment

computer science

applied linguistics

educational science

effectiveness research on electronic learning environments

methodology

integration NLP in learning environments

webmining for webmining for learning learning

environmentsenvironments

adaptive adaptive learning learning systemssystems

0.2 open innovatie via netwerking1. structurele interactie academia – industria

– spin-off activiteiten: BLCC & Televic Education– IOF kennisplatform– IWT & IBBT projecten

2. interactie onderzoek & ontwikkeling3. data is the next ‘Intel Inside’

data > softwarecontent is king=> netwerking met gebruikersgroepen (Vb Franel, Selor)

1. A - adaptive

• auto-industrie: – tijd– plaats– weersomstandigheden

• adaptieve marketing– profiel

1.1 adaptief toetsen• Toetsmatrijs (constructs- en inhoudsvaliditeit)• Itemontwikkeling• Pretesting• Itemanalyse• Kalibratie en opstellen meetschaal• Itemselectieregels• Cesuurbepaling / normering (standard setting)

• Toetsmatrijs wordt gebaseerd op de constructdefinitie

• De matrijs moet volledig gevuld zijn met opgaven om inhoudsvaliditeit te kunnen garanderen

• Een voorbeeld voor component luistervaardigheid < S-ALTO

taalhandeling visuele ondersteuning geen visuele ondersteuning

Persoonlijke teksten

Publieke teksten

Ambtelijke teksten

Persoonlijke teksten

Publieke teksten

Ambtelijke teksten

met een zichtbare partner

TV, besloten toespraak

in een vergadering

aan de telefoon op de radio in een toespraak waar spreker veraf staat

globaal begrijpen

relevante gegevens selecteren

informatie verbinden

pilot & kalibratiestudie

• kleine en grootschalige afname; doel: creërencreëren van betrouwbare Collective Intelligence

• daarna : analyserenanalyseren met Item Response Theory

Item Response Theorie - IRT

• Klassieke Test Theorie (KTT): vaardigheid van de leerling = som van de scores die leerling haalt op itemsitems van de toets.

• Item Response Theorie (IRT): – vaardigheidvaardigheid kandidaten & moeilijkheidsgraadmoeilijkheidsgraad items als twee

aparte parameters.– items verschillen in moeilijkheidsgraad– items gerangschikt op meetschaalmeetschaal met oplopende

moeilijkheidsgraad– kandidaten verschillen in vaardigheid; kunnen ook

gerangschikt worden op die meetschaal volgens stijgende vaardigheid

– IRT meetmodel laat toe kandidaten en items rechtstreeks te vergelijken (in termen van kansenkansen dat een item correct kan worden opgelost)

IRT-analyse

- doel: vaardigheid (V) van personen & moeilijkheid (M) van items op één schaal brengen

- zowel V als M worden uitgedrukt in een cijfer (=logit)

- gem. M = 0

Kandidaten

vaardigheid

Items

moeilijkheidsgraad

Item g

Item e

Item a

Item b

Item c

Item d

Item f

Item h

Item i

Item j

Beheersing in termen van kansen

3 5 %

2 12 %

1 27 %

0 50 %

-1 73 %

-2 88 %

-3 95 %

Welke kansen?

CAT – een voorbeeld(Sara Gysen)

DEMO

1.2 adaptief leren“Adaptive Learning Environments Based on IRT:

Possibilities and Challenges” Kelly WAUTERS, Piet DESMET & Wim VAN DEN NOORTGATE

(submitted)

• the challenge of the dataset– missing values– skipped items

• the challenge of the algorithm– item difficulty estimation– ability estimation– item selection algorithm

2. E - entertaining

gaming• belangrijke features voor educational gaming• 2 pistes

belangrijke features voor educational gaming

• inspelen op “players sense of challenge” en dit koppelen aan “rewards”

• inbouwen van verschillende levels• vaak First-person game, waarbij wel met een

avatar gewerkt wordt. meer in het algemeen: personalization!

• multiplayer! (-> collaboration)• realistische, immersieve omgeving, aanpak is

“experience-based or exploratory”, leerder kan praktijkervaring opdoen

+• duidelijk omlijnde leerdoelen

(leerder weet wat hij leert)• permanent monitoren van leerders prestaties en

acties -> aanpassen van omgeving hieraan -> belang van adaptiviteit!

• belang van directe en tijdige feedback -> leerder blijven stimuleren en motiveren

• nood aan scaffolding (hints, deel van oplossing meegeven, extra info, etc.)

2 pistes

• SAIL- omgeving (Situated Avatar baded Immersive Learning)

• game-elements in taalleeromgeving

SAILSAIL = Situated Avatar based immersive learning of Virtual Reality

(VR-) Based Educationtaaltaken = challenges binnen een virtual reality die de

leerder/speler alleen of met meerdere aanpakt, waar hij feedback op krijgt en die tot rewards leiden

doelpubliek: zakenmensen, volwassenen in het algemeen

= edutainment edutainmentVb LLINGO

LLINGOpartners

– externe partners• Larian Studios• Televic Education• BLCC• VRT

– IBBT groups• MMLab• ITEC• MICT

LLINGOwerkpakketten

– WP0: Project Management– WP1: Requirements, Conceptual Architecture & Scripting– WP2: Tracking, Logging and Adaptivity– WP3: Infinite Textures– WP4: User and Experience Research– WP5: Effectivity Research– WP6: Proof of Concept

game-elements in taalleeromgeving

1. gaming for content deliverycontent delivery• alle soorten animaties, van passief naar actief

(met doe-component)• werking van iets tonen, procedure toelichten,

grammatica-regel toelichten, etc.

(Kurt Feyaerts)

2. gaming as rewardreward• na het educatieve luik, bij wijze van beloning• slechts toegang indien voldoende leerprestaties en

in functie van omvang leerprestatie -> credit-systeem

• fun aangepast aan domein (bv. voor taal: tv-reportages en movies, funny commercials, toegang tot i-tunes, etc.)inspiratie zoeken bij taalspelletjes:

Vb Iphone: LexitronVb http://visl.sdu.dk/ (oa. Syntris, Labyrinth, etc.)

3. gaming as competitioncompetition– challenge– multiplay is nice– computer can play the opponent– “the best wins”

3. I – integrated & intelligent

Nood aan Integrated Language Learning Environments (ILLE)

1. infrastructuur: c- en e-omgeving zijn niet op mekaar afgestemdgeen e mogelijk in c-omgeving (cf. klassiek leslokaal)geen c mogelijk in e-omgeving (cf. PC-klas)

2. domeinen: e-learning: dominant kennisgerichte domeinen (lexicon, grammatica, etc.)

c-learning: ook vaardigheidstraining (lezen, luisteren, schrijven, spreken)

3. content: beperkte onderlinge afstemming tussen c- and e-inhouden

4. coaching: e-learning vaak vooral voor remediëring of differentiatie-> geen centrale component van didactisch proces

beperkte interactie tussen e-coaching en c-coach

integrated

(Desmet, P. 2005. “An Integrated Language Learning Environment: towards an optimal blend of c-and e-learning”. In: Kommers, P. – Richards, G. eds 2005. Proceedings of ED-MEDIA)

intelligentgesloten oefeningen voorbij, 2 technieken:• NLP (Natural Language Processing)• ASM (Approximate String Matching)

NLP ASM

- by definition language dependent

- high R&D effort

+ by definition language

independent

+ lower R&D effort

- unequal availability and quality of existing algorithms and tools

- technologies not easily transferable to new tools/environments

- slow

+ high availability of existing ASM algorithms

+ easily reusable algorithms

+ higher speed

+ better granularity (fineness with which input can be analysed)

- highly depending on teacher’s input (number of correct answers predicted by teacher)

+ language specific intelligent feedback generation by the algorithm (cf. E-Tutor T. Heift)

- no automatic language specific feedback generation

ASM @ edumatic• normalisering van input of niet

• hoofdletters• interpunctie• accenten

• algoritme op basis van beste match met input

I inform you to XXX the (…) tomorrow (XXX).

• 3 codes: delete, insert, substitute (error)

• pogingen model:attempt – feedback – attempt – (…) – solution model

4. O – open

Innovation in Assembly

Web as a platform of servicesVb widgets: small, reusable components (mini-

application) CALL?• Nood aan standaarden:

Vb Sharable Content Object Reference Model-> nood aan LLOM (Language Learning Object Metadata)

• Import/export tussen platformen (‘content portability’)Vb SCORM-export

co-creatie van nieuwe content

– zuuQI poll

– zuuQI tagcloud

Vb wiki voor Spaans (OI-project Dagmar Vandebosch)

Vb Livemocha.com: online language-learning community

5. U - ubiquitous5.1 mobile learning

– adaptiviteit: leerobjecten aanpassen aan specifieke features van een device (grootte scherm, toetsenbord, etc.)

– localisering: leerobjecten afstemmen op plaats waar men is (Vb in Parijs leerobjecten rond Parijs) => contextual learning

– content-creatie: language captured and shared in context

(Kukulska-Hulme, A. & Traxler J. 2005. Mobile Learning : A Handbook for Educators and Trainers, Rougledge, London.)

5.2 franel.mobihttp://franel.mobi

5.3 pervasive computing

multiple devices• Soylu, A., De Causmaecker, P., Desmet, P. 2009.

Context and Adaptivity in Pervasive Computing Environments: Links with Software Engineering and Ontological Engineering (published)

• Soylu, A., De Causmaecker, P., Desmet, P. 2009. Context and Adaptivity in Context-Aware Pervasive Computing Environments (published)

MAPLEpartners

– externe partners• BLCC• Mobixx• Televic Education• RMM

– IBBT groups• CUO• ITEC• MMLab• SMIT

werkpaketten• WP0: Project Management• WP1: Requirements & Conceptual Architecture• WP2: Business Modeling• WP3: Software Infrastructure• WP4: Data & Metadata• WP5: Adaptivity and Mobility• WP6: Demonstrator

• Prof. Dr. Piet DesmetPiet.Desmet@kuleuven-kortrijk.behttp://wwwling.arts.kuleuven.ac.be/franling/pdesmet/

• ITECitec@kuleuven-kortrijk.bewww.kuleuven-kortrijk.be/itec