smart glass integration in edcuational environments
TRANSCRIPT
PowerPoint Presentation
Smart glass integration in educational environmentsUse case and architecture
Michael SpitzerMartin Ebner
This work is licensed under a Creative Commons Attribution 4.0 International License.
Smart Glasses
Technology solution in search of a problem (Barr, 1990)
ReconJet[http://store.reconinstruments.com/Black-Jet-profile.jpg]
Hier geht es hauptschlich darum, dass immer mehr devices auf den Markt geschmissen werden, aber man kaum passende use cases hat, auch die Schwierigkeiten bei der Integration in IT infrastrukturen (z.B. Schulen) wird oft unterschtzt.2
Why Smart Glasses?Hands-free operationsAugmented realityRecord/play videos from users point of view learning materialRemote assistance and tutoring
Warum Smart glasses und nicht nur ein Tablet/Handy oder PC? 3
ChallengesEducational use case?
Suitable user interaction techniques to not influence the learning situation?
Architecture of an information system to integrate such devices in educational environments?
Wie entwickelt man passende use cases fr technology enhanced learning? Das Gert darf die Lernsituation nicht beeinflussen, deshalb ist die usability extrem wichtig, der Lerndende soll das device gar nicht merken.Die Einbindung in bestehende infrastrukturen wird oft unterschtzt, auch das Erstellen von Lernmaterial fr diese devices muss leicht und intuitiv sein.4
Use case: fine-motor skill training - knitting
Stricken stellvertretend fr alle feinmotorischen Tasks mit den Hnden, dadurch kann die Brille ihren grten Vorteil: hands-free ausspielen, und dass der user alles aus seiner Perspektive sieht.5
Knitting tutorial - workflowTeacher records video tutorial while knitting
Students get a short (verbal) instruction
Students perform the task while recording their progress
Teacher can watch the students remotely and give advice and feedback
Teacher can store the students performance as performance record
Workflow des Lernszenarios vom Erstellen bis Konsumieren des Lernmaterials6
Knitting tutorial video
Recorded with ReconJet
Hier die Videoaufnahme der Lehrerin, Tempo muss langsam sein und die einzelnen Schritte deutlich sichtbar, hier knnte man z.B. noch erwhnen, dass dieses Video mit der Datenbrille aufgezeichnet wurde, die Qualitt der Aufnahmegerte ist jedoch noch verbesserungswrdig. Man kann auch standardmig nur 15sec aufnehmen => devices haben noch potential nach oben, wenn man jedoch jetzt schon die Szenarios erarbeitet und erprobt, kann man sie dann gut einsetzen, wenn bessere Gerte kommen.7
StudentTeacherinstruct(voice, video)observationanalysisfeedbacktask completedlearning objective reachedtask executionwatch / listen(smart glasses)Workflowpreparationlearning situationanalysis / feedbackgoal
Genauer Ablauf der Lernsituation:1. Vorbereitung: Der Lehrer gibt den Schlern zuerst eine verbale Einfhrung, oder sie bekommen ein Lernvideo.2. Lernsituation: Die Schler haben die Brille auf und schauen sich zuerst (mehrmals) das Video an, dann beginnen sie mit dem task. Gleichzeitig wird mit der Brille ein Video aufgenommen, welches der Lehrer live mit anschauen kann.3. Der Lehrer analysiert den Lernfortschritt der Schler live oder zeitversetzt, gibt feedback und entscheidet, ob der Schler das Lernziel erreicht hat.8
User input technologies for smart glassesgesturestouchvoice
Beschreibung der drei naheliegensten Interaktionsmglichkeiten mit der Brille.9
User interaction techniquesVoice recognition
Hands-freeSuitable for language stimulating educational tasks
Not suitable in environments with high ambient noise (big student groups)OK GlassGoogle Glasshttps://commons.wikimedia.org/wiki/File%3AGoogle_Glass_Main.jpg
Gut fr tasks, die Aussprache trainieren oder Sprach-bersetzung, problematisch in lauten Klassen, wo viele Gruppen arbeiten, dann schlechte Erkennung10
User interaction techniquesTouch interaction (spectacle frame)Usable in high ambient noise environments
Hands-free feature is lostMay have an impact on the learning experience Usability in dirty environments (Industry)Repeatedly moving the hand to the spectacle frame fatigue
Gut fr groe Gruppen mit hohem Geruschpegel.Problematisch in schmutziger Umgebung, z.B. Kind klebt mit Uhu und fasst dann an die Brille. Weiters kann die Berhrung der Brille den eigentlichen Task unterbrechen, z.B. beim Stricken muss das kind die Stricknadel erst weglegen und kann dann die Brille steuern und muss dann erst wieder die Nadel nehmen und in die richtige Position bringen. Est ist auf lange Sicht ermdend, wenn man immer auf die Brille greifen muss.11
User interaction techniquesInteraction with gesturesUsable in high ambient noise environmentsNo physical contact with device, usable in dirty environments
Exhausting, if recognition fails repeatedlyMay have an impact on the learning experience
Gestures, z.B. Handbewegungen vor der Brille.Sehr gut bei groem Lrm (keine Spracherkennung mglich) und auch in schmutziger Umgebung.Problem, wenn die Gesten nicht erkannt werden, dann ist es sehr ermdend.Zustzlich die gleichen Probleme wie bei Touch, dass die Lernerfahrung mglicherweise unterbrochen wird. (Arbeitsgerte weglegen, Zwischenbewegungen)12
Information System architecture
Student
Teacher
Server / video storage
Task / video / learn progressmanagement system
Szenario: Lehrer erstellt Video mit Brille, und ladet das Video in die Lernplattform, dort bearbeitet er/sie das Video, z.B. Unterteilung in tasks und weist die tasks dann den Schlern zu.Schler nimmt die Brille, sieht seinen Task und sieht sich das Video an und beginnt dann seine bung, der Lehrer kann mittels live Video bertragung am Computer mitschaun und audio feedback geben.13
Information System requirements 1/2Non technical requirementsCreation and management of learning materialTeacher should be able to modify the learning material on a PCFeedback functionalityTransfer tasks to smart glassesTracking of students performanceLive interaction between students and teacherSeamless integration of the smart glasses in existing information systems
User requirements, Lehrer und Schler14
Information System requirements 2/2Technical requirementsReal time video transmissionVideo upload, edit and managementWeb server with data storage for video material and tutorialsWiFi infrastructureDevice management systemFull featured web interface for students and teachersAndroid App
Technische requirements15
Lessons learnedCreating of learning material not trivialSmart glass display blocks line of sightTeacher had problems to record in the right angleTeacher had to learn how to use the device efficiently
Hardware limitationsOnly 15 seconds video recording possible (ReconJet)Battery lifetime
Das Erstellen war sehr schwer, viele Versuche notwendig, da man sich drauf konzentrieren muss, im richtigen Winkel auf das Strickzeug zu schauen, damit das Bild nicht abgeschnitten wird. Man darf die Ausfhrung nicht zu schnell machen, damit das Video keine Bewegungsunschrfe bekommt. Die 15 Sekunden sind auch sehr knapp, es gehen sich gerade mal zwei Maschen aus. Auch mssen User erstmal lernen, die Datenbrille zu benutzen. Das Navigieren in Applikationen auf der Brille ist am Anfang sehr schwer, deshalb sollte so viel wie mglich am Computer vernderbar und einstellbar sein.16
OutlookSmart glasses optimized for technology enhanced learning
New, more efficient user interaction possibilities
Guidelines/tutorials for teachers
Wie gehts weiter?Wie schaut ein Device, optimiert fr Lernszenarien aus? Welche zustzliche, neuen Interaktionsmglichkeiten wrden die Lernerfahrung verbessern?Wie schult man Lehrer den Umgang mit solchen devices und IT Infrastrukturen?17