the ideal assessment tool: valid and secure e …
TRANSCRIPT
LET – Lehrentwicklung und -technologie
April 2013 1 LET – Lehrentwicklung und -technologie
THE IDEAL ASSESSMENT TOOL:
VALID AND SECURE E-ASSESSMENTS WITH MOODLE
AND SAFE EXAM BROWSER
MOODLE MOOT, 2013.09.06
Tobias Halbherr, [email protected]
Daniel Schneider, [email protected]
LET – Lehrentwicklung und -technologie
Dienstag, 10. September 2013 2 LET – Lehrentwicklung und -technologie
INTRODUCTION
LET – Lehrentwicklung und -technologie
LET – Lehrentwicklung und -technologie
Terminology
e-assessment
online-assessment
(online-exam)
disconnected
computer
internet intranet
LET – Lehrentwicklung und -technologie
LET – Lehrentwicklung und -technologie
Online-Exams at ETH Zurich
online offline
summative formative
centralized decentralized
LET – Lehrentwicklung und -technologie
Why do Exams Matter?
«Will this be on the exam?» Exams strongly influence what and how students learn.
motivation / focus / direction / perception
«Will I pass the exam?» Exams strongly influence which students complete a curriculum.
skills / interests / strengths / weaknesses
«What should I test in a exam?» Exams subtly yet fundamentally influence the future direction of a
discipline.
Tuesday, September 10, 2013 5 Course Title
LET – Lehrentwicklung und -technologie
ADVANTAGES OF ONLINE-EXAMS
Dienstag, 10. September 2013 6 LET – Lehrentwicklung und -technologie
LET – Lehrentwicklung und -technologie
Criteria for Measurement Quality
validity
reliability
(objectivity)
7 LET – Lehrentwicklung und -technologie
LET – Lehrentwicklung und -technologie
Examinations as Measurements
competency
learning objective
examination tasks
exam
marking
grading
8 LET – Lehrentwicklung und -technologie
LET – Lehrentwicklung und -technologie
Classification of Question Types
9 LET – Lehrentwicklung und -technologie
closed
• SC
• MC
• matching
• ordering
• drag & drop
semi-closed
• short answer
• text
• numerical
• hotspot
open
• essay
• 3rd party SW
• sketch
LET – Lehrentwicklung und -technologie
Advantage: Legibility, Editing
10 LET – Lehrentwicklung und -technologie
LET – Lehrentwicklung und -technologie
Alignment
11
Competency
Learning Objective
Assessment Task
Learning Activity
describes
measures
enables
acquisition of
LET – Lehrentwicklung und -technologie
Advantage: Alignment
12 LET – Lehrentwicklung und -technologie
learning activity assessment task target competency
LET – Lehrentwicklung und -technologie
Online-Exams: Advantages
13 LET – Lehrentwicklung und -technologie
Qu
alit
y
• legibility
• editing
• SW-based competencies
• multimedia
• interactivity
• feedback
• quality control
Effic
ien
cy
• marking
• automatic
• manual
• administration
• processes
• collaboration
• question pools
LET – Lehrentwicklung und -technologie
INFRASTRUCTURE FOR ONLINE-EXAMS
Dienstag, 10. September 2013 14 LET – Lehrentwicklung und -technologie
LET – Lehrentwicklung und -technologie
15
LET – Lehrentwicklung und -technologie
Thursday, April 18, 2013 LET – Lehrentwicklung und -technologie
Questions to ask in the beginning
What kind of examinations?
> Computer-based exams
> Online examinations
> Centralized exams
Which infrastructure to use for your examinations?
> Special assessment computer rooms?
> Computer lecture rooms?
> Student computers?
How can you prevent manipulation, fraud, plagiarism and
the obtaining of information from the Internet?
LET – Lehrentwicklung und -technologie
One possible answer:
Dienstag, 10. September 2013 16 LET – Lehrentwicklung und -technologie
LET – Lehrentwicklung und -technologie
17
LET – Lehrentwicklung und -technologie
Thursday, April 18, 2013 LET – Lehrentwicklung und -technologie
What is the Safe Exam Browser – SEB?
Secured web browser application
for conducting online examinations
using learning management systems and
web-based quiz/e-assessment systems
available for free, open source
LET – Lehrentwicklung und -technologie
18
LET – Lehrentwicklung und -technologie
Thursday, April 18, 2013 LET – Lehrentwicklung und -technologie
What is Safe Exam Browser – SEB doing?
SEB prevents
opening any website
switching to undesired applications
operation system specific key combinations and functions
quitting the secure browser during the exam
LET – Lehrentwicklung und -technologie
19
LET – Lehrentwicklung und -technologie
Thursday, April 18, 2013 LET – Lehrentwicklung und -technologie
What is Safe Exam Browser – SEB doing?
SEB allows
connecting to web based learning management systems
and web-based quiz/e-assessment systems
use of selected third party applications during the
examination
LET – Lehrentwicklung und -technologie
Architecture
Dienstag, 10. September 2013 20 LET – Lehrentwicklung und -technologie
BrowserKiosk
Application
Learning
Management
Systems
Moodle, ILIAS, ...
starts URL to
Test
Third Party
Application
starts
LET – Lehrentwicklung und -technologie
21
LET – Lehrentwicklung und -technologie
Thursday, April 18, 2013 LET – Lehrentwicklung und -technologie
The SEB-Browser
Mac OS X
WebKit
Windows
Mozilla Gecko / XULRunner (Firefox)
LET – Lehrentwicklung und -technologie
22
LET – Lehrentwicklung und -technologie
Thursday, April 18, 2013 LET – Lehrentwicklung und -technologie
SEB‘s advantages
Application!
LET – Lehrentwicklung und -technologie
23
LET – Lehrentwicklung und -technologie
Thursday, April 18, 2013 LET – Lehrentwicklung und -technologie
SEB‘s advantages: Application
Easy to install
No complex administration of exam computers necessary
No special network configuration necessary in the
exam room
LET – Lehrentwicklung und -technologie
24
LET – Lehrentwicklung und -technologie
Thursday, April 18, 2013 LET – Lehrentwicklung und -technologie
SEB‘s advantages: Application vs. booting special OS
Don‘t have to create, test and regularly update
special boot images
Very good compatibility with a wide range of hardware
Windows and Mac OS X third party applications
can be used in parallel with the exam
LET – Lehrentwicklung und -technologie
Workstations
Dienstag, 10. September 2013 25 LET – Lehrentwicklung und -technologie
LET – Lehrentwicklung und -technologie
SUMMARY
Dienstag, 10. September 2013 26 LET – Lehrentwicklung und -technologie
LET – Lehrentwicklung und -technologie
When do Online-Exams provide benefits?
27 LET – Lehrentwicklung und -technologie
essay type
MC & short-answer
SW based competencies
multimedia
multiple examiners
large groups of candidates
interactivity
open book
time-critical
LET – Lehrentwicklung und -technologie
Q&A
Tobias Halbherr
LET – Lehrentwicklung und –technologie
LET – Lehrentwicklung und -technologie
LET – Lehrentwicklung und -technologie
April 2013 29 LET – Lehrentwicklung und -technologie
ONLINE-EXAMS: ORGANIZATIONAL AND
TECHNOLOGICAL CHALLENGES IN TRANSITIONING
FROM PAPER TO ONLINE
MOODLE MOOT, 2013.09.06
Tobias Halbherr, [email protected]
Daniel Schneider, [email protected]
LET – Lehrentwicklung und -technologie
Online-Exmams: Where Challenges & Opportunities
Challenges
Stakeholders
Infrastructure
Processes
Opportunities
Improved quality
Improved efficiency
Increased design possibilities
Dienstag, 10. September 2013 30 LET – Lehrentwicklung und -technologie
LET – Lehrentwicklung und -technologie
Question Types: Costs & Benefits
31 LET – Lehrentwicklung und -technologie
quality efficiency IT-resources
MC =
short answer =
interactive/MM ()
essay
3rd party SW ()
sketch - - -
formula - - -
LET – Lehrentwicklung und -technologie
Exam-Scenarios
32 LET – Lehrentwicklung und -technologie
design delivery tech-support IT-resources
browser based one-to-one
browser based openclosed
browser based multimedia
online & paper
3rd party SW
CAD
tablet ? ? ? ?
LET – Lehrentwicklung und -technologie
LET – Lehrentwicklung und -technologie
Designing Exams: What to consider
WHO do I wish to assess?
WHAT do I wish to assess?
HOW do I wish to assess?
SCENARIO
LET – Lehrentwicklung und -technologie
Service & Support for Online-Exams:
What needs to be considered?
Wednesday, January 30th, 2013
34 LET – Lehrentwicklung und -technologie
service &
support
method, psychometrics,
alignment
LMS
secure exam environment
IT-infrastructure room-
infrastructure
exam delivery & logistics
regulations
LET – Lehrentwicklung und -technologie
Service and Support for Online-Exams:
Who is involved?
Wednesday, January 30th, 2013
35 LET – Lehrentwicklung und -technologie
service &
support
examiners
e-learning center
IT-services
examinations office
room-infrastructure
legal department
faculty development
LET – Lehrentwicklung und -technologie
Q&A
Tobias Halbherr
LET – Lehrentwicklung und –technologie
LET – Lehrentwicklung und -technologie