Download - Evaluación del Aprendizaje Colaborativo
![Page 1: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/1.jpg)
Evaluación
del Aprendizaje
Colaborativo
Jan-Willem Strijbos
2do Encuentro Virtual Internacional: Enseñanza, Aprendizaje y Evaluación en Educación
Superior Concepción, Chile, 25 de noviembre de 2021
![Page 2: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/2.jpg)
Evaluación
Formativo
Sumativo
Evaluación del Aprendizaje
Evaluación para el Aprendizaje
![Page 3: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/3.jpg)
Aprendizaje
Cooperativo
Versus
Aprendizaje
Colaborativo
![Page 4: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/4.jpg)
Interacción
Interdependencia Positiva
Accountability Individual
![Page 5: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/5.jpg)
Asuntos Clave
1: ¿Qué Evaluar?
3: ¿Cómo evaluamos?
2: ¿Quien Evalúa?
![Page 6: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/6.jpg)
1: ¿Qué Evaluar?
![Page 7: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/7.jpg)
•Alineación constructiva
(Biggs, 1996)
Resultados de Aprendizaje
Método de
Enseñanza Evaluación
Diseño de
Aprendizaje
![Page 8: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/8.jpg)
Cuatro Metáforas…
Cognición Grupal (Stahl, 2006)
Creación de Conocimiento (Paavola et al., 2004)
Participación (Sfard, 1998)
Adquisición (Sfard, 1998)
![Page 9: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/9.jpg)
Metáfora de la Experiencia
Grupal
Ecología Humana (Bronfenbrenner, 1979)
Competencia (Hall & Jones, 1976)
Aprendizaje Experiencial (Kolb, 1984)
Cognición Distribuida (Salomon, 1993)
![Page 10: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/10.jpg)
No es solo Cognitivo
Cognitive
Social
Nivel Individual Y Nivel Grupal
Motivación/Emoción
![Page 11: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/11.jpg)
Student 1
Distributed emergent experience
Interaction
MS
C
A2
MS
C
A1
MS
C
X
Student 2
MS
C
E2
M''S''
C''
X''
T1
T2
MS
C
E1
T1
T2M'S'
C'
X'
Strijbos (2011)
![Page 12: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/12.jpg)
T1
Paul´s previous
Experience
Cognitions
Social skills
Motivations
Paul´s internalized
Experience
Cognitions
Social kills
Motivations
T2
Lisa´s previous
Experience
Cognitions
Social skills
Motivations
Lisa´s internalized
Experience
Cognitions
Social skills
Motivations
T2
T1
Experience
Cognitions
Social skills
Motivations
Experience
Cognitions
Social skills
Motivations
Interaction
Distributed
Experience
Cognitions
Social skills
Motivations
Anne & Miriam
![Page 13: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/13.jpg)
EVALUANDO AC …
Cognitivo
Social
2: Grado de similitud
Motivación/Emocion
1: Individual y grupal
3: Procesos concurrentes Múltiples
Procesos y Resultados
![Page 14: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/14.jpg)
2: ¿Quien Evalúa?
![Page 15: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/15.jpg)
Rol del Docente
Diseña el entorno de aprendizaje…
… Lo que incluye la Evaluación
Constreñir
Andamiar Instruir
![Page 16: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/16.jpg)
Objetivos de
Aprendizaje
Tipo de
Interacción
Tipo de Tarea
Pre-
estructuración
Tamaño de
Grupo
Apoyo
Computacional
Diseño de Aprendizaje
Colaborativo (AC)
Strijbos et al. (2004)
![Page 17: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/17.jpg)
Objetivos de
Aprendizaje
Supervisión
Tipo de
Interacción
Soporte
Computacional
Evaluación
Pre-
estructuración
Tamaño de
Grupo
Tipo de Tarea
![Page 18: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/18.jpg)
Objetivos de
Aprendizaje
Guía
Interacción
Facilidades
Evaluación
Estructuración
Constelación
Frupal
Características
de la tarea
De Hei et al. (2016)
Alineación
![Page 19: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/19.jpg)
Objetivos de
Aprendizaje
Supervisión
Tipo de
Interacción
Apoyo
computacional
Evaluación
Pre-
estructuración
Tamaño Grupal
Tipo de Tarea
ADDIE Paso 2: Diseño
ADDIE Paso 3a: Desarrollo de estrategias instruccionales
ADDIE Paso 3b: Logísticas
De Hei et al. (2016)
![Page 20: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/20.jpg)
Objetivos de
Aprendizaje
Guía
Interacción
Facilidades
Evaluación
Estructuración
Constelación
Grupal
Características
de la Tareas
ADDIE Paso 2: Diseño
ADDIE Paso 3a: Desarrollo de estrategias instruccionales
ADDIE Paso 3b: Logísticas
![Page 21: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/21.jpg)
![Page 22: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/22.jpg)
Prácticas de Evaluación de AC
N Necesidades y Prácticas Docentes
Ross et al. (1998) 13 Necesidad de conocimientos sobre evaluación de AC, desarrollo profesional y recursos de evaluación de AC.
Gillies & Boyle (2010) 10 Evaluación AC como difícil: propósito, grado de comprensión de la participación del alumno, dirigiéndose al nivel grupal e individual.
Frykedal & Chiriac (2011) 11 Descripciones vagas. Los maestros utilizaron principalmente evaluaciones informales, (b) se centraron en las habilidades de colaboración y (c) evaluaron el proceso y el producto a nivel individual y grupal.
De Hei et al. (2015) 100 (a) 84 maestros usaron CL como parte de la calificación del curso, (b) de los 84, 42 maestros usaron FA y 21 combinaron SA y FA, (c) 69 de 96 usaron PA / PF.
![Page 23: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/23.jpg)
Evaluación de AC
I: 10%, G: 90% Libertad de manejo
I: 90%, G: 10% devalúa la colaboración
Grupal, Individual o Combinado
Evaluación: mezcla de formativo/sumativo
![Page 24: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/24.jpg)
Válidez de Constructo Comportamiento estudiantil des(alineado)
Evaluación Grupal (-) potencialmente inválido cuando se asume que los planes de estudio de la educación superior miden las habilidades individuales
(-) menos capaz podría pasar
(-) más capaz podría fallar
(+) interdependencia positiva
(-) Invita a libertad de conducción, holgazanería social, efecto de ventosa
(-) Enfoque orientado al rendimiento versus enfoque orientado al aprendizaje
(-) Dividir o asumir tareas
Evaluación Individual (+) Mayor validez de constructo
(0) Evaluación individual moderada por colaboración de AC
(+) Accountability individual
(-) División de subtareas
(-) Sin incentivos para participar en una colaboración genuina
(-) Rivalidad, que puede dificultar la colaboración
Evaluación de grupo + evaluación de pares intragrupal
(+) Mayor válidez de constructo
(+) Evaluación moderada por colaboración de AC
(-) Rivalidad, que puede dificultar la colaboración
(+) Contrarresta los problemas de evaluación debidos al free-riding, holgazanería social, efecto de ventosa
Meijer et al. (2020)
![Page 25: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/25.jpg)
Evaluación de Pares
Inter-grupal
Distribución
Interactividad
Constelación Intra-grupal
Rating
PA format
Nominación
Ranking Comentarios =
Feedback de pares
Evaluador Evaluado
![Page 26: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/26.jpg)
EP de AC hacia ...
.., derivar puntajes individuales de
puntajes grupales
… Ayudar al docente a evaluar los
procesos de CL "invisibles"
Contrarrestar la libertad
de conducción
F2F, online, N de grupos
![Page 27: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/27.jpg)
Zhang et al. (2008) De Wever et al. (2011)
Teoría de la generalización Correlaciones intra-clases (ICCs)
Estudio 1: N = 134, n = 26, s.gr = 3-4 Cohorte 1: N = 342, n = 42, s.gr = 8-9
Cohorte 2: N = 317, n = 39, s.gr = 8-9
Varianza del Nivel Grupal: 33% (Estudio 1), 25% (Estudio 2)
Índice de confiabilidad, criterios holísticos:
.79, .63 (Estudio 1),.63 (Estudio 2)
ES de ICCs para 4 criterios: medio (.30) a intermedio (.40); y Puntuación global intermedia (.40) to high (.50)
EP de AC: Confiabilidad
![Page 28: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/28.jpg)
Problemas de la EP en
el AC
¿Impacto
del PA?
Formula para computarizar puntajes
individuales
¿Confiabilidad?
¿Criterio de peso?
¿Copia? ¿Válidez?
Strijbos et al. (2017a, 2017b)
![Page 29: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/29.jpg)
Monitoreo del Proceso AC
Instrumento # Factores
Calidad de Trabajar en Grupos
Boekaerts & Minnaert (2006)
10 4: interés situacional, competencia, autonomía y relación social
Escala de autorreporte del trabajo en equipo
Wang et al. (2009)
30 3: cooperar, defender/orientar y negociar
Experiencias Grupales Negativas
Pauli et al. (2011)
21 4: falta de compromiso percibida, desorganización de la tarea, grupo de asalto (peleas, gritos) y grupo fraccionado (exclusión, facciones)
Rúbrica de contrucción de aprendizaje
Law & Wong (2003)
10 Mezcla de aspectos cognitivos (generación de ideas, refinamiento del conocimiento) y sociales (nadie domina)
Esquema de clasificación de procesos AC
Rummel et al. (2011)
7 5: comunicación, procesamiento conjunto de información, coordinación, interpers. relación, motivación
![Page 30: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/30.jpg)
Monitoreando y Evaluando el Aprendizaje Colaborativo (AC) Campos relacionados
Busqueda del AC
Acceso a objetos del sistema y artefactos de los estudiantes
Búsqueda de datos
Discurso y acciones de los estudiantes
Scripts / agentes instruccionales o del sistema
Análisis del AC
Integre múltiples fuentes de datos Analíticas del aprendizaeje
Analizar múltiples niveles simultáneamente
Analizar secuencialidad y trazar transformaciones
Despliegue del AC
Despliegues de conciencia Visualizaciones de conciencia
Pantallas dinámicas de seguimiento y evaluación
Pantallas adaptables para grupos de usuarios
![Page 31: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/31.jpg)
Visualizaciones orientadas al
usuario
Eficiente: Los usuarios deber ser capaces de Escanaear de
manera rápida, analizar y decidir una acción apropiada
Escalabe: Las mismas visualizaciones para una clase de
escala pequeña y cursos de larga escale (e.g., colaboración
MOOCs)
Intuitivo: los usuarios muetran ser capaces de entender el
significado de la visuación de manera inmediata (luego de
una breve instruccion )
![Page 32: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/32.jpg)
![Page 33: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/33.jpg)
Evaluación de AC
Acto de
Balance!
Alineación constructiva
La EP de AC tiene potencial
Evaluación integrativa
´´Trasando la
transformación"
![Page 34: Evaluación del Aprendizaje Colaborativo](https://reader035.vdocument.in/reader035/viewer/2022081621/62cfb6bc277bb2617a178da3/html5/thumbnails/34.jpg)
Referencias Clave De Hei, M., Admiraal, W., Sjoer, E., & Strijbos, J. W. (2018). Group learning activities and perceived
learning outcomes. Studies in Higher Education, 43(12), 2354-2370.
https://doi.org/10.1080/03075079.2017.1327518
Meijer, H., Hoekstra, R., Brouwer, J., & Strijbos, J. W. (2020). Unfolding collaborative learning
assessment literacy: A reflection on current assessment methods in higher education. Assessment &
Evaluation in Higher Education, 45(8), 1222-1240. https://doi.org/10.1080/02602938.2020.1729696
Strijbos, J. W. (2011). Assessment of (computer-supported) collaborative learning. IEEE Transactions
on Learning Technologies, 4(1), 59-73. https://doi.org/10.1109/TLT.2010.37
Strijbos, J. W. (2016). Assessment of collaborative learning. In G. T. L. Brown & L. R. Harris (Eds.),
Handbook of social and human conditions in assessment (pp. 302-318). New York: Routledge.
Strijbos, J. W., Martens, R. L., & Jochems, W. M. G. (2004). Designing for interaction: Six steps to
designing computer-supported group-based learning. Computers & Education, 42(4), 403-424.
https://doi.org/10.1016/j.compedu.2003.10.004
Strijbos, J. W., Sluijsmans, D., & Stegmann, K. (2017a, August). Inferring individual scores from group
scores via peer assessment: Part 1 – Methodological review. In J. W. Strijbos & E. Panadero (Chairs),
Navigating the interpersonal eddies of peer assessment. Paper presented in the SIG1 invited
symposium conducted at the 17th biennial EARLI conference, Tampere, Finland.
Strijbos, J. W., Stegmann, K., & Sluijsmans, D. (2017b, August). Inferring individual scores from group
scores via peer assessment: Part 2 – A simulation study. In J. W. Strijbos & E. Panadero (Chairs),
Navigating the interpersonal eddies of peer assessment. Paper presented in the SIG 1 invited
symposium conducted at the 17th biennial EARLI conference, Tampere, Finland.