mooc- · pdf file2 resumen la siguiente investigación da a conocer los modelos de...
TRANSCRIPT
MOOC-Maker
Construction of Management Capacities of
MOOCs in Higher Education
(561533-EPP-1-2015-1-ES-EPPKA2-CBHE-JP)
WPD1.7
Informe sobre estado de arte en relación a la
evaluación de la calidad de cursos MOOCs
Versión 1.0
(Español)
17/6/2016
Autoras: Alejandra Meléndez, Rossana Pinillos, Mariela Román
2
RESUMEN
La siguiente investigación da a conocer los modelos de calidad que se pueden aplicar a cursos
MOOC, con el fin de crear bases para garantizar la calidad durante la realización del proyecto
MOOC-Maker u otros proyectos MOOC que diversas instituciones planifiquen realizar.
El Informe sobre estado de arte en relación a la evaluación de la calidad de cursos MOOCs,
parte de la investigación de artículos y publicaciones acerca de la calidad y los MOOCs.
Inicialmente se abordan los conceptos de MOOC, calidad, calidad en la educación superior y
calidad en el e-learning. Luego se incluyen propuestas de modelos de calidad, evaluaciones en
cursos MOOC, herramientas de evaluación, así como los criterios que implementan otras
instituciones.
Los resultados del informe establecen que hay pocas investigaciones en relación a la evaluación
de calidad de MOOC, por lo que se consideraron adaptaciones de metodologías de e-learning.
3
TABLA DE CONTENIDOS
1 INTRODUCCIÓN ................................................................................................................ 4
2.1 Objetivo general .............................................................................................................5
2.2 Objetivos específicos .....................................................................................................5
3 METODOLOGÍA ................................................................................................................. 6
4 ¿QUÉ ES UN MOOC? ......................................................................................................... 7
5 CALIDAD EDUCATIVA ....................................................................................................... 8
5.1 Calidad en la educación superior .......................................................................................9
5.2 Calidad en el e-learning .................................................................................................... 11
5.2.1 Estándares de calidad .......................................................................................................... 12
6 CALIDAD EN CURSOS MOOC .......................................................................................... 13
6.1 ropuesta modelos de calidad en cursos MOOC ............................................................... 15
7 CONCLUSIONES .............................................................................................................. 27
8 REFERENCIAS ................................................................................................................. 29
AGRADECIMIENTOS ........................................................................................................... 31
4
1 INTRODUCCIÓN Desde que los Massive Open Online Courses (MOOCs) se consideraron una modalidad de
formación, han sido pocos los estudios en torno a la evaluación de la calidad de este tipo de
cursos. Los primeros artículos que se encontraron para elaborar el estado del arte datan del
año 2013 y las últimas publicaciones encontradas son del año 2015. Las características
fundamentales de los MOOCs según Downes (2013) son cuatro: masivos, abiertos, en línea,
contienen la estructura de un curso virtual. Por lo tanto, su calidad se ha evaluado de la misma
forma que los cursos en línea.
Las fuentes consultadas para determinar los distintos modelos y herramientas de la evaluación
de la calidad son: Ramírez (2015), Gea (2015), Read y Covadonga (2014), Martín, González,
García (2013) y Guerrero (2015), Downes,(2013) y Hayes (2015). Así mismo se tomaron en cuenta
las experiencias de instituciones como la Universidad Nacional de Educación a Distancia de
España, Universidad Pablo de Olavide de Sevilla, España, el checklist de edX de la Universidad
Carlos III de Madrid, el checklist de la plataforma Udemy, la Fundación Europea para la Calidad
en e-learning (EFQUEL) y la Guía Afortic, para determinar los criterios e indicadores usados
para evaluar la calidad. La literatura de EFQUEL (2013) y Gea (2015) sugiere que algunos de los
criterios utilizados en la evaluación de la calidad MOOCs son similares a los que se aplican en
un curso tradicional, así como en curso virtual. La revisión de las investigaciones señala que la
mayoría de indicadores de calidad que se relacionan con los modelos son:
planificación/programa/introducción, diseño/estructura, recursos y evaluación.
Los resultados de la investigación han demostrado que en los MOOC también es posible aplicar
estándares para evaluar la calidad, así como herramientas y modelos para evaluar la
metodología del curso y aspectos técnicos.
En el informe, primero se analizan los conceptos básicos relacionados, MOOC, calidad en la
educación, calidad en la educación superior y calidad en e-learning, luego se revisa la
bibliografía e investigaciones relacionadas con la evaluación de calidad en MOOC, además se
exponen las propuestas de modelos de calidad de diversas instituciones, con el fin de dar
respuesta a las siguientes preguntas de investigación:
5
1) ¿Cómo se evalúa la calidad de los cursos MOOC?
2) ¿Se puede utilizar en los cursos MOOC la misma metodología para la evaluación de la calidad
de los cursos e-learning?
3) ¿Qué modelos se han utilizado para evaluar la calidad en MOOC?
2 OBJETIVOS
2.1 Objetivo general
Elaborar un estado del arte en relación a la evaluación de calidad de cursos MOOC.
2.2 Objetivos específicos
Proporcionar una visión global del estado actual de las iniciativas de modelos de
evaluación de calidad en los MOOC.
Identificar los modelos de evaluación de calidad de MOOCs que han utilizados diferentes
instituciones.
6
3 METODOLOGÍA
Este es un estudio documental cuyo propósito es establecer el estado del arte de la evaluación
de la calidad de los cursos MOOC.
Primero se definieron los términos clave para el estudio: MOOC, calidad en educación, calidad
en educación superior y calidad en e-learning.
Luego se procedió a buscar información, por medio de publicaciones, artículos y estudios
relacionados con el tema de calidad en los cursos MOOC. Se seleccionaron las fuentes con la
información más relevante para responder a las inquietudes planteadas al inicio de la
investigación.
Finalmente, se sistematizó la información que servirá como referencia para establecer las
metodologías y modelos de evaluación de calidad de cursos MOOC y asimismo presentar las
conclusiones del estudio.
La figura 1 sintetiza las fases que se siguieron para realizar la investigación:
Figura 1
Fases de la metodología utilizada para establecer el estado del arte
Fase 1
Establecer los términos clave sobre los que se basa el
estudio
Fase 2
Buscar información y seleccionar las
principales fuentes
Fase 3
Sistematizar la información
7
4 ¿QUÉ ES UN MOOC?
Massive Open Online Courses (MOOC) es una modalidad de cursos abiertos en línea, en los que
participa un número masivo de estudiantes, en donde la gestión, creación y difusión se apoya
en una plataforma educativa. El termino fue acuñado por Dave Cormier y Brian Alexander en
2008 para designar el curso en línea: "Connectivism and Connective Knowledge", realizado por
George Siemens y Stephen Downes en la Universidad Manitob. Este fue considerado el primer
curso MOOC, el cual tuvo una duración de 12 semanas y fue cursado por aproximadamente 2.200
estudiantes de distintos países. (Cuenca, Arquero, Ramos, Cobo, s.f.)
Luján y Pernías (2013) sugieren una serie de características mínimas para considerar un curso
MOOC:
Curso: al igual que cualquier otro curso, los MOOC contienen una estructura basada en objetivos
de aprendizaje, contenidos y evaluaciones.
Abierto: este termino tiene dos significados para este tipo de cursos. Primero, significa que el
curso debe ser accesible a todo el mundo (abierto a estudiantes de fuera de la universidad que
organiza el curso) sin exigir requisitos como la posesión de una titulación o la realización de
unos estudios previos que impidan la participación. El segundo significado, hace referencia al
concepto de Recursos Educativos Abiertos, es decir, el uso intensivo de contenidos con licencias
abiertas.
En línea: el curso se realiza a distancia a través de Internet, facilitando el acceso y
participación a cualquier persona.
Gran escala: permitir el acceso a una cantidad grande de estudiantes, con un alcance global.
Además, el curso debe estar preparado para aceptar cambios en el número de estudiantes en
varios órdenes de magnitud, por ejemplo, pasar de 1.000 a 100.000 estudiantes, sin que eso
suponga un problema importante para su funcionamiento.
Méndez (2013) menciona como otra característica importante, que está basado en la enseñanza
colaborativa o conectiva, los estudiantes dejan de ser actores individuales en su aprendizaje y
pasan a formar parte de una comunidad de aprendizaje mucho más amplia, en la que el
8
conocimiento no procede exclusivamente del profesor, sino también de la participación e
implicación de otros estudiantes.
5 CALIDAD EDUCATIVA
Edwards (1991) define la calidad como un valor asignado a un proceso o producto educativo en
términos comparativos. Se compara la realidad observada con un término deseable al modo que
en la cadena de producción se realiza un “control de calidad”; esto, salvando las distancias que
existen entre la producción de bienes y la producción cultural –en donde los “criterios de
calidad” implican posicionamientos acerca de la sociedad, el sujeto y la educación. “Los
criterios de calidad” en un sistema de producción cultural son fijados por medio de un arbitrario
cultural y no por razones fundamentadas en criterios fijos provenientes de la lógica material
de la producción tecnológica. Lo deseable respecto de la calidad de la educación debe ser
definido en cada caso, convirtiéndose en “norma” o “criterio de calidad”.
Por otro lado, para George Kuh (1981) la calidad es un término relativo. Algo es percibido como
de "alta calidad" si cumple con ciertos estándares o si responde adecuadamente a necesidades
específicas de los individuos o grupos sociales.
En educación, calidad frecuentemente implica una búsqueda de constante mejoramiento,
competencia técnica, excelencia en la acción, o por obtener un mayor desarrollo personal y se
relaciona con el cumplimiento de los propósitos educativos (Carabaña y Torreblanca, en Álvarez
Tostado, 1991).
OREALC/UNESCO Santiago (2007) plantea un concepto de calidad de la educación conformado
por cinco dimensiones esenciales y estrechamente imbricadas, al punto que la ausencia de
alguna implicaría una concepción equivocada de la calidad de la educación dentro de un
enfoque de derechos humanos.
Las cinco dimensiones que se sugieren son:
Equidad. Debe ofrecer los recursos y ayudas para que todos los estudiantes, de acuerdo
con sus capacidades, alcancen los máximos niveles de desarrollo y aprendizaje. La
equidad comprende los principios de igualdad y diferenciación, ya que tan solo una
9
educación ajustada a las necesidades de cada uno asegurará que todas las personas
tengan las mismas oportunidades para hacer efectivos sus derechos y alcanzar los fines
de la educación en condiciones de igualdad.
Relevancia. La educación será relevante en la medida que promueva aprendizajes
significativos, desde el punto de vista de las exigencias sociales y del desarrollo
personal. La relevancia se refiere al ‘qué’ y al ‘para qué’ de la educación; es decir, a
las intenciones educativas que condicionan otras decisiones, como las formas de enseñar
y de evaluar.
Pertinencia. Es la necesidad de que la educación sea significativa para personas de
distintos estratos sociales y culturas, y con diferentes capacidades e intereses, de forma
que puedan apropiarse de los contenidos de la cultura mundial y local, y construirse
como sujetos en la sociedad, desarrollando su autonomía, autogobierno, libertad y su
propia identidad.
Eficacia. La eficacia se basa en la medida y proporción en que son logrados los objetivos
de la educación establecidos y garantizados en un enfoque de derechos; es decir,
respecto de la equidad en la distribución de los aprendizajes, su relevancia y
pertinencia.
Eficiencia. Se define con relación al financiamiento destinado a la educación, la
responsabilidad en el uso de este y los modelos de gestión institucional y de uso de los
recursos.
5.1 Calidad en la educación superior
“A nivel del sistema de aprendizaje, se necesita una estructura de apoyo para implementar
políticas, establecer normas, distribuir recursos y medir los resultados de aprendizaje de modo
que se logre el mejor impacto posible sobre un aprendizaje para todos” (UNESCO 2015).
El Informe de Educación Superior en Iberoamérica (2012) indica que el aseguramiento de la
calidad en la educación superior se relaciona con una diversidad de propósitos y marcos
10
metodológicos, que reflejan distintos intereses y necesidades, y, por supuesto, al uso que se
dará a los resultados. En general, estos propósitos pueden agruparse en tres grandes categorías:
Control
Garantía
Mejoramiento
La revista digital AKADEMIA, en su artículo Los sistemas de aseguramiento de la calidad en la
educación superior en América Latina, explica en qué consiste cada categoría para el
aseguramiento de la calidad:
El control de calidad se refiere a la responsabilidad de los gobiernos de asegurar que la
provisión de educación superior cumple con exigencias mínimas de ese servicio, es decir que
corresponde a la aprobación o licenciamiento, referida a la autorización inicial para la
operación de las instituciones o sus programas, y a la acreditación que certifica que se cumplen
con los estándares mínimos, definidos por las instancias pertinentes.
La garantía de la calidad consiste en un proceso de evaluación que conduce a una decisión
formal de aceptación, rechazo o en algunos casos, de condicionalidad, respecto del grado en
que una institución o programa satisface las exigencias planteadas.
El mejoramiento permanente se realiza mediante la auditoría académica (quality audit), en la
que el foco de atención está puesto en las políticas y mecanismos institucionales destinados a
velar por la calidad de la institución, sus funciones y programas.
La calidad requiere también que la enseñanza superior esté caracterizada por su dimensión
internacional: el intercambio de conocimientos, la creación de sistemas interactivos, la
movilidad de profesores y estudiantes y los proyectos de investigación internacionales, aun
cuando se tengan debidamente en cuenta los valores culturales y las situaciones nacionales.
Los rápidos progresos de las nuevas tecnologías de la información y la comunicación seguirán
modificando la forma de elaboración, adquisición y transmisión de los conocimientos. También
es importante señalar que las nuevas tecnologías brindan posibilidades de renovar el contenido
de los cursos y los métodos pedagógicos, y de ampliar el acceso a la educación superior. No hay
que olvidar, sin embargo, que la nueva tecnología de la información no hace que los docentes
11
dejen de ser indispensables, sino que modifica su papel en relación con el proceso de
aprendizaje, y que el diálogo permanente que transforma la información en conocimiento y
comprensión pasa a ser fundamental. (UNESCO, 1998, La educación superior en el siglo XXI)
5.2 Calidad en el e-learning
Ehler (citado en Hornung y Mayringer, 2006, p.3) considera la calidad en el e-learning como,
“un proceso de coproducción entre el entorno de aprendizaje y el estudiante, y por lo tanto,
es en parte su propia responsabilidad. Un programa de aprendizaje no es algo que se le entrega
a un estudiante por mano de un proveedor de e-Learning, sino que más bien constituye un
proceso de coproducción entre el estudiante y el entorno de aprendizaje. Esto significa que el
producto o el resultado de un proceso educativo no puede verse influenciado exclusivamente
por los "procesos de producción" de una institución educativa”.
Los autores Ejanrque, Buendía, Hervás (2008) argumentan que la calidad en el desarrollo de un
curso e-learning hace referencia a tres enfoques distintos, pero que, a su vez, se
complementan:
La calidad de los materiales, las actividades y otros recursos formativos. Se trataría de
valorar aspectos como accesibilidad, formato o claridad.
La calidad de la plataforma de e-learning. Se analizarían aspectos como la usabilidad,
las herramientas ofrecidas o los sistemas de comunicación.
La calidad de la experiencia formativa completa, desde el inicio del curso (planificación,
objetivos), pasando por el desarrollo del curso (materiales, puesta en marcha,
seguimiento) y, finalmente, la evaluación de los alumnos.
En la misma línea, Campión (2006) señala que dentro del marco de la gestión de la calidad, los
aspectos reseñados se pueden estructurar en tres contextos de actuación: por un lado, los
referidos a la calidad técnica de los materiales y del medio virtual en el que se desarrolla el
proceso de enseñanza-aprendizaje; un segundo ámbito sería el referido a los procesos de
gestión administrativa de los usuarios que aprenden autónomamente en la distancia; por
último, la necesaria gestión de la calidad del diseño técnico-instructivo que debe acompañar
tanto a la producción del material didáctico (gestión del conocimiento) como a la referida al
12
proceso mismo de dinamización del aprendizaje a distancia por internet (gestión del
aprendizaje.
Trabaldos y Mendizabal (2014) indican que la formación virtual de calidad debe responder a
unos requerimientos técnicos y metodológicos que satisfagan las necesidades de los usuarios,
es decir, que proporcione la posibilidad de consultar materiales didácticos de calidad –
materiales que le aporten conocimientos y no solo información– y medios estables para
comunicarse con los directores, tutores y/o profesores de los cursos.
Todos los autores coinciden en que el aseguramiento de la calidad en e-learning, debe
considerar la calidad de los recursos, la tecnología, la metodología y la administración.
5.2.1 Estándares de calidad
La organización Internacional de estandarización (ISO) define estandarización como la actividad
que tiene por objeto establecer, ante problemas reales o potenciales, disposiciones destinadas
a usos comunes y repetidos, con el fin de obtener un nivel de ordenamiento óptimo en un
contexto dado, que puede ser tecnológico, político o económico (Hilera y Hoya, 2010, p.19-
21).
Los estándares son el conjunto de normas que permiten establecer requerimientos de una
actividad o servicio para asegurar la calidad.
Organismos de Estandarización
Son las entidades que realizan la normalización para mejorar la calidad de servicios o productos.
Hilera y Hoya (2010), en la publicación “Estándares del e-learning: Guía de consulta” clasifican
los organismo de estandarización en nacionales, regionales e internacionales.
Organismos nacionales, aprueban las normas que se aplican en un país: American National
Standards Institute (ANSI) en Estados Unidos
British Standard Institution (BS) en Reino Unido
Deutsches Institut für Normung (DIN) en Alemania
Association Française de Normalisation (AFNOR) en Francia
Asociación Española de Normalización y Certificación (AENOR) en España
13
Organismos regionales, están conformados por la unión de los organismos nacionales, que
tienen valides en un área relativamente extensa como un continente:
AMN Asociación Mercosur de Normalización
APEC Asia Pacific Economic Cooperation
CARICOM Caribbean Community Standardization
CENELEC Comité Europeo de Normalización Electrónica
CEN Organismo de estandarización de la Comunidad Europea
COPANT Comisión Panamericana de Normas Técnicas
Organismos internacionales, están formados por la unión de diferentes organismos nacionales
de estandarización, elaborando normativas que se aplican a nivel mundial:
ISO Organización Internacional para la Estandarización
IEC International Electrotechnical Commission
ITU Unión Internacional de Telecomunicaciones
IATA International Air Transport Association
6 CALIDAD EN CURSOS MOOC
La calidad en cursos MOOC es un tema poco tratado en la literatura, por lo que las propuestas
surgen como una adaptación de la evaluación de los modelos de calidad en e-learning.
“El aseguramiento de la calidad viene dado por una metodología para el diseño del curso
siguiendo unas pautas bien establecidas: planificación, guías, elaboración del material
siguiendo estándares de calidad y accesibilidad, apoyo docente, evaluación [SKAM13]” (Gea,
2015, p.15).
Downes (2013) en el artículo “The quality of massive open online course” , propone que la
calidad de MOOC se valore por el resultado de los cursos, a través de cuatro criterios:
Autonomía (los alumnos marcan sus propias metas y objetivos)
Diversidad (consecuencia de la autonomía)
Abertura (no hay límites y los contenidos son fluidos)
14
Interactividad (mezcla entre conexión e interactividad)
El mismo Downes (2014), afirma que el éxito o fracaso de un curso depende de lo bien que se
responda a estos criterios.
Por otro lado, Gea (2015) sugiere que una aproximación más directa a la calidad de cursos
MOOC sería utilizar indicadores de calidad de la modalidad a distancia (e-learning):
Planificación: identificación, duración, horas y guías didácticas de apoyo
Diseño: contenidos, recursos didácticos, herramientas de comunicación y actividades
Tutorización y seguimiento: comunicación, incidencias, soporte y tutorías
Evaluación: por pares, autoevaluación, final, por logros…
Incluir soporte de formación y apoyo al profesorado
European Foundation for Quality in e-learning (EFQUEL) es la entidad encargada de la calidad
en e-learning, ha desarrollado la inciativa “The MOOC Quality Project”, que trata de abordar
la temática de calidad de MOOCs a través de un blog que presenta una serie de artículos, en
donde participan expertos de todo el mundo.
El artículo “MOOC quality What have we learned?” de EFQUEL (2013) menciona que durante 12
semanas más de 12,000 personas leyeron 12 entradas del blog y muchos utilizaron las opciones
de retroalimentación. En los resultados de esta interacción se determinó que algunos criterios
eran similares a los que se aplican a un plan de estudios tradicional, pero se manifestaron en
nuevas formas. Otros criterios eran específicamente para el entorno en línea. Son muchos los
factores que se deben considerar en el momento de evaluar la calidad de un MOOC. Uno de los
aspectos más importantes es que la información previa al curso este a disposición de los
estudiantes, por ejemplo, el tipo de curso, los enfoques pedagógicos, el nivel de compromiso
de los estudiantes, horario / plazos, requisitos técnicos, papel del profesor/tutor (si lo hay), la
disponibilidad y el nivel de interacción, la disponibilidad de credenciales, etc. La cuestión
clave es asegurar que se cumplan las promesas y que los proveedores de MOOC proporcionen
información clara acerca de lo que el curso puede y no puede ofrecer (traducción propia).
15
6.1 Propuesta modelos de calidad en cursos MOOC
Uno de los primeros aportes en relación a modelos de calidad de MOOC, fue realizado por los
autores Read y Covadonga (2014). En el modelo de la primera edición de la iniciativa UNED
MOOC, se evaluaron seis aspectos y se hicieron correcciones de acuerdo con los resultados:
1. Tema, cada curso debía ser específico. Los cursos que eran muy amplios se simplificaron
y se dividieron en propuestas de más de un curso.
2. Contenidos, en muchos casos los materiales preparados por el autor del curso fueron
adaptados al curso MOOC.
3. Duración, se consideró un tiempo de duración de 25 a 125 horas.
4. Estructura del curso, dependiendo de los objetivos y la duración, este se dividió entre 4
a 8 módulos y cada uno tenía de 4 a 8 videos con actividades y evaluaciones.
5. Diseño instruccional, en el curso se retaba al estudiante a formar parte de su proceso
de enseñanza-aprendizaje, la autoevaluación se utilizó como método de evaluación.
6. Canales de comunicación, los foros se utilizaron como herramienta principal para la
interacción.
Margaryan (2015) propone un análisis acerca de la calidad en el diseño instruccional de cursos
MOOCs con base en diez principios, en donde los primeros cinco se fundamentan en las teorías
y modelos de diseño instruccional clave de Merrill (2002, 2009, 2013):
1. Problema centrado: el aprendizaje se promueve cuando los estudiantes adquieren
habilidades en el contexto de problemas del mundo real. Esto contrasta con la
instrucción de un tema centrado, donde el tema se enseña en forma aislada de las tareas
del mundo real.
2. Activación: el aprendizaje se promueve cuando los alumnos activan el conocimiento
existente como base para adquirir nuevas habilidades. Las actividades deben ayudar a
los estudiantes para incorporar nuevos conocimientos o habilidades a sus conocimientos
existentes.
3. Demostración: se promueve el aprendizaje cuando los estudiantes observan una
demostración de la habilidad que pueden aprender. Esto resalta la importancia de
mostrar a los estudiantes cómo aplicar la nueva información o habilidad en situaciones
nuevas.
4. Aplicación: se promueve el aprendizaje cuando los estudiantes aplican en la resolución
16
de problemas las habilidades que acaban de adquirir.
5. Integración: el aprendizaje se promueve cuando los estudiantes reflexionan, discuten y
defienden sus habilidades recién adquiridas. Los alumnos tienen oportunidades para
reflexionar sobre lo que han aprendido, revisar, sintetizar o modificar sus nuevas
habilidades y demostrar su nuevo conocimiento o habilidades con compañeros y otras
personas.
6. El conocimiento colectivo: el aprendizaje se promueve cuando los estudiantes
contribuyen al conocimiento colectivo.
7. Colaboración: el aprendizaje se promueve cuando los estudiantes colaboran con los
demás.
8. Diferenciación: el aprendizaje se promueve cuando los estudiantes se instruyen a trevés
diferentes vías de aprendizaje, de acuerdo con su necesidad.
9. Recursos reales: se promueve el aprendizaje cuando los recursos se han extraído de
entornos del mundo real.
10. Retroalimentoación: se promueve el aprendizaje cuando los estudiantes reciben la
retroalimentación de expertos sobre su desempeño.
Martín, González, y García (2013) en la Guía Afortic para la evaluación de acciones formativas
basadas en tecnologías de la información y la comunicación, utilizan un instrumento base que
puede ser empleado para la evaluación de los MOOCs. Este modelo se fundamenta en las
iniciativas de acreditación y evaluación que se siguen en España, por lo que considera cinco
dimensiones para sus indicadores, las cuales son (ver figura 2):
Planificación de la acción formativa: indicadores de la acción formativa, mostrando al
estudiante información del proceso de formación
Programa de la acción formativa: aspectos relacionados con la estructura y desarrollo
el curso, por ejemplo, duración, objetivos y contenidos
Recursos de la acción formativa: recursos humanos y técnicos que se requieren para el
desarrollo del curso
Desarrollo de la acción formativa: metodología y evaluación del curso
Calidad de los resultados: análisis que se realiza al finalizar la acción formativa, para
evaluar la calidad del curso a través de los resultados
17
Figura 2
Modelo de evaluación de AFORTIC
Fuente Martín, González, y García (2013)
La propuesta de Guerrero (2015), UMUMOOC de la Universidad de Murcia, establece tres
dimensiones y sus indicadores de calidad pedágogíca, las dimensionas que abarca son:
Planificación/gestión: incluye aspectos de administración, gestión, acreditación y
certificación relacionados con el aprendizaje. Los indicadores de esta dimensión
establecen información acerca de la duración, cronograma, herramientas de
comunicación asincrónica, acreditaciones y certificaciones.
Diseño/aprendizaje: incluye aspectos del diseño instruccional, contenidos, recursos,
actividades y evaluaciones.
Comunicación/interacción: incluye aspectos de la comunicación y tutorías, los
indicadores establecen si se fomenta la comunicación y se promueve la
retroalimentación (ver tabla 1).
Tabla 1
Propuesta de dimensiones e indicadores UMUC
INDICADORES CALIDAD PEDÁGOGICA MOOC ADECUACIÓN COMENTARIOS
Dimensión 1: Planificación/ Gestión
Indicadores
Subfactor 1. Administración/
Contiene información sobre Duración, Cronograma, Nivel de Contenidos, Difusión, Condiciones particulares del curso.
Planificación
Programa
Recursos
Desa
rrollo
Calid
ad d
e R
esu
ltados
18
Gestión Dispone de mecanismos que faciliten la orientación y el apoyo dentro del proceso de aprendizaje.
Dispone de herramientas de comunicación asíncrona.
Subfactor 2. Acreditación/ Certificación
Establece diferentes tipos de reconocimiento o acreditaciones/certificaciones: medallas, insignias, credenciales, certificados.
Conduce a modelos de acreditación innovadores, flexibles y adaptados a las necesidades y exigencias laborales.
Dimensión 2: Diseño Aprendizaje
Indicadores
Subfactor 1. Diseño didáctico- instruccional
Contiene una Guía didáctica.
Las metas y objetivos de aprendizaje están definidos.
Los contenidos responden a los objetivos planteados.
La evaluación es coherente con la metodología planteada.
Cuenta con una bibliografía bien seleccionada.
Se define y es adecuada la carga de trabajo que supone para el estudiante.
Existen distintos tipos y niveles de contenidos en función de los estudiantes: conocimientos previos, características, condiciones, capacidades, idioma…
Subfactor 2. contenidos
Integridad, calidad de los contenidos: hipertextualidad, multimedia e interactivida (si los contenidos se presentan de forma hipertextual, si favorecen la interactividad,…).
Se utiliza algún criterio o métodos para secuenciar contenidos.
Calidad de los materiales audiovisuales: locución, estilo, lenguaje, variedad, aspectos visuales y dinámicos.
Se utilizan recursos didácticos variados (multimedia, interactivos, abiertos,…) relacionados con los distintos itinerarios de aprendizaje.
Subfactor 3. Recursos y actividades
Las actividades resulta atractivas e innovadoras, incluyen material adicional como esquemas, resúmenes y síntesis.
Las actividades permiten la organización flexible del tiempo de estudio al estudiante.
Existen diferentes modalidades y tipos de actividades: de refuerzo o recursos de apoyo o ampliación (contar con materiales obligatorios y otros opcionales que refuercen las lecciones o contenidos); individuales o colectivas.
Subfactor 4.
Contemplan pruebas de evaluación parciales, de cada módulo y globales, o se incluye comprobación de la progresión del alumno.
19
Evaluación Se incluyen diferentes actividades de evaluación: autoevaluación, evaluación por pares, cuestionarios, test, rúbricas, problemas,..
Se incorporan nuevas modalidades de evaluación, evaluación centrada en el aprendizaje, evaluación auténtica, evaluación formativo,…
Dimensión 3: Comunicación- Interacción
Indicadores
Subfactor 1. Comunicación
Se fomenta la participación en foros y discusiones, el trabajo colaborativo e intercambio de información utilizando diversas herramientas de comunicación como correo electrónico, foro, chat,…
Tienen un dinamizador o “content curators”.
Se promueve el feedback, la facilitación.
Subfactor 2. Tutorías
Se motiva a los estudiantes a comunicarse con el docente invitándole a compartir ideas y conocimientos.
Se promueven las funciones de acompañamiento.
Fuente: Guerrero, C. (2015). A partir de Alemán et. al, 2015; baldomero et al., 2015; Raposo-Rivas et al., 2015;
Roig et al., 2014; Martín et al., 2013; Conole, 2013; Vázquez-Cano, 2013; Ardila-Rodríguez, 2011.
La estandarización de cursos virtuales también puede aplicarse en la evaluación de cursos
MOOC, tal y como lo muestra la propuesta de Ramírez (2015), en donde utiliza la certificación
AENOR con la norma UNE 66181, en los cursos de la Universidad Pablo de Olavide de Sevilla,
España.
La UNE 66181:2012 Gestión de la Calidad de la Formación Virtual, es una
norma que pretende servir como guía para identificar las características de
las acciones formativas virtuales, de forma que los usuarios puedan
seleccionar los cursos que mejor se adapten a sus expectativas, y que las
organizaciones educativas puedan mejorar su oferta y, con ello, la
satisfacción de sus alumnos.
20
Tabla 2
Adaptación de la norma UNE 66181:2012 a indicadores de valoración
del subfactor “entorno tecnológico-digital de aprendizaje” de la dimensión de
“metodología de aprendizaje”
Dimensión 2: Metodología de aprendizaje
Subfactor de satisfacción
Niveles Indicadores Valoración
2.4. Entorno tecnológico-digital de aprendizaje
Inicial Se dispone de información sobre los requisitos hardware y software que debe tener el equipo del alumno/a.
Sí No
Básico Al menos se dispone de alguna herramienta de comunicación asíncrona que permite la interacción entre los participantes.
Sí No
Bueno Existe un entorno tecnológico-digital de aprendizaje que integra contenido y comunicación.
Sí No
Incorpora una sección de Preguntas Frecuentes (FAQ) y/o Ayuda.
Sí No
Permite o tiene mecanismos o componentes que facilitan la orientación de los alumnos dentro del entorno y proceso de aprendizaje (mapas de navegación, mecanismos de búsqueda sencilla o por etiquetas, opción de volver atrás o deshacer, interfaz usable, etc.).
Sí No
Muy bueno
Permite gestionar grupos de alumnos y tareas con registros de acceso e informes.
Sí No
Permite o tiene posibilidad de reanudar el proceso de aprendizaje donde se dejó la sesión anterior (persistencia).
Sí No
Permite o tiene repositorios para el intercambio de archivos digitales entre sus miembros.
Sí No
Permite o tiene foros de discusión y atención al estudiante (formales e informales).
Sí No
Dimensión 2: Metodología de aprendizaje
Subfactor de satisfacción
Niveles Indicadores Valoración
Excelente Permite o tiene indicadores visuales de progreso de aprendizaje.
Sí No
Permite la gestión y reutilización de buenas prácticas en profesores y alumnos.
Sí No
Permite uso de formatos de presentación diferentes en función de características y estilos de aprendizaje.
Sí No
Permite o tiene tecnología colaborativa o de participación activa (RSS, wiki, blog, redes, sociales…).
Sí No
Fuente: Ramírez. (2015).La valoración de un MOOC: una perspectiva de calidad.
21
En la tabla 2 se valoran los indicadores de la siguiente forma:
Inicial
Básico
Bueno
Muy bueno
Excelente
Ramírez (2015), explica que un nivel de calidad “Muy bueno” no tendría que conllevar todos
los indicadores de los niveles “Inicial”, “Básico” y “Bueno”. Así pues, un curso con un nivel de
calidad “Muy bueno” podría distinguirse de otros cursos con el mismo nivel de calidad si
contemplara algún indicador del nivel “Excelente” (sin llegar a serlo), y por tanto, poseer un
mayor valor añadido e incremental cuantitativa en la calidad del curso ofertado con respecto
a los demás cursos valorados con el mismo nivel de calidad cualitativa.
En esta misma propuesta de la adaptación de la norma UNE 66181:2012, Ramírez y Salmerón
(2015), realizan un análisis de la calidad a través de la herramienta Edutool
Edutool, es una herramienta de marca registrada en la Oficina Española de
Patentes y Marcas (número de expediente en vigor: 3.087.298), tiene la
siguiente estructura dimensional:
La dimensión del reconocimiento de la formación para la empleabilidad
consta de 6 ítems
La dimensión de la metodología de aprendizaje contiene 43 ítems
distribuidos en 4 subfactores: el diseño didáctico-instruccional (11), los
recursos formativos y actividades de aprendizaje (10), la tutoría (9) y el
entorno tecnológico-digital de aprendizaje (13)
La dimensión de los niveles de accesibilidad contiene 21 ítems distribuidos
en 3 subfactores: la accesibilidad hardware (7), la accesibilidad software (7)
y la accesibilidad web (7).
22
Roig, Mengual, y Suárez, (2014) en el artículo Evaluación de la calidad pedagógica de los MOOC,
utilizan un cuestionario como herramienta de evaluación de la calidad de cursos virtuales,
validada por Arias (2007). Dicha herramienta se compone de 36 ítems distribuidos en 10
dimensiones distintas; a excepción de la primera dimensión, las nueve restantes contenían
ítems expresados en una escala Likert de 5 puntos (1 = nunca; 2 = casi nunca, 3 = a veces, 4 =
casi siempre, 5 = siempre):
Guía didáctica: 4 ítems dicotómicos (sí/no) mide la claridad de las pretensiones del
curso, objetivos y actividades de refuerzo
Metodología: 4 ítems que mide la adecuación de los contenidos a los objetivos, la
coherencia metodológica y la coherencia de las actividades de refuerzo
Organización de los contenidos: 3 ítems que valoran la estructura de los contenidos.
Calidad de los contenidos: 7 ítems evaluadores del grado de adecuación de los
conocimientos que se explican dentro del curso.
Recursos didácticos: 4 ítems alusivos a la versatilidad del curso para enseñar el
contenido de formas distintas.
Capacidad de motivación: 1 ítem evaluador del grado de motivación del curso.
Elementos multimedia: 7 ítems alusivos a la calidad multimedia y gráfica del curso y
sus recursos.
Estilo del lenguaje: 2 ítems que analizan la sintaxis y semántica de los contenidos.
Discriminación y valores: 2 ítems alusivos a la adecuación de los contenidos a unas
normas éticas y valores aceptados universalmente.
Singularidad del usuario: 2 ítems evaluadores del grado de adaptación del MOOC a las
particularidades del estudiante.
Así como las instituciones desarrollan modelos y herramientas para evaluar la calidad de sus
cursos, las plataformas de cursos MOOC también consideran la calidad a través serie de
requerimientos que debe cumplir todos los cursos, estas se denominan listas de verificación de
calidad (checklist). La tabla 3, muestra la lista de verificación (MOOC Development Checklist,
MDC) que utiliza la Universidad Carlos III de Madrid para desarrollar cursos MOOC en edX. La
lista contiene los criterios que utiliza edX para saber si el curso esta listo para ofrecerse en la
plataforma. La primera parte establece los criterios que evalúan el anuncio e introducción del
curso, estructura del curso, recursos educativos y actividades de evaluación, gestión del curso
y participación del estudiante. La segunda parte abarca las recomendaciones adicionales acerca
de recursos educativos y actividades de evaluación, donde se comprenden criterios que
23
requieren materiales adicionales descargables y que el curso incluya simulaciones, animaciones
u otros recursos adicionales.
Tabla 3
MOOC development checklist
Parte I: REQUISITOS MÍNIMOS
Anuncio del curso e introducción
Vídeo de presentación del curso
Explicación del funcionamiento del curso
Orientación sobre el tiempo de dedicación semanal del estudiante
Información sobre el equipo docente
Requisitos necesarios para seguir el curso (si lo hay)
Pre-test de autoevaluación previa
Estructura del curso
Programa y calendario de seguimientos claros
Presentación de cada uno de los módulos
Criterios de evaluación y calificación
Objetivos de aprendizaje y resultados esperados
Recursos educativos y actividades de evaluación
Óptima calidad técnica de los vídeos
Duración de los vídeos entre 3 y 10 minutos
Contenidos: vídeos y ejercicios relacionados entre sí
Material adicional: los recursos pueden ser obligatorios u opcionales
Evaluación formativa: los ejercicios permiten comprobar la comprensión de los contenidos
Evaluación sumativa: los ejercicios permiten calificar el grado de aprovechamiento
Plazos de actividades de evaluación bien definidos
Test de evaluación final
Gestión del curso y participación del estudiante
El equipo docente da la bienvenida a los estudiantes
El equipo docente envía mensajes periódicamente a los estudiantes
El equipo docente se despide de los estudiantes al finalizar el curso
Foro: el equipo docente modera el foro y anima a los estudiantes a que lo utilicen como herramienta de comunicación y debate
Definición de las directrices de funcionamiento del foro
FAQ: se aclaran las dudad más frecuente (se responden las posibles dudas iniciales y se va ampliando con información adicional conforme avanza el curso)
Parte II: RECOMENDACIONES ADICIONALES
Recursos educativos y actividades de evaluación
Los materiales adicionales son descargables
El curso incluye simulaciones, animaciones u otros recursos interactivos
Gestión del curso y participación del estudiante
Se anima a los estudiantes a que utilicen el foro para presentarse a sí mismos
24
Se utiliza la wiki de forma colaborativa entre los estudiantes
El equipo docente dinamiza la wiki planteando preguntas y proponiendo actividades
Los contenidos del curso siguen disponibles una vez ha finalizado
Se encuesta a los estudiantes sobre sus expectativas y su satisfacción antes, durante y/o al finalizar el curso
Fuente: Universidad Carlos III de Madrid: Expectativas de calidad en MOOC edX
La plataforma Udemy tambien utiliza una lista de criterios de calidad denominada “Udemy
Quality Review Standards and Best Practices” para evaluar el curso, dicha lista está dividida en
dos secciones de valoración: "Obligatorio" y "Recomendado" (ver tabla 4). Las mejoras
obligatorias tendrán que considerarse para que el curso sea aprobado, mientras que las
recomendadas son áreas que se han identificado como oportunidades potenciales para que el
curso destaque. La lista contiene tres secciones: la primera es acerca del programa del curso,
la segunda aborda cuestiones de producción y la tercera sección comprende requerimientos
sobre la publicación del curso.
Tabla 4
Udemy Quality Review Standars and Best Practices
Programa
Criterio Explicación Tipo de valoración
Diferenciación del tema ¿Hay otros cursos en la misma área temática, nivel de dificultad o estilo de enseñanza? Si es así, considere un curso diferenciador, definiendo el tema, la audiencia y estilo de enseñanza.
Recomendado
Objetivos de aprendizaje En la sección "Objetivos del curso" de su curso complete 'lo que los estudiantes aprenderán’; 'Público objetivo del curso'; Requisitos del curso '. - Esta sección no pueden dejarse en blanco.
Requerido
Destaque por qué el curso es valioso para el estudiante. Céntrese en las habilidades que los estudiantes obtendrán, no solo en los temas que van a aprender.
Requerido
No utilice términos genéricos, por ejemplo, el curso está destinado a "todas las personas".
Requerido
Establezca las expectativas correctas del curso explicando para quién es adecuado y para quien no.
Recomendado
Proporcione los detalles acerca de lo que los estudiantes necesitan saber antes de empezar.
Recomendado
Enseñanza estructurada Cada curso debe tener una clase introductoria que explique todo lo que los estudiantes obtendrán del curso y les guíe a través del currículum
Requerido
Sumérjase en los profundo del contenido del curso desde la primera sección, eso aporta valor de forma inmediata. ¡Cuanto antes, mejor!
Recomendado
25
Cada sección debe proyectarse a una de las metas del curso y dedicarse a una habilidad específica.
Recomendado
Cada clase debe apegarse a un solo concepto.
Recomendado
Actividades prácticas En cada sección del curso, incluya una actividad de aprendizaje (cuestionario, ejercicio, o proyecto) para ayudar a los estudiantes a aplicar lo que han aprendido en esa sección.
Recomendado
Proporcione todos los recursos necesarios para cada ejercicio práctico, tales como, hojas de cálculo, código fuente, archivos de prácticas, etc.
Recomendado
Producción
Criterio Explicación Tipo de valoración
Formatos de clase Las videoconferencias deben durar entre 2 y 20 minutos (excepto para temas específicos como el yoga, las sesiones de codificación con instructor o la meditación que requieran sesiones más largas).
Requerido
Para las clases introductorias en video, utilice un primer plano del instructor, para fomentar el buen entendimiento y la confianza con los estudiantes.
Recomendado
Para las clases de naturaleza no técnica (aquellas en las que la competencia principal no depende de un ordenador, como codificación, edición fotográfica, edición musical, etc.), el 20% de la clase debe tener videos, que muestren un primer plano del instructor hablando.
Recomendado
Para grabar la parte técnica de los cursos técnicos, utilice un programa de grabación de pantalla
Recomendado
Audio El audio debe estar libre de ruidos que puedan distraer: ecos, zumbido de fondo, distorsión.
Requerido
El audio debe estar saliendo de ambos canales y estar sincronizado con el video.
Requerido
Video El video debe ser grabado en formato HD (720p mínimo) con una iluminación clara, con encuadre y cámara fija.
Requerido
Las diapositivas, grabaciones de pantalla u oros elementos visuales deben ser fáciles de leer (no deben estar pixelado o borroso).
Requerido
El 60% de las lecciones del curso debe contener videos. Requerido
El instructor o el tema de la lección deben ser claramente visibles en la pantalla.
Requerido
Todo video debe estar en alta definición (HD). Requerido
Cualquier transición debe estar limpia y estandarizada en todas las lecciones.
Recomendado
Exporte todos los vídeos en formato 16: 9. Recomendado
Use textos lo suficientemente grandes para ser leídos fácilmente a través de múltiples dispositivos.
Recomendado
26
Preparación del instructor Elimine las muletillas ("eee" y "verdad") y cualquier error verbal, hable de manera directa.
Requerido
Demuestre emoción y entusiasmo por el tema. La cámara quita un poco de entusiasmo por lo que tendrá que dar el 110%, mientras se graban las lecciones.
Requerido
Pronuncie las palabras de manera clara y enfatice los puntos importantes
Requerido
Video promocional Incluya un video promocional para aumentar la participación de los estudiantes.
Recomendación
Utilice el vídeo para reflejar la experiencia del curso y proporcionar el contexto del tema, los objetivos del curso y el estilo de enseñanza.
Recomendación
Publicación
Criterio Explicación Tipo
Biografía del instructor Utilice una biografía del instructor para mostrar su experiencia, información y credibilidad en el campo.
Precio Los cursos deben tener un precios de$5 e incrementos entre $ 20 y $50. (Puede cambiar el precio del curso en cualquier momento; no obstante, solo puede cambiarlo una vez, de "gratuito" a "de pago". Si cambia su curso de "gratuito" a "de pago" y de nuevo a "gratuito" (o viceversa) una vez publicado, se deshabilitarán de forma permanente sus anuncios promocionales).
Requerido
Los precios del curso deben ser comparables con otros cursos de temas similares, cuerpo del contenido y el estilo de enseñanza.
Recomendación
Título / Subtitulo El título del curso debe describir lo que abarca. Requerido
El subtitulo de construir el título sin ser repetitivo Requerido
Resumen del curso Resuma el contenido del curso, cómo se enseña, lo que los estudiantes aprenderán, y los beneficios que tendrán. Optimice las ventas y utilice las recomendaciones de mejores prácticas.
Requerido
Imagen del curso La imagen debe ser 16:9; 2048 x 1152 píxeles; en formato.jpg, .jpeg, .gif, .png, o .bmp. Debe seguir la guía para imágenes de Udemy.
Requeridor
Descripción de la clase Proporcione una descripción detallada por escrito de lo que cubre cada clase.
Recomendación
Curso completado El 100% de las clases del curso se debe publicar. Requerido
PLR No se permiten cursos PLR o SPAM Los PLR son los cursos que se han adquiridos; cursos SPAM son los que no proporcionan ningún beneficio educativo.
Requerido
Fuente: UDEMY: Udemy Quality Review Standards and Best Practices
27
7 CONCLUSIONES
Al ser los MOOC una modalidad reciente de formación existen pocos estudios acerca de
la evaluación de calidad, por lo que se han adoptado de modelos de la educación virtual.
Las investigaciones encontradas coinciden que la calidad en MOOC incluye criterios que
evalúan la metodología y aspectos técnicos de los cursos, al igual que el e-learning.
En general, las diversas propuestas para la evaluación de calidad de los cursos MOOC
proponen los siguientes aspectos: administrativos y de gestión, relacionados a la
planificació metodológicos, técnicos y recursos virtuales.
Cabe destacar que los modelos de Gea (2015); Martín, González, y García (2013), Guía
Afortic; Guerrero (2015), de la UMUMOOC y la checklist de la Universidad Carlos III de
Madrid y la lista de Udemy presentan en común los siguientes indicadores:
Planificación/programa/introducción, diseño/estructura, recursos y evaluación.
Las Universidades tiene la convicción que para desarrollar MOOCs se debe tener el apoyo
institucional, además de una planificación detallada y una estructura definida con
antelacion para que el desarrollo del MOOC cumpla con un nivel alto calidad.
Los cursos MOOC, pueden adoptar estándares de calidad, como la norma UNE 66181:12,
Gestión de la calidad de la Formación Virtual.
Con base en las propuestas presentadas es posible elaborar una lista de cotejo con los
criterios para evaluar la calidad de los cursos MOOC en sus diferentes aspectos.
Es importante considerar algunos de los aspectos de calidad que incluyen las checklist
de las plataformas que alojan cursos MOOCs, por ejemplo, los criterios que hacen
referencia a los videos y su calidad técnica, así como las presentaciones e introducciones
al inicio del curso.
28
Cada institución evalúa sus cursos MOOCs de acuerdo con los parámetros que
consideran relevantes en relación con la calidad pedagógica y técnica. Sin embargo, al
ser los MOOCs una modalidad reciente, tienen el reto de seguir validando instrumentos
de evaluación que permitan la mejora de calidad.
Actualmente ha surgido la iniciativa europea MOOQ para mejorar la calidad en donde
participan los socios fundadores de:
Open University de Holanda (OUNL) / expertos involucrados clave: Christian M. Stracke,
Esther Moreno, Alessandra antonaci, Katerina Riviou
Hellenic Open University (HOU), Grecia / expertos involucrados clave: Aquiles Kameas,
Bill Vassiladis
National Quality Infrastructure System (NQIS), Grecia / expertos involucrados clave:
Cleo Sgouropoulou
Universidade Aberta (UAB), Portugal / expertos involucrados clave: António Teixeira
Ecole Normale Supérieure de Lyon (ENS), Francia / expertos involucrados clave: Gérard
Vidal
29
8 REFERENCIAS AKADÉMIA. (2010). Los sistemas de aseguramiento de la calidad en la educación superior de América Latina. Recuperado de: http://www.revistaakademeia.cl/?p=32&page=2 Baldomero Ramírez-Fernández, M. (2015). La valoración de MOOC: Una perspectiva de calidad. RIED. Revista Iberoamericana de Educación a Distancia, 18 (2), 171- 195. Recuperado de: http://dx.doi.org/10.5944/ried.18.2.13777 Campión R. (2006). Gestión de la Calidad en elearning. Recuperado de: http://educ-al.org/educal/images/docs/gestion_de_calidad_eLearning.pdf Cuenca, G., Arquero, A., Ramos, F., Cobo, S. (s/f). Análisis de características de los Cursos en Línea Masivos y Abiertos (MOOCs): propuesta de aplicación en escenarios de aprendizaje en el área de Documentación. I Congreso Virtual de Innovación Didáctica al Servicio del Docente y Profesional de Ciencias Documentales. Universidad Complutense de Madrid, España. Downes, S. (2013). The Quality of Massive Open Online Courses. Moncton, New Brunswick. Recuperado de http://mooc.efquel.org/files/2013/05/week2-The-quality-of-massive-open-online-courses-StephenDownes.pdf Edwards, V. (1991). El concepto de calidad de la educación. Unesco. Santiago de Chile. Recuperado de: http://unesdoc.unesco.org/images/0008/000884/088452SB.pdf EFQUEL. European Foundation for Quality in e-learning. Recuperado de: http://mooc.efquel.org/the-mooc-quality-project/ Gea, M. (2015). Informe MOOC y criterios de calidad. CRUE. TIC Comisión Sectorial de las Tecnología de la información y las Comunicaciones. Recuperado de: https://crue-web.sharepoint.com/TIC/Documents/InformeMOOC_CRUETIC_ver1%200.pdf Guerrero, C. (2015). UMUMOOC Una propuesta de indicadores de calidad pedagógica para la realización de cursos MOOC. Campus Virtuales, Vol. 4, num. 2, pp. 70-76. Recuperado de: www.revistacampusvirtuales.es Hayes, S. (2015). MOOCs and Quality: A review of the Recent Literature. QAA MOOCs Network. Recuperado de: https://hochschulforumdigitalisierung.de/sites/default/files/downloads/MOOCs-and-Quality-Literature-Review-15.pdf Hilera, J. y Hoya, R. (2010). Estándares de e-learning: Guía de consulta. Universidad de Alcalá Recuperado de: http://www.cc.uah.es/hilera/GuiaEstandares.pdf Hornung, V. y Mayringer, H. (2006). Lineamientos para la calidad del contenido educativo en línea y de su aplicación práctica. In Proceedings EDEN Conferencia 2006, Viena, Austria. Recuperado de: http://www.salzburgresearch.at/research/gfx/eden_2006.pdf
30
Ignacio Aguaded, I., y Medina-Salguero, R. (2015). Criterios de calidad para la valoración y gestión de MOOC. RIED. Revista Iberoamericana de Educación a Distancia, 18 (2), 119-143. doi: http://dx.doi.org/10.5944/ried.18.2.13579. Lemaitre, M. Zenteo, M. (2012). Aseguramiento de la calidad en Iberoamérica. Educación superior informe 2012. Proyecto Alfa. Recuperado de: http://www.universia.net/nosotros/files/CINDA-2012-Informe-de-Educaci%C3%B3n-Superior.pdf Luján, S., y Pernías, P. (2013). Los MOOC: orígenes, historia y tipos. Centro de comunicación y Pedagogía. Recuperado de: https://www.centrocp.com/los-mooc-origenes-historia-y-tipos/ Martín, O., González, F., García, M. (2013). Propuesta de evaluación de la calidad de los MOOCs a partir de la Guía Afortic. Campus Virtuales, 01, II. Méndez, C. (2013). Diseño e implementación de cursos abiertos masivos en línea (MOOC): expectativas y consideraciones prácticas. Revista de educación a distancia. Recuperado de: http://www.redalyc.org/pdf/547/54729539004.pdf MOOQ for the Quality of MOOCs (2016). Recuperado de: http://mooc-quality.eu/ Read, T. y Covadonga, (2014). Toward a Quality Model for UNED MOOCs. Department of Computer Languages & Systems School of Computer Science, UNED, Madrid, Spain Roig, R., Mengual, S., y Suárez, C. (2014). Evaluación de la calidad pedagógica de los MOOC. Profesorado revista de curriculum y formación del profesorado. Vol 18, N.1 Romay, M., (s/f). Alternativas metodológicas para evaluar la calidad de programas en educación superios. Recuperado de: http://publicaciones.anuies.mx/acervo/revsup/res091/txt5.htm Udemy (2016). Recuperado de: http://udemy-images.s3.amazonaws.com/fb/email/2016/Feb_2016_Quality_Checklist.pdf Universidad Carlos III de Madrid, Expectativas de calidad de un MOOC en edX: MDC: MOOC Development Checklist. Recuperado de: http://portal.uc3m.es/portal/page/portal/UC3M_Digital/convocatoria_edX/ExpectativasCalidadMOOC_edX.pdf UNESCO y LLECE (2008). Reflexiones en torno a la evaluación de la calidad educativa en América Latina y el Caribe. Recuperado de: http://unesdoc.unesco.org/images/0017/001776/177648S.pdf UNESCO (2005). EFA Global Monitoring Report. UNESCO, Paris pp. 30-37 Recuperado de: http://www.unesco.org/education/gmr_download/chapter1.pdf UNESCO. (1998). La educación superior del siglo XXI: Visión y Acción. Recuperado de: http://www.unesco.org/education/educprog/wche/declaration_spa.htm
31
AGRADECIMIENTOS Este entregable ha sido cofinanciado por el programa Erasmus+ de la Unión Europea MOOC-
Maker (561533-EPP-1-2015-1-ES-EPPKA2-CBHE-JP)