Es cada vez más
habitual encontrar MOOC en muchas organizaciones educativas, sin que se
garanticen unos mínimos de calidad en cuanto a formación que arrojan serias
dudas sobre su validez (Fernández, Silvera y Meneses, 2015; Rodríguez, Gómez y
Valiña, 2015; Hernández, López y Heredero, 2016).
Será importante
previamente establecer qué es calidad y definirla, carácterizando aquello que
se considere como un buen aprendizaje (Conole, 2013). Para ello habrá que
buscar instrumentos adecuados y validados que nos permitan obtener indicadores
para evaluar la calidad pedagógica de los MOOC (Vila, Andrés y Guerrero, 2014).
En este terreno la opción más generalizada es apostar por encuestas realizadas
a los participantes dentro de la formación, tanto genéricas relacionadas con el
ámbito educativo como más específicas del e-learning
(Arias, 2007), tendencia actual a la hora de
evaluar la calidad de un MOOC.
Debido a la fase
relativamente temprana de este movimiento MOOC no existe todavia un procedimiento
validado y estandarizado específico que se haya extendido como método universal
de medida. En la mayoría de los casos se apuesta por adaptaciones de
indicadores propios de la formación online (González, 2008b; Cabero y López, 2009; Marsh, 1982), que se mostrarán a continuación. También están
apareciendo modelos híbridos (Fernández et al., 2015) que son resultado de
combinar diferentes propuestas ya validadas, pero en ningún caso hay un
movimiento definido. En todos los casos se apuesta por encuestas formuladas a
los estudiantes tras finalizar el curso.
UNE 66181:2012
La Asociación Española de
Normalización y Certificación (AENOR), miembro de la ISO (International
Organization for Standardization), aporta a los estándares dentro del campo del
e-learning la norma UNE 66181 de calidad de formación virtual dirigida a
desarrolladores y proveedores de formación de Tecnologías de Información y
Comunicación (TIC).
El estándar normativo UNE
66181:2012, actualizado a 2012,
cuenta con las siguientes dimensiones:
- Reconocimiento de la formación para la empleabilidad con
un total de 6 ítems. - Metodología de aprendizaje formada por 43 ítems
repartidos a lo largo 4 subdimensiones: - Diseño didácticoinstruccional (11 ítems)
- Recursos formativos y actividades de aprendizaje (10
ítems) - Tutoría (9 ítems)
- Entorno tecnológicodigital de aprendizaje (13 ítems)
- Niveles de accesibilidad que contiene 21 ítems distribuidos
a su vez en 3 subdimensiones: - Accesibilidad hardware (7 ítems)
- Accesibilidad software (7 ítems)
- Accesibilidad web (7 ítems).
Los factores de satisfacción se presentan
en una graduación de cinco niveles de calidad. Esta escala va desde el nivel 1
“Inicial” hasta el nivel 5 “Excelente”, con la finalidad de que los clientes y
usuarios, los estudiantes, posean mayor información sobre la oferta formativa y
pueda ser comparada con otras.
ADECUR
El instrumento de evaluación “Análisis de
modelos y estrategias de enseñanzas de cursos universitarios en red” (ADECUR)
es capaz de analizar e identificar los rasgos definitorios de la calidad
didáctica de los cursos virtuales, a partir de los baremos proporcionados por
el paradigma socio-constructivista e investigador (Cabero y López, 2009).
Parte de dos dimensiones:
- Psicodidáctica, esta se
compone de seis ejes de progresión: el ambiente virtual, el tipo de aprendizaje
que se promueve, los objetivos, los contenidos, las actividades y su
secuenciación, y la evaluación y la acción tutorial. - Aspectos técnicos, compuesta
por un eje de progresión: recursos y aspectos técnicos.
Ambas dimensiones se desarrollan a lo
largo de 115 ítems, cada uno de los cuales cuenta con uno o varios criterios
con dos únicas opciones de respuesta, “1” para el caso en el que se cumpla el
criterio o criterios del enunciado o “0” para el caso en el que no aparezca
dentro de la formación virtual.
Autores como
Fernández et al., (2015) encuentran en este instrumento
didáctico una interesante solución como herramienta de evaluación de la calidad
dentro ámbito de los cursos MOOC.
SEEQ
La encuesta de opinión de
los estudiantes como método de evaluación de la calidad educativa “Student’s Evaluation of
Educational Quality” (SEEQ) (Marsh,
1982), fue diseñada a finales de 1970 por el profesor Herbert Marsh. Permite
analizar la eficacia de la enseñanza a partir de una serie de factores
predefinidos, estos a su vez están formados por 42 ítems que se valoran de
manera individual en una escala de tipo Likert de cinco opciones (muy en desacuerdo, en desacuerdo, ni de acuerdo ni en desacuerdo,
de acuerdo y muy de acuerdo) y un
ítem o pregunta con respuesta abierta donde el estudiante podrá dejar su
opinión y comentarios. Esta encuesta (Matés y Bouzada, 2010) permite la
elaboración de planes de mejora; garantiza fiabilidad, validez y consistencia;
y permite la comparación entre instituciones.
Los factores propuestos
por Marsh son nueve:
- Aprendizaje
- Entusiasmo
- Organización
- Interacción
con el grupo - Actitud
personal - Contenidos
- Carga de
trabajo y dificultad - Exámenes
- Trabajo del
curso
La encuesta SEEQ puede utilizarse
tanto para evaluación formativa como sumativa, proporcionando al docente
información y una medida general sobre la eficacia de su enseñanza. Además
servirá como resumen de evaluación profesional que facilitará el reconocimiento
de aquellas enseñanzas que destaquen permitiendo incluirlo en su portafolio
docente para mostrarlo.
Extraído y más información en mi tesis:
Bibliografía:
Arias, J. (2007). Evaluación de la calidad de Cursos Virtuales: Indicadores de calidad y construcción de un cuestionario de medida. Aplicación al ámbito de asignaturas de Ingeniería Telemática (tesis doctoral). Universidad de Extremadura (España). Recuperado de http://biblioteca.unex.es/tesis/9788477238317.pdf
Cabero, J. y López, E. (2009). Descripción de un
instrumento didáctico para el análisis de modelos y estrategias de enseñanza de
cursos universitarios en Red (ADECUR). Pixel-Bit. Revista de Medios y
Educación, 34, 13-30. [Fecha de consulta: 10 de junio de 2016]. Disponible
desde Internet: http://www.sav.us.es/pixelbit/pixelbit/articulos/n34/2.pdf
Conole, G. (2013). Los MOOCs como
tecnologías disruptivas: estrategias para mejorar la experiencia de aprendizaje
y la calidad de los MOOCs. Campus Virtuales. Revista Científica Iberoamericana
de Tecnología Educativa, 2(2), 16-28.
Fernández, M. B. R., Silvera, J. L. S., y Meneses, E. L. (2015). Comparativa entre instruments d’avaluació de qualitat de cursos MOOC: ADECUR vs Normes UNE 66181: 2012. RUSC. Universities and Knowledge Society Journal, 12(1), 131-144.
González, J. R. H. (2008b). UNE 66181: 2008, el primer estándar sobre calidad de la formación virtual. Revista de Educación a Distancia.
Hernández, P. G., López, C. M., y Heredero, E. S. (2016). Calidad de un MOOC sobre inclusión educativa: aplicación de varios instrumentos e indicadores. Revista Ibero-Americana de Estudos em Educação, 11(25).
Marsh, H. W. (1982). SEEQ: A RELIABLE, VALID, AND USEFUL INSTRUMENT FOR COLLECTING STUDENTS’EVALUATIONS OF UNIVERSITY TEACHING. British journal of educational psychology, 52(1), 77-95.
Matés, M. V. V., y Bouzada, M. I. C. (2010).
Valoración de la enseñanza: SEEQ. Revista de Formación e Innovación
Educativa Universitaria (REFIEDU), 3(4), 182-193.
Rodríguez, Ó. M., Gómez, F. G., y Valiñas, M. D. L. Á. G. (2015). Propuesta de evaluación de la calidad de los MOOCs a partir de la Guía Afortic. Campus virtuales, 2(1), 124-132.
Vila, R. R.,
Andrés, S. M., y Guerrero, C. S. (2014). Evaluación de la calidad pedagógica de los MOOC. Profesorado:
Revista de curriculum y formación del profesorado, 18(1),
27-41.
