karla mollinedo, one minute paper en la educación superior, una revisión en estudiantes de...

51
El One Minute Paper en la educación superior como herramienta de aprendizaje: Una revisión en estudiantes universitarios del Instituto de Ciencias de la Familia de Guatemala, Universidad Galileo

Upload: karla-mollinedo

Post on 27-Dec-2015

32 views

Category:

Documents


0 download

DESCRIPTION

El presente estudio demuestra la eficacia del "One Minute Paper" para mejorar el aprendizaje dentro de una muestra de estudiantes universitarios de Guatemala.

TRANSCRIPT

Page 1: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

El One Minute Paper en la educación superior como

herramienta de aprendizaje:

Una revisión en estudiantes universitarios del

Instituto de Ciencias de la Familia de Guatemala,

Universidad Galileo

Karla Mollinedo, M.A.

Universidad Francisco Marroquín

Page 2: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

Tabla de Contenido

1. Introducción........................................................................................................................3

1.1.1. Historia..................................................................................................................8

1.1.2. Usos.......................................................................................................................8

2. Planteamiento del problema..............................................................................................10

2.1. Objetivo general.........................................................................................................10

2.2. Objetivos específicos..................................................................................................11

2.3. Variables o elementos de estudio...............................................................................11

2.4. Definición de variables o elementos de estudio.........................................................11

2.5. Definición operacional de las variables o elementos de estudio................................12

2.6. Alcances y límites......................................................................................................12

2.7. Aporte.........................................................................................................................12

3. Método..............................................................................................................................14

3.1. Sujetos........................................................................................................................14

3.2. Instrumentos...............................................................................................................17

3.3. Procedimiento.............................................................................................................17

3.4. Diseño.........................................................................................................................18

3.5. Metodología estadística..............................................................................................18

4. Presentación y análisis de los resultados...........................................................................20

5. Discusión...........................................................................................................................28

6. Conclusiones.....................................................................................................................30

7. Recomendaciones..............................................................................................................31

8. Referencias Bibliográficas................................................................................................32

Anexos..................................................................................................................................33

Formato para One Minute Paper.......................................................................................33

Escala Bartlett y Morrow..................................................................................................34

2

Page 3: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

1. Introducción

La presente investigación nace de la preocupación sobre el estudiante universitario

en Guatemala y su desarrollo en el ámbito académico. La labor docente lleva a preguntarse

constantemente sobre la objetividad de lo que los estudiantes aprenden en cada lección, de

allí las técnicas clásicas de evaluación como los exámenes parciales y finales a demás de

hojas de trabajo y laboratorios. Con estas herramientas el catedrático puede tener un

indicador sobre el conocimiento que cada estudiante ha adquirido sobre el material cubierto

en el curso. En el lapso de tiempo que transcurre entre una evaluación y otra puede resultar

en un desfase entre los contenidos que el profesor ha cubierto en su curso con lo que

supone sus estudiantes deberían haber comprendido y lo que las evaluaciones reflejan

cuando estas son deficientes.

La implementación de otras técnicas de evaluación pueden permitir al catedrático

tener un flujo de información constante sobre el desarrollo académico de sus estudiantes y,

con este método poder tener una autoevaluación sobre su forma de enseñar. El One minute

Paper (Se mantiene el nombre One minute paper, en adelante Minute Paper, MP) es la

herramienta que se ha investigado en el presente trabajo pues permite al catedrático tener

información en cada clase sobre lo que cada estudiante ha comprendido y aquello que no le

ha quedado claro.

El MP se inicia en la universidad de Berkley con el profesor de física Charles

Schwartz (Tollefson, 2001) y la idea se expande más adelante a Harvard en los Harvard

Assesment Seminaries promovidos por Dereck Bok, Presidente de Harvard University de

1971-1991 y de nuevo en 2006, para reforzar el aprendizaje de los alumnos. En estos

seminarios se concluyó que el uso del MP retroalimentaba inmediatamente a los profesores

sobre el conocimiento retenido por los alumnos.

Según Simpson (Simpson-Beck, 2011) una de las técnicas más referidas en los

manuales de recursos para la evaluación académica en educación superior es el MP para

identificar cual fue el punto más importante de la lección vista en clase. A pesar de la

difusión e impacto de esta técnica, en Guatemala no se ha difundido extensamente este

procedimiento en las aulas universitarias por lo que no se han llevado a cabo estudios al

3

Page 4: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

respecto. Morales Vallejo (2011) ha descrito el procedimiento y es profesor universitario en

Guatemala, pero no se cuenta con una investigación similar a lo que se desea evaluar en el

siguiente trabajo. El Centro Henry Hazlitt de la Universidad Francisco Marroquín aplica

una forma de MP para la evaluación de los estudiantes que asisten a conferencias de

profesores invitados. Este método permite valorar la comprensión que los estudiantes han

adquirido del tema, a la vez que es una forma indirecta de evaluar puntualidad y asistencia

pues debe entregarse a la salida de la conferencia. El formato se circunscribe a elaborar un

resumen de las ideas principales de la exposición y las especificaciones son: 1. Entregar la

hoja al terminar la actividad para que sea válida la asistencia, 2. Si sale del salón/auditorio

debe entregar la hoja a la persona encargada y 3. La hoja es marcada con un cello de

“ingresó tarde”, a) si ingresó 10 min después de la actividad, b) si se retira antes de

terminada la actividad, c) si presenta comportamiento inadecuado. A la fecha no se han

realizado estudios que midan el impacto que ha tenido esta técnica en estudiantes o

profesores. De tal manera que el presente estudio no cuenta con antecedentes en

Guatemala. Por el contrario, en otras latitudes, esta herramienta de evaluación y enseñanza

ha sido ampliamente estudiada por tanto se revisaran los estudios más relevantes (Morales

Vallejo, El "One minute paper", 2011).

Chizmar y Ostrosky (1998) llevaron a cabo un proyecto piloto donde utilizaron el

MP para aumentar el conocimiento en el curso introductorio de economía en los cursos de

otoño de 1992 y 1993 y los de primavera de 1994. Utilizaron un grupo experimental de 315

estudiantes versus un grupo control de 256. Cuatro instructores enseñaron tanto en el grupo

control como en el experimental el mismo curso sobre principios de economía a excepción

de la introducción del MP al grupo experimental. La cantidad de estudiantes por sección era

aproximadamente la misma (tabla 1).

TABLA 1Inscripción y Diseño del experimento

Instructor Grupo control Grupoexperimental

1 158 2382 26 253 48(a) 244 24 28Total 256 315(a) Representa dos secciones de 22 y 26 estudiantes

4

Page 5: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

En este estudio se plantearon 3 objetivos: 1) adquirir la experiencia de aplicar el MP

en el aula, 2) valorar esta técnica de evaluación y, 3) identificar problemas y posibilidades.

Para realizar este estudio el instructor del curso pedía a los estudiantes que completaran un

MP al finalizar el período. A la clase siguiente, la lección iniciaba con la discusión y la

clarificación de aquellos puntos que despertaron mayores dudas en la clase anterior. A

demás, se trató de integrar los puntos dudosos a lo largo de la nueva lección. A los

estudiantes del grupo experimental se les indicó que por la importancia que implicaba su

comprensión y aprendizaje se aplicarían estas pruebas en cada clase.

Al principio del semestre cada instructor administró una prueba de diagnóstico

sobre la comprensión de principios económicos (Test of Understanding of College

Economics, TUCE) a ambos grupos, experimental y control. Al final del semestre se aplicó

la prueba de nuevo a ambos grupos para medir el nivel de conocimiento en economía que

habían adquirido. La evidencia de los estudios realizados sobre los resultados pre y post test

del grupo control y del experimental mostraron que el uso del MP en el curso aumentó el

conocimiento en economía. Además la evidencia sugiere que el efecto del MP sobre el

conocimiento de los alumnos sobre economía varió muy poco según el instructor y la

habilidad personal de cada estudiante. Estos resultados sugieren que todos los estudiantes,

independientemente de su nivel de habilidad o del instructor se beneficiaron con la

aplicación del MP (Chizmar J. F., Ostrosky A.L., 1998).

Bartlett y Morrow (2001) realizaron un estudio sobre la percepción de los

estudiantes acerca del uso del MP en un curso de Farmacia. En dicho estudio, el MP fue

aplicado durante cuatro años a los estudiantes de primer año de la carrera de farmacia en el

curso de Bases bioquímicas de medicamentos y enfermedad (Biochemical Basis of Drugs

and Disease). Para el estudio se seleccionaron cales de 100 estudiantes aproximadamente

que fueron divididos en 5-6 secciones de 14-20 personas. La prueba fue impartida a todo el

curso pero solo una muestra entregó el MP para facilitar el estudio. Se pidió a los

estudiantes que pusieran su nombre, número de identificación y completar las respuestas a

las preguntas del MP. Para garantizar la conformidad con esta técnica se le asignó un 4% de

la nota final del curso. Este formato permitió a su vez garantizar la asistencia al curso.

Los resultados más relevantes de esta investigación indican que los estudiantes citan

el uso del MP como un aspecto positivo del curso cuando fueron evaluarlos por medio de

5

Page 6: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

una escala de satisfacción. La evidencia sugiere también que los estudiantes valoraron la

claridad que ofrece la discusión de las respuestas del MP en clase y que el tiempo que toma

del período siguiente para darse esta explicación no se considera como desperdiciado. Los

resultados reportan que el uso del MP es una herramienta que motiva a los estudiantes a

tener mayor participación en clase por medio de preguntas y que las explicaciones que

ofrece el profesor, demuestran el interés que este tiene por sus estudiantes. Además los

estudiantes manifestaron que les gustaba el MP y apoyaban que se usara en el curso,

recomendando que se expandiera su uso a otros cursos. Por otro lado, la investigación

destaca que el uso del MP a diario sí representó una reducción del tiempo para cubrir todo

el material del curso (Bartlett, 2001).

Stead (2005), de la universidad de York en el Reino Unido realizó un estudio sobre

la literatura existente que específicamente evaluó el valor del MP, presentando nueva

evidencia acerca de la reacción de los estudiantes al MP y sobre el nivel de su aplicación en

clase. Este estudio sugiere que el MP es una técnica simple, flexible, ampliamente

adaptable y que no requiere ninguna tecnología produciendo resultados beneficiosos en una

cantidad moderada de tiempo invertido. Además destaca que con el uso del MP los

estudiantes pudieron reflexionar brevemente y hacer preguntas de lo que habían escuchado

en clase generando una retroalimentación inmediata acerca de lo que se comprendió en

clase. La aplicación regular del MP mejora significativamente el desempeño del estudiante

en los exámenes y que, generalmente, los estudiantes perciben el MP como favorable tanto

en grupos grandes como pequeños. Finalmente, la evidencia mostró que la utilización del

mismo formato tiende hacer monótona la aplicación del MP (Stead, 2005).

Lucas (2005), profesor de la universidad Northwestern de Illinois, destaca que el

contacto estudiante-profesor es una de las herramientas más eficientes en el proceso

formativo de un estudiante pero que muchos profesores tienen dificultades al iniciar este

contacto de manera natural. La investigación sugiere que las respuestas al MP por vía

electrónica es un medio eficaz para iniciar este contacto. Lucas señala que el nivel de

compromiso que tienen los estudiantes en el proceso educativo es uno de los indicadores

más importantes en el desarrollo proceso de aprendizaje. Esta investigación destaca que el

MP propicia un mayor nivel de compromiso académico por parte del estudiante y que esta

es una de las herramientas más utilizadas en la educación superior y (Lucas, 2010).

6

Page 7: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

1.1. El One minute Paper (MP)

El MP es una herramienta de evaluación para retroalimentar al profesor acerca de la

comprensión que tienen los estudiantes de la lección vista en clase. Esta técnica se lleva a

cabo por medio de un cuestionario que se administra unos minutos antes de que termine el

período de clase (de 2 a 5 minutos aproximadamente). En el cuestionario se deben

responder a dos preguntas: 1) ¿Qué es lo más importante que aprendió hoy? y, 2) ¿Cuál es

el punto que le ha quedado más dudoso al final de esta clase? La primera pregunta orienta a

los estudiantes a enfocarse en la síntesis de la clase, es decir, en qué es lo que aprendió,

mientras que las segunda busca determinar qué tan bien se está dando el aprendizaje

(Chizmar J. F., Ostrosky A.L., 1998). El profesor debe motivar a los estudiantes para que

respondan de manera sincera y bien reflexionada. Basándose en este breve análisis que han

hecho los estudiantes, el profesor decide cuáles fueron los puntos que quedaron más

confusos y qué malentendidos se observan en los conceptos clave de la clase anterior.

El MP puede tener variaciones tala como incluir una pregunta mas, tomarse más de

un minuto o elaborar las respuestas por vía electrónica. Bartlet y Morrow proponen una

variación del MP que incluye una tercera pregunta. Señalan estos autores que una de las

debilidades del MP es que algunos estudiantes relatan contenidos superficiales y no los

hechos esenciales de la lección. Ellos estudiaron la inclusión de una tercera pregunta para

superar esta limitación. Al añadir al cuestionario la pregunta, ¿Qué es lo que le pareció más

interesante de la lección? Permitió que pudieran distinguir los datos fundamentales de la

lección de aquello que les parecía interesante, resultando en una mejor retroalimentación de

la información y por tanto, un mejor aprendizaje (Bartlett, 2001).

Otras variaciones pueden incluir una valoración del MP para motivar la entrega, Al

estar identificado el MP tiene el efecto secundario de ser una vía para verificar la asistencia

al curso. En cuanto al tipo de pregunta, estas pueden variar haciéndolas por categorías para

destacar interés (lo que más me ha sorprendido), relevancia (lo más útil), actitudes y

opiniones (aquello con lo que se está mas de acuerdo o en desacuerdo), análisis (el objetivo

o propósito de la lección) o conexiones conceptuales (relaciones entre lo explicado en esta

asignatura en relación con otras) (Cuseo, 2010).

7

Page 8: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

1.1.1. Historia

Charles Schwartz, profesor de física de la universidad de Berkley, fue quién

introdujo el MP. Más adelante, esta técnica fue introducida en 1986 durante los Harvard

Assesment Seminaries por su presidente Derek Bok lo que permitió evaluar esta

herramienta de aprendizaje (Morales Vallejo, 2011). De allí en adelante, según publican

Angelo y Cross, esta se ha convertido en una de las técnicas más utilizadas y difundidas por

los profesores universitarios. La relevancia de la obra de estos autores es la que más

difusión ha dado al MP (Angelo, Thomas A. y Cross, K. Patricia, 1993).

1.1.2. Usos

Los MP tienen utilidad tanto para profesores como para los estudiantes. A

continuación se describirán las aplicaciones que destaca Morales Vallejo (Morales Vallejo,

El "One minute paper", 2011).

Los profesores pueden utilizar y beneficiarse del MP en los siguientes aspectos:

Verificar si los alumnos entienden: El MP sirve como indicador para evaluar cómo

va la comprensión de la clase.

Evitar la Maldición del conocimiento: Con este término se describe la situación del

experto que expone un tema olvidando que sus estudiantes parten de cero. Con

frecuencia los profesores olvidan que aquello que parece elemental para ellos,

representa un alto grado de dificultad para los alumnos. La retroalimentación que

ofrece el MP permite verificar si está ofreciendo una explicación clara o si está

dejando amplias lagunas en el análisis que presenta.

Aprovechar los comentarios de los estudiantes: Los comentarios de los estudiantes

pueden dar pie para integrar en el curso otros elementos que no se habían tomado en

cuenta pues pueden ser específicos en ese contexto educativo. A demás permite

comentar otras cuestiones que, aunque no sean propias del contenido, implican un

punto importante en la formación de los alumnos.

Propicia un buen ambiente en clase: Con el MP los estudiantes pueden percibir con

claridad el interés que el profesor tiene en su formación. Esto propicia un clima en

8

Page 9: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

el salón de clase que permite que los integrantes del curso se conozcan mejor

facilitando una comunicación clara.

Verificación de asistencia al curso: Como se destacó anteriormente, este es un

beneficio secundario del MP pero que facilita que el profesor tenga el dato preciso

de quiénes asistieron a su clase. Es este caso, se estaría aplicando una modalidad de

MP en que si se pide que el estudiante se identifique. Existen otras variaciones de

MP dónde se hace de manera anónima donde cumple su función exclusivamente

como herramienta de evaluación y retroalimentación.

Ahora bien, los estudiantes también pueden encontrar usos del MP y beneficiarse de ello de

varias maneras:

Propicia la reflexión

Enseña a aprender en clase

Ayuda a mantener la atención durante la clase

Permite que se retenga mas lo aprendido en clase

Ejercita la redacción y síntesis

Vía de comunicación para quienes tiene dificultad para hacer preguntas en clase

9

Page 10: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

2. Planteamiento del problema

La educación superior actual se encuentra ante el reto de innovar sus metodologías

en docencia y evaluación. El avance de las técnicas que ofrece la informática ha llevado al

salón de clase sofisticadas herramientas tecnológicas para lograr un eficiente proceso

educativo. La realidad cultural de Guatemala permite que estas innovadoras herramientas

educativas lleguen a una población muy reducida por los costos que estas representan.

Pantallas interactivas por medio de controles, tablets, o evaluaciones electrónicas son una

realidad a la que muchos estudiantes guatemaltecos no pueden acceder.

El MP es una herramienta educativa que no requiere tecnología sofisticada, el costo

va de una hoja de papel bond a una fotocopia por alumno y la implementación no requiere

ninguna inversión en equipo ni instalaciones costosas. Sin embargo, la evidencia sugiere

que es una poderosa herramienta en la educación de los participantes de los cursos en

donde se ha utilizado.

Los estudios llevados a cabo en otros países han mostrado que el MP es percibido

por los estudiantes como un método que presenta una ayuda efectiva en su educación, de

allí que se pretenda validar dichos resultados en una muestra de estudiantes guatemaltecos.

Por tanto, el presente estudio se plantea la siguiente pregunta:

¿Cuál es la percepción que tienen los estudiantes del ICF acerca de los beneficios y

debilidades del uso del MP como una herramienta de aprendizaje dentro de los cursos de

licenciatura?

2.1. Objetivo general

El presente trabajo pretende determinar la percepción de un grupo de estudiantes

guatemaltecos sobre el uso del Minute Paper en clase.

10

Page 11: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

2.2. Objetivos específicos

Identificar el nivel de satisfacción del MP por edad y por año cursado.

Hacer una valoración sobre las fortalezas y debilidades del MP según la percepción

de los estudiantes.

Comparar el grado de satisfacción de la muestra de estudiantes guatemaltecos con

de con la evidencia que arroja el estudio de Bartlet y Morrow.

Generar la primera investigación acerca de la percepción del MP en estudiantes

universitarios de Guatemala para que se pueda dar seguimiento en otras

poblaciones.

2.3. Variables o elementos de estudio

Percepción de los estudiantes universitarios sobre el One Minute Paper

2.4. Definición de variables o elementos de estudio

El One Minute Paper es una herramienta de aprendizaje para estudiantes que sirve para

tener que el profesor tenga una retroalimentación inmediata de la lección que ha impartido.

El MP se realiza por medio de contestar dos preguntas: 1) ¿Qué ha sido para usted lo más

importante que ha aprendido en esta clase? Y 2) ¿Qué es lo que le ha quedado más

confuso? En la siguiente lección, el profesor inicia con la discusión de las respuestas del

MP para clarificar los puntos más dudosos de allí que ambos, profesor y alumnos se

beneficien de esta metodología. El catedrático se beneficia porque puede tener un

indicador inmediato del aprendizaje que los estudiantes están adquiriendo, y los estudiantes

porque resuelven sus dudas y mejora la retención de los conceptos adquiridos. El MP es

una técnica pedagógica de bajo costo y fácil aplicación que tiene la capacidad de consolidar

el conocimiento en los estudiantes y que puede ser implementada en cualquier ámbito

educativo (Stead, 2005). Esta técnica ha demostrado tener una buena aceptación entre los

estudiantes pues la perciben como un beneficio en el proceso de aprendizaje (Bartlett,

2001).

11

Page 12: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

2.5. Definición operacional de las variables o elementos de estudio

La percepción que se tiene del MP se evaluó por medio de la escala Bartlett y

Morrow aplicándola a los estudiantes de 1º, 2º, 3º año que realizaron MP en los cursos de

Desarrollo de la personalidad, Antropología y sociología de la familia y sexualidad

respectivamente, de la carrera de Licenciatura en Ciencias de la Familia del Instituto de

Ciencias de la Familia de la Universidad Galileo.

2.6. Alcances y límites

Este estudio se ha llevado a cabo con una muestra no aleatoria de estudiantes del

Instituto de Ciencias de la Familia de la Universidad Galileo por lo que los resultados son

un indicador de para la población de estudiantes del ICF/Galileo. Este trabajo permite tener

un primer estudio sobre el MP en Guatemala para luego seguir haciendo más investigación

sobre esta herramienta pedagógica.

La muestra de este estudio es representativa de la población de estudiantes del

Instituto de Ciencias de la Familia. Los resultados generan información sobre la aceptación,

beneficios y debilidades del MP en el ámbito de estudio del ICF. De allí que los resultados

son un indicador para dicha institución, los cuales podrían extrapolarse a poblaciones que

presenten características similares a las descritas en la presente muestra.

Una de las limitaciones con las que se enfrentó la presente investigación es con la

falta de estudios realizados sobre el impacto del MP en Guatemala, de allí que se haya

constituido como uno de los objetivos específicos constituirse como una investigación que

pueda generar otros estudios en la población Guatemalteca.

2.7. Aporte

Con este estudio se pretende evaluar la precepción que tienen sobre el MP en

estudiantes guatemaltecos para evidenciar si los resultados son similares a las conclusiones

alcanzadas por otros investigadores. Con esto se pretende validar el uso del MP en el

contexto guatemalteco.

12

Page 13: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

Con estos resultados se pretende demostrar si esta herramienta que ha mostrado ser

altamente exitosa en la educación superior en otras latitudes, también puede serlo en el

contexto guatemalteco. De ser así, el autor de la presente investigación pretende dar un

porte a la formación de los futuros profesionales en un país donde se requieren elementos

de enseñanza que se adapten a la realidad socioeconómica de la mayoría de estudiantes.

Además se busca aportar conocimiento a la investigación sobre técnicas de

aprendizaje, un primer estudio realizado en Guatemala sobre el impacto que tiene el MP en

el aprendizaje de los estudiantes universitarios.

13

Page 14: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

3. Método

3.1. Sujetos

La población de los estudiantes del Instituto de Ciencias de la Familia (ICF) de la

Universidad Galileo de la carrera de Licenciatura en Ciencias de la Familia (LCF) se describe según

los datos demográficos del ciclo de estudios 2011. La LCF del ICF cuenta con 71

estudiantes distribuidos en 5 años calendario. La edad promedio es de 42 años con una

desviación típica de 9.52 siendo el valor mínimo 20 y el máximo 63. El sexo de la

población estudiantil se distribuye entre un 93% de mujeres con un 7% de hombres

El grado de escolaridad se distribuye de la siguiente manera: el 62% de la

población cuenta con un titulo de nivel medio de diversificado y el 26.8% de los estudiantes

ya cuentan con un grado académico de licenciatura.; solo el 7% cuenta con un grado de

maestría y el 4.2% dice posees un grado a nivel técnico. Ninguno de los estudiantes cuenta

con doctorado. El estado civil de la población se distribuye en: 29.6% solteros, 60.6%

casados, 5.6% separados, 2.8% divorciados, 1.4% viudos y ninguno reporta encontrarse en

unión de hecho.

Para elaborar el presente estudio se seleccionó de la población del ICF una muestra

no probabilística por conveniencia de 51 sujetos de 1º, 2º, y 5º año de la carrera de

Licenciatura en Ciencias de la Familia. Las características se describen a continuación.

Según el sexo, la muestra consta de una frecuencia de 47 mujeres que representa el

92% y una frecuencia de 4 hombres que representan el 8%.

La edad de los sujetos de la muestra cuenta con una media de 42.3 años cuyo valor

mínimo es 19 y el máximo de 64 lo que indica una desviación típica de 11.9. Las edades de

los sujetos se presentan distribuidas por rangos de la siguiente manera:

Tabla 1. SexoSexo Frecuencia Porcentajef 47 92.2m 4 7.8Total 51 100.0

14

Page 15: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

La edad promedio de las personas evaluadas es de 42 años con una variedad en las edades

que oscila entre los 19 y los 64 años.

Tabla 2. EdadN Válidos 50

Perdidos 1Media 42.34Mediana 43.50Moda 40a

Desviación típica 11.92Mínimo 19Máximo 64a. Existen varias modas. Se muestra el menor de los valores.

Tabla 3. Edad por gruposFrecuencia Porcentaje

Válidos 20-30 7 13.731-40 12 23.541-50 16 31.451-60 11 21.661 y mas 2 3.9Total 48 94.1

Perdidos

Sistema 3 5.9

Total 51 100.0

Según el estado civil, 35 personas de la muestra reporta estar casados lo que

representa un 70%, 12 personas indican estar soltero lo que representa el 24% y 3 personas

reportan estar divorciadas representando el 6%. Ninguno de los sujetos manifestó estar en

unión libre o en unión de hecho.

15

Page 16: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

24%

70%

6%

Gráfica 1. Estado civil

SolteroCasadoDivorciado

75%

25%

Gráfica 2. Escolaridad

DiversificadoSuperior

17%

33%8%

8%8%

8%

17%

Gráfica 3. Educación superior por especialidad

Abogado Administracion de empresas

Publicista Diseño de inte-riores

Literatura Ingeniero indus-trial

Política

Según el criterio de escolaridad, la mayoría de las personas evaluadas tiene solo titulación

de enseñanza media representando un 75% contra un 23% que cuenta con título de

educación superior. De las ramas de especialidad la que predomina es administración de

empresas.

35%

29%

35%

Gráfica 4. Año que cursa actualmente

Primer añoSegundo añoQuinto año

16

Page 17: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

Tabla 4. CursoFrecuencia Porcentaje

Antropología y sociología de la familia

15 29.4

Desarrollo de la personalidad 18 35.3Sexualidad 18 35.3Total 51 100.0

Por año cursado estudiantes 18 curzan Desarrollo de la personalidad en 1er. año; 15

estudiantes cursan Antropología y sociología de la familia en 2do, y 18 cursan la asignatura

de sexualidad, en 5to. Año.

De los resultados demográficos se concluye que la muestra evaluada es un grupo de

personas mayoritariamente femenino, de 42 años como promedio de edad, de escolaridad

media que se encuentran casadas.

3.2. Instrumentos

Para este estudio se evaluó el MP por medio de la aplicación de una adaptación al

español de la escala Bartlet y Morrow de 5 niveles con 10 ítems. Esta escala mide el nivel

de satisfacción sobre el MP que fue aplicada a un grupo de estudiantes de educación

superior pues aporta indicadores sobre los beneficios y las debilidades del MP.

Los materiales que se utilizaron fueron los MP y la escala Bartlet y Morrow en

hojas de papel bond. El programa que se utilizó para realizar los cálculos estadísticos fue el

IBM SPSS statistics 20.

3.3. Procedimiento

Se impartió el MP durante 2 lecciones a los estudiantes del ICF.

Se le asignó una nota de 2 puntos netos de zona y se indicó que no habían

respuestas malas. Esta prueba se administró al final de la clase.

De los 2 MP que se aplicaron, solo con uno se dio una discusión de respuestas

durante la clase siguiente.

17

Page 18: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

Después de haber aplicado 2 MP a los estudiantes, se aplicó la escala Bartlett y

Morrow para evaluar el grado de satisfacción con el MP.

Se tabuló, calificó y se evaluó el instrumento.

Se llevó a cabo una descripción de los resultados obtenidos del instrumento

administrado.

Se discutieron los resultados.

Se realizaron las conclusiones y recomendaciones.

Se llevó a cabo el informe final.

3.4. Diseño

La investigación es de tipo descriptivo pues va del todo a las partes y se da una

descripción dentro de un contexto específico. No se verifican hipótesis, solo medir o

recoger información sobre los conceptos y variables medidas. El diseño es descriptivo ya

que lo que se pretendía era evaluar el nivel de satisfacción en la muestra seleccionada. Este

es un estudio descriptivo cuyos resultados se presentan a través de tablas y estadísticos

descriptivos.

3.5. Metodología estadística

Se utilizó una metodología estadística descriptiva para el análisis de los resultados y se

llevaron a cabo tabulaciones que calculan las distribuciones de frecuencia. Las variables

estudiadas de la escala Bartlet y Morrow fueron nominales y de razón para con ello

determinar el grado de satisfacción sobre el uso del MP como método de evaluación y

aprendizaje. Re realizaron correlaciones entre variables de razón y se realizaron análisis de

diferencia de medias entre los resultados de la investigación y los de Bartlett y Morrow. A

demás se compararon medias por grado de satisfacción y edad por grupos.

La media es el valor representativo de un conjunto de puntuaciones estudiadas desde

el principio del valor esperado. Es la cantidad total de la variable distribuida en partes

iguales. La mediana es el valor que divide las frecuencias en dos mitades iguales. Por

encima de la media y por debajo de la media se encuentra el mismo número de sujetos. La

18

Page 19: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

moda se describe como la puntuación que tiene la mayor frecuencia, es decir, el mayor

número de casos. Por correlación se entiende la relación que existe entre dos variables si

varían conjuntamente. El análisis de varianza se usa para verificar si hay

diferencias estadísticamente significativas entre medias cuando tenemos más de dos

muestras o grupos en el mismo planteamiento. (Morales Vallejo, 2007)

19

Page 20: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

4. Presentación y análisis de los resultados

A continuación se presentan los resultados de la Escala Bartlett y Morrow para

evaluar el Minute Paper, obtenidos de 51 estudiantes de la Licenciatura en Ciencias de la

Familia. A continuación se presentan los resultados obtenidos por ítem.

37%

35%

18%

8%

2%

Gráfica 5.1. El Minute Paper mejora mi comprención de

los temas difíciles

muy de acuerdode acuerdoa mediasen desacuerdomuy en desacuerdo

El 72% de las personas evaluadas dicen estar muy de acuerdo o de acuerdo con que el MP

les ayuda a mejorar la comprensión de los temas difíciles que se presentan en clase. De esta

muestra 9 perdonas manifiestan que les ayuda solo a medias, mientras que 4 personas

manifiestan estar en desacuerdo y una señala que no le beneficia.

4% 4%4%

43%

45%

Gráfica 6.2. El Minute Paper quita tiempo valioso de clase

muy de acuerdode acuerdoa mediasen desacuerdomuy en desacuerdo

20

Page 21: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

88% de las personas evaluadas señalan que el MP no quita tiempo de clase, solo 2 personas

manifiestan que si se pierde un tiempo valioso de clase.

55%27%

12%

2% 4%

Gráfica 7.3. Creo que el Minute paper se debería uti-

lizar también en otras asignaturasmuy de acuerdode acuerdoa mediasen desacuerdomuy en desacuerdo

El 82% coincide que el MP se debería usar en otras asignaturas, mientras que solo el 2% no

lo recomendaría.

18%

18%

20%18%

27%

Gráfica 8.4. Preferiría que las respuestas del Minute Paper se hicieran por correo electrónico

muy de acuerdode acuerdoa mediasen desacuerdomuy en desacuerdo

Cuando se planteó la posibilidad que el profesor respondiera a los puntos que habían

quedado más dudosos por correo electrónico, 45% está en desacuerdo con esta opción pero

36% considera que es una mejor opción a que las respuestas sean discutidas en la siguiente

clase.

21

Page 22: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

16%

14%

27%

20%

24%

Gráfica 9. 5. No obtengo mucho beneficio al ver las

respuestas de mis compañeros al Minute Paper

muy de acueredode acuerdoa mediasen desacuerdomuy en desacuerdo

Según manifiestan las personas evaluadas, 19% señala que no obtienen mucho beneficio

cuando se discuten en clase las respuestas que otros compañeros dieron al MP. Sin embargo

el 43% dice no estar de acuerdo, lo que indica que encuentran un beneficio al escuchar las

respuestas de sus compañeros.

14%

31%

27%

12%

16%

Gráfica 10.6. Si no usamos el Minute Paper yo creo que

haría preguntas en clase con la misma fre-cuencia

muy de acuerdode acuerdoa mediasen desacuerdomuy en desacuerdo

El ítem 6 buscaba explorar el grado de participación en clase a lo que el 45% manifiesta

que su participación sería similar a que si no tuviera el MP y el 28% que su participación

sería distinta sin MP.

22

Page 23: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

2%2%

10%

36%

50%

Gráfica 11.7. Deberíamos de dejar de hacer los Minute Paper en

el curso

muy de acuerdode acuerdoa mediasen desacuerdomuy en desacuerdo

Cuando se les preguntó acerca de eliminar el MP dentro de la dinámica del curso, 86%

manifestó que no se debería dejar de hacer y solo el 4% señala que no se debería seguir

haciendo MP.

76%

18%

2%2%2%

Gráfica 12. 8. Creo que los Minute Paper muestran el in-

terés del profesor en mi aprendizaje

muy de acuerdode acuerdoa mediasen desacuerdomuy en desacuerdo

Cuando se preguntó a los estudiantes sobre el interés que manifiesta el profesor en su

aprendizaje, el 94% dijo que esta actitud se evidenciaba con el uso del MP, solo una

persona manifestó estar muy en desacuerdo.

23

Page 24: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

55%39%

6%

Gráfica 13. 9. Yo creo que el uso del Minute Paper es

benficioso para esta clase

muy de acuerdode acuerdoa medias

La percepción que tienen los estudiantes en cuanto al beneficio que reciben con el MP, el

94% considera que si es beneficioso. Ningún alumno manifestó que el MP representara un

detrimento en su aprendizaje.

55%35%

6% 4%

Gráfica 14.10. Megusta tener el Minute Paper como ense-

ñanza

muy de acuerdode acuerdoa mediasen desacuerdo

El 90% de los estudiantes indicaron que les gusta tener el MP como parte de su aprendizaje

Solo el 4% señala estar en desacuerdo con esta afirmación y ninguna persona señala estar

muy en desacuerdo.

24

Page 25: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

Para tener una evaluación global del grado de satisfacción con el MP se tabularon las

respuestas de todos los ítems por cada estudiante de acuerdo a los siguientes criterios para

obtener la media de acuerdo con valores de la tabla 9.

Tabla. 5Valores de nivel de satisfacción

Nivel ValorMuy de acuerdo 5De acuerdo 4A medias 3En desacuerdo 2Muy en desacuerdo 1

1. Mejora comprención de temas difíciles

2.Quita tiempo valiosos de clase

3.Se debería usar en otras asignaturas

4. Preferiría las respuestas por e-mail

5. No mucho beneficio con las respuestas de otros

6. Sin MP haria preguntas con la misma frecuencia

7. Deberíamos dejar de hacer MP en el curso

8. Muestra interés del profesor en mi aprendisaje

9. Es beneficioso para esta clase

10. Me gusta como parte de la enseñanza en clase

1.00 1.50 2.00 2.50 3.00 3.50 4.00 4.50 5.00

3.98

1.78

4.27

2.80

2.78

2.84

1.70

4.65

4.49

4.41

Tabla 6.Evaluación global por ítem de la escala de satisfacción de MP

Bartlett y Morrow

Se puede destacar que la escala Bartlett y Morrow para evaluación del MP puede medir

percepción positiva, negativa y evaluar aspectos puntuales. En los ítems 1, 3, 9 y 10 que

evidencian la percepción positiva, la media es de 4.29 ubicándolo dentro del criterio “de

acuerdo”. En los ítems 2, 5 y 7 que destacan una valoración negativa la media que se

obtuvo fue de 2.8 situándolo en el criterio de “en desacuerdo” tendiendo al criterio de “a

medias”. Sobre los aspectos particulares que la escala evalúa se encontró que se percibe el

interés del profesor en la enseñanza de cada estudiante con una media de 4.64 ubicándolo

en el criterio de “de acuerdo” con tendencia a “muy de acuerdo”. Con respecto de que el

25

Page 26: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

profesor envíe las respuestas por correo electrónico la media se sitúa en un 2.8, lo que ubica

este punto en el criterio “en desacuerdo” tendiendo a “a medias”. El resultado global de

personas encuestadas indica, a demás, que harían la misma frecuencia de preguntas si no se

usara MP con una media de 2.8 posicionándose en la misma situación del criterio anterior.

Se realizó el análisis inferencial por diferencia de medias entre los grupos

organizados por rango de edad y el nivel de satisfacción y la correlación entre esas mismas

variables.

Tabla 7.Correlación entre edad y satisfacción

r N Signo Magnitud Significativo

Nivel

-.061 50

- Media No

Se realizo una correlación entre la edad y el nivel de satisfacción con el MP y se obtuvo una

correlación de -.61 con una significancia de .678 por lo que se concluye que la correlación

negativa media no es significativa. De allí que se puede concluir que no hay relación

significativa entre la edad y el nivel de satisfacción con respecto del MP.

Tabla 8.Correlación entre grado cursado y satisfacciónr N Sign

oMagnitud Significativo Nivel

.156

50 + Débil No

Al correlacionar las variables de grado y satisfacción, se pudo observar que no

existe una correlación estadísticamente significativa entre dichas variables.

Se realizó una diferencia de medias con Anova entre grado de satisfacción y edad

organizada por grupos según rango de edad se obtuvo una significancia de .884 lo que

indica que la diferencia entre grupos no es estadísticamente significativa.

26

Page 27: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

Tabla 9.Edad por grupos

Años Frecuencia PorcentajeVálidos 1. 20-30 7 13.7

2. 31-40 12 23.53. 41-50 16 31.44. 51- 60 11 21.6

5. 60 y mas 2 3.9Total 48 94.1

Perdidos

Sistema 3 5.9

Total 51 100.0

27

Page 28: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

5. Discusión

De acuerdo con los resultados de esta investigación que busca evaluar la percepción

de los estudiantes sobre el MP, el 72% de los sujetos dice que le ayuda a comprender los

temas difíciles de la clase. El 94% señala que muestra interés del profesor en su aprendizaje

y el 94% lo considera beneficioso. El 90% dice que le gusta como parte de su aprendizaje

en ese curso y el 88% lo recomienda para otras asignaturas.

El 19% de los sujetos señala que no obtienen mucho beneficio en la discusión en

clase de las respuestas de otros compañeros pero el 43%, al manifestar su desacuerdo,

indica el beneficio que obtienen de esta actividad. Solo el 4% señala que se bebería dejar de

hacer MP en ese curso.

Los resultados de Bartlett y Morrow señalan que las medias más altas superan el 4.5

en una escala de 1 a 5 y corresponden a los ítems 8, 9, 10 y 1, las medias más bajas no

llegan a 1.5, lo que destaca la valoración positiva que los estudiantes dan al MP. Estos

resultados, al compararse con las medias por ítem que arroja esta investigación, destacan

una tendencia similar en ambos estudios. La tabla a continuación muestra los resultados de

Bartlet y Morrow en la columna M1, y los de la presente investigación en la columna M2.

Tabla 10.Diferencia de Medias por ítem

Valores Medias5. muy de acuerdo

4. DeAcuerdo

3. AMedias

2. Endesacuerdo

1. Muy en desacuerdo M1 M2

1. El MP mejora mi comprensión de los temas difíciles 4.53

3.98

2. El MP quita tiempo valioso de clase 1.27

1.78

3. Creo que el MP se debería usar en otras asignaturas 4.28

4.27

4. Preferiría que las respuestas del MP se hicieran por e-mail 1.94

2.8

5. No obtengo mucho beneficio al ver las respuestas de mis compañeros 1.52

2.78

6. Sin el MP creo que haría preguntas en clase con la misma frecuencia 1.64

2.84

28

Page 29: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

7. Deberíamos dejar de hacer los MP 1.16

1.70

8. Creo que los MP muestran enteres del profesor por nuestro aprendizaje 4.72

4.65

9. Yo creo que los MP son muy beneficiosos para la clase 4.70

4.49

10. Me gusta tener el MP como parte de la enseñanza de esta clase 4.66

4.41

Media total 3.20

3.40

En ambos estudios la media más alta se encuentra en el ítem 8 que evalúa el interés

del profesor. La media del ítem 3, donde los estudiantes recomiendan el MP para otras

asignaturas, aproximadamente es la misma. Las medias de los ítems 8, 9, 10 superan el 4.4

(en Bartlett y Morrow, 4.5) y el ítem 1 que evalúa la mejor comprensión de los temas

difíciles arroja un 3.98. Cabe destacar que los estudiantes de farmacia utilizaron MP

durante un año en contraste con la muestra de este estudio donde se aplicaron MP en 3

sesiones y se dio retroalimentación solo una vez. Estos resultados sugieren que a mayor uso

de MP aumenta la percepción positiva y los beneficios del MP. Existe una correlación

positiva fuerte de .933 entre M1 y M2 significante a 0.01, lo que indica que ambos estudios

arrojan resultados similares, evidenciado en la similitud de la media de M1 de 3.20 y de M2

de 3.40.

Tabla 11.Correlación M1, M2

r N Signo Magnitud significativo Nivel.933 1

0+ Fuerte si 0.01

Se analizó la diferencia de las medias entre ambos grupos donde la t es de -.668 con una

significancia de .509 lo que sugiere que la diferencia entre ambos grupos no es

estadísticamente significativa.

Chizmar y Ostrosky (1998) concluyen en su estudio que todos los estudiantes se

beneficiaron con el MP, independientemente del instructor o de las habilidades personales

del estudiante. La evidencia de la presente investigación señala que los estudiantes perciben

29

Page 30: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

el MP como un medio que favorece su el aprendizaje en clase lo que se evidencia con una

media de 4.3 a las respuestas de valoración positiva 1, 3, 8, 9 y 10.

Los resultados obtenidos por medio de la prueba t entre edad y grado de satisfacción

muestra que no existe una correlación estadísticamente significativa. La diferencia de

medias entre los resultados de la escala de satisfacción y los grupos por rango de edad

tampoco demostró una diferencia estadísticamente significativa. Este análisis se puede

contrastar con los resultados de Chizmar y Ostrosky pues de la presente investigación se

infiere que el MP es beneficioso para los estudiantes independientemente de la edad

6. Conclusiones

72% de la muestra señala que el MP es una herramienta de aprendizaje que mejora

la comprensión de los estudiantes en los temas más difíciles presentados en clase.

El MP es recomendable para otras asignaturas como lo manifiesta el 82% de la

muestra.

El 43% señala que es un beneficio tener una discusión en clase sobre las respuestas

al MP. A mayor uso de MP en clase, aumenta el grado de satisfacción de los

estudiantes. Esto se evidencia la comparación entre los resultados al ítem 5 con una

media de 1.52 de la presente investigación y 2.78 de los resultados obtenidos por

Bartlett y Morrow (2001).

86% manifiesta que no se debería dejar de hacer MP, lo que indica la valoración

positiva que los estudiantes dan a esta herramienta de aprendizaje.

El 94% señala que aplicar el MP en clase, muestra el interés que tiene el profesor en

el aprendizaje de cada estudiante.

En cuanto a la aceptación del MP, 94% considera que es un beneficio para su

aprendizaje y el 90% destaca que le gusta tenerlo como parte de su enseñanza.

La correlación entre grado de satisfacción con el MP por edad y grado cursado no

indico ser estadísticamente significativa por lo que la valoración del MP no depende

de la edad del estudiante, ni por el grado cursado. De allí que se infiera que el MP

beneficia a la muestra estudiada independientemente de estos factores.

30

Page 31: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

De los resultados obtenidos se concluye que los estudiantes de educación superior

de Guatemala de esta muestra se beneficiaron, recomiendan y les gusta el MP como

herramienta de aprendizaje en clase.

Se puede concluir que los resultados de esta investigación son similares a los

resultados de las investigaciones realizadas en otros países por lo cual se considera

que las conclusiones y recomendaciones de otras investigaciones pueden aplicarse a

la población de estudiantes guatemaltecos a nivel universitario.

La evidencia demuestra que el MP puede ser favorable en el aprendizaje de los

estudiantes a nivel de licenciatura.

7. Recomendaciones

Se recomienda para futuras investigaciones que el MP se administre durante más

tiempo para que se puedan evaluar los resultados a largo plazo.

Que se exploren otras modalidades de MP como agregar una pregunta más dónde

los estudiantes puedan manifestar qué es lo que le pareció más interesante de la

lección.

Se recomienda que se investigue la eficacia del MP para mejorar el rendimiento

académico por medio de la evaluación de un curso donde no se administra MP y el

que recibe MP para comparar el desempeño general.

31

Page 32: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

8. Referencias Bibliográficas

Angelo, Thomas A. y Cross, K. Patricia. (1993). Classroom Assessment Techbniques. A Handbook for Teachers. San Francisco: Jossey-Bass Publishers.

Bartlett, M. G. (2001). Method for assessing Course Knowledge in a Large Classroom Enviroment: An improved Version of the Minute Paper. American Journal of Pharmaceutical Education, 65, 264-267.

Chizmar J. F., Ostrosky A.L. (1998). The One Minute Paper: Some Empirical Findings. The Journal of Economic Education, 29(1), 3-10.

Cuseo, J. (16 de febrero de 2010). Recuperado el 15 de abril de 2012

Lucas, G. M. (2010). Initiating Student-Teacher Contact Via Personalized Responses to One-Minute Papers. College Teaching, 39-42.

Morales Vallejo, P. (2007). Medidas descriptivas básicas de tendencia central y de disperción Madrid: Universidad Pontificia de Ciencias Humanas y Sociales.

Morales Vallejo, P. (2011). (U. R. Landivar, Editor) Recuperado el mayo de 2011, de www.upcomillas.es/personal/peter/otrosdocumentos/OneMinutePaper.pdf

Morales Vallejo, P. (2011). En l (Ed.), Escribir para aprender, tareas para hacer en casa. Landívar, Universidad Rafael Landívar.

Simpson-Beck, V. (2011). Assessing classroom Assesment Techniques. (Sage, Ed.) Active Learning in Higher Education, 126-133. Recuperado el 2012, de Assessing classroom Assesment Techniques: http://alh.sagepub.com/content/12/2/125

Stead, D. R. (2005). A Review of the One-Minute Paper. (E. A. Sage, Ed.) Active Learning in Higher Education, 6(2), 118-131.

Tollefson, S. (2001). Gone in Sixty Seconds: The One-Minute Paper as a Tool for evaluation. Writing across Berkley, 2(2).

32

Page 33: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

Anexos

Formato para One Minute Paper

Escala Bartlett y Morrow

33

Page 34: Karla Mollinedo, One minute paper en la educación superior, una revisión en estudiantes de Guatemala

34