Introducción a la evaluación de los

estudios de metodología metodología cualitativa

Vinita Mahtani ChuganiEspecialista en Medicina Familiar y Comunitaria.

Gerencia de atención primaria de Tenerife. SCS

vinitavivek@hotmail.com

Síntesis de estudios cualitativoscualitativos

Systematic review of qualitative studies: Our quest ions...

Can we combine qualitative studies? Do we have tools to synthesize qualitative studies?Do we have arguments to combine these studies?Who can achieve this task?Who can achieve this task?Are there challenges along the process?Should we or can we do perform quality evaluation

of the qualitative studies?What can we do about all this?

Objective

• 1. To identify studies about methods in order to combine qualitative studies

• 2. To identify studies that have combined qualitative studiesqualitative studies

• 3. To describe the most commonly used methods to combine qualitative studies

We found three little tigers...

We identified 3 main problems:

1. Retrieval and searching primary searching primary studies

2. Quality evaluation-Critical appraissal issues

3. Synthesis of results

First tiger: retrieval and searching of qualitative studies

• Exhaustive searches: high sensitivity but low specificity. Highly time and resource consuming. (Sandelowski y Barroso, 2003)

• Classic searches in limited databases (majority of the studies included)the studies included)

• Convenience sampling (Britten et al 2002 and a minority of studies included)

ORGANISMO, SERVICIO, TÍTULO O NOMBRE PROYECTO

Second tiger: quality evaluation

• There is no guidelines for quality evaluation. We s hould not exclude studies by quality evaluation issues.(for e xample, Emden y Sandelowski, 1999)

• Use of instruments to evaluate qualitative studies using adjusted criteria for this paradigm, genarally with open questions and flexible procedures (we identifies a wide variety questions and flexible procedures (we identifies a wide variety of these instruments)

• Use of instruments similar to the ones used in qual itative paradigm with dicotomic questions and numerical sta ndards (for example, Pearson 2004)

Third tiger: synthesis tools

• Specific methods to synthesize qualitative studies:– Metasynthesis– Metaetnography– Metastudy– Metainterpretation– Aggregative review

• Generic methods also used for quantitative studies:– Bayesian methods– Bayesian methods– Literature review– Integrative review, Coopers framework– Metaanalisis qualitative

• Primary Qualitative methods applied to secondary studies:– Grounded theory– Ritchie and Spencer framework– Feminist model

“ Any qualitative methasynthesis of findings thus constitutes an interpretation of at least 3 times removed from the lives represented in them: it is the synthesist’s represented in them: it is the synthesist’s interpretation of the researcher’s interpretation of research participant’s interpretation of their lives.”

....and the 3 little tigers are not so sad now...

Can we combine qualitative studies? MaybeDo we have tools to synthesize qualitative studies? There

is a wide variety of themDo we have arguments to combine these studies? It

seems we have interesting information availableWho can achieve this task? Bilingual researchers or Who can achieve this task? Bilingual researchers or

multidisciplinary teams which include experts in qualitative research

Are there challenges along the process? Yes, manyShould we or can we do perform quality evaluation of the

qualitative studies? There are no clear guidelines, you need to make a choice

What can we do about all this?

Investigación cualitativa

¿Qué implica el término de investigación cualitativa?

• La Investigación Cualitativa incluye la colección, análisis e interpretación de datos que no se pueden reducir fácilmente a números.

• En el contexto REAL

• Mediante un proceso inductivo

• Incluye datos en forma de texto obtenidos mediante una recogida sistemática, y organizada del diálogo y la observación.

Prescriber Recipient

Micro-context

Macro-context

Factores que influyen en cualquier fenómeno

Drug

Micro-context

Macro-context

Origen

• Se fundamenta en las humanidades y ciencias sociales que enfatizan en la importancia de comprender desde la perspectiva de las personas implicadas la forma de experimentar, interpretar o de dar sentido a los fenómenos sociales: Se trata o de dar sentido a los fenómenos sociales: Se trata de un paradigma diferente al que predomina en la investigación cuantitativa.

Cuantitativa v Cualitativa

DATOS

Numéricos y restringidos a la hipótesis y el

ANÁLISIS

“Determinado” e independiente del investigador.

HIPÓTESIS

A priori. No modificable.

MÉTODO

Fijado y controlado.

DIFERENCIAS ENTRE INVESTIGACION CUANTITATIVA E INVESTIGACION CUALITATIVA

hipótesis y el método

Variados, “observacionales”. Texto y contexto.Imprevistos

del investigador.

“Subjetivo”,Interpretativo.Dependiente de la experiencia y conocimientos del investigador.

No modificable.

A priori. Continuamente modificada

Múltiple(Triangulación)FlexibleAbierto

Pregunta de investigación ¿Qué quiero saber?

• Igual que todo proyecto de investigación• En qué consiste la pregunta• ¿Puede cambiar la pregunta? Sí• ¿Puede cambiar la pregunta? Sí• Funciones de la investigación cualitativa• Estudia hechos, opiniones, percepciones

e interpretaciones

Propuesta de pregunta de investigación

Componentes de la pregunta:1. Qué quiero entender del fenómeno: porqué,

cómo, qué...2. Cuál es el fenómeno: enfermedad, 2. Cuál es el fenómeno: enfermedad,

intervención, tratamiento...3. Desde qué perspectiva: paciente, médico,

familiares, cuidadores...4. En qué contexto: tiempo, espacio...

Técnicas de recogida de datos

• Observación (participante/no participante)• Entrevistas individuales• Entrevistas grupales (grupos focales)• Análisis de dibujos e imágenes• Análisis de dibujos e imágenes• Análisis de documentos (diarios, noticias,

medios de comunicación, etc)

Buscar al que mejor pueda articular la información que necesito

‘I want to know what you know, in the way that you know it. … Will you become my teacher and help

Muestra

‘I want to know what you know, in the way that you know it. … Will you become my teacher and help

me understand

(Spradley, 1979 p. 34)

• Describir y explicar

• Diferentes métodos que comparten el acercamiento a los datos de forma inductiva

• Programas informáticos (Atlas Ti, NUD*IST

Análisis

• Programas informáticos (Atlas Ti, NUD*IST y otros)

• Saturación de datos

Método ¿Cómo puedo saberlo?

• La pregunta guía el método• No es estricto. ¿Hay solo una manera de

hacer el estudio?• Grounded theory• Grounded theory• Etnografía• Fenomenología• Participatory action research• Hay más….

Muestra y reclutamiento ¿A quién debo preguntar?

• Grounded theory: muestreo teórico hasta saturación

• Etnografía: informantes claves, snowball hasta conseguir el puzzle completohasta conseguir el puzzle completo

• Fenomenología: informantes claves (pocos pero más profundos)

• Participatory action research (participantes involucrados en el problema)

Técnica de recogida de datos. Fuentes de información ¿Dónde está la respuesta?

• Grounded theory: entrevistas , notas de campo, observación, documentos, fotografías…”abre los ojos y los oídos”

• Etnografía: entrevistas,observación , notas • Etnografía: entrevistas,observación , notas de campo, documentos, fotografías….

• Fenomenología: entrevistas en profundidad (varias con el mismo informante)

• Participatory action research: grupos de discusión , entrevistas, documentos,….

Finalidad

• Grounded Theory: identifica el proceso de…• Etnografía: identifica cultura y creencias de…• Fenomenología: identifica la esencia de…• Paricipatory action research: identifica la acción

para resolver el…• Paricipatory action research: identifica la acción

para resolver el…

Criterios de Rigor

Lincoln y Guba

CRITERIOS DE CIENTIFICIDAD DEL PARADIGMA POSITIVISTA

CRITERIOS DE CIENTIFICIDAD DEL PARADIGMA NATURALISTA

PROCEDIMIENTOS QUE GARANTIZAN SU CUMPLIMIENTO

VALIDEZINTERNA

CREDIBILIDADValor de la verdad: isomorfismo entre los datos recogidos por el investigador y la realidad

- Observación persistente- Presencia prolongada en el campo- Triangulación- Comprobación con los participantes- Corroboración o coherencia estructural- Adecuación referencial (nuevas fuentes)- Juicio crítico de expertos

VALIDEZEXTERNA

TRANSFERIBILIDADAplicabilidad: grado en que pueden aplicarse los

- Muestreo teórico- Recogida de abundantes datos descriptivos- Descripciones copiosaspueden aplicarse los

descubrimientos o resultados de una investigación a otros sujetos y contextos

- Descripciones copiosas

FIABILIDAD DEPENDENCIAConsistencia: repetición de los resultados cuando es realizada la investigación con los mismos sujetos e igual contexto.

- Métodos solapados- Réplica paso a paso- Pistas de revisión

OBJETIVIDAD CONFIRMABILIDADNeutralidad: garantía de que los resultados no están sesgados

- Revisión de los resultados por otros investigadores- Triangulación- Juicio crítico de expertos

¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿Instrumentos de lectura crítica????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????

??????????

CASP (Cano et al)

• 10 preguntas para ayudarte a entender un estudio cualitativo– Rigor– Credibilidad– Credibilidad– Relevancia

Recomendaciones (Mahtani et al)

• Para llevar a cabo un proceso de síntesis o combinación de estudios cualitativos, habrá que afrontar, justificadamente, si consideramos que debemos evaluar o no la calidad de los estudios a incluir

• Si la decisión implica la realización de la evaluación de la calidad de los estudios, se deberán valorar las opciones o procedimientos disponibles y aceptados, para elegir justificadamente una de ellos.

• Es imprescindible incorporar expertos en investigación cualitativa en el equipo de investigación que realice una revisión sistemática de estudios equipo de investigación que realice una revisión sistemática de estudios cualitativos o al menos un equipo asesor experto, si se decide evaluar la calidad de los estudios cualitativos que se van a incluir en dicha revisión

• No se deberían excluir estudios sobre la base de la evaluación de su calidad a menos que no cumplieran con ninguno de los requisitos. Esto implica un compromiso con mantener la flexibilidad en el proceso de evaluación de la calidad de los estudios, ya que es posible encontrar estudios relevantes con algún déficit en el “conjunto de criterios” elegidos para evaluar la calidad del estudio primario. Sin embargo, mantener la flexibilidad en el proceso de evaluación no es igual a “todo vale”

What can we do about this?

Work together with other disciplines as sociologis, anthropologist, etc and understand that we can not do systematic review s of qualitative studies in the same way as we do the quantitative s tudies, as we can´t apply the same criteria.

Meta- Analysis

Systematic Review

Randomized Controlled Trial

Cohort studies

Case Control studies

Case Series/Case Reports

De la pirámide al mandala…

Case Series/Case Reports

Animal research/Laboratory studies

Muchas Gracias

Thank you