como avaliar criticamente um artigo científico ? janaina gonçalves md consult &mservices

Como avaliar criticamente um artigo científico ?

Janaina GonçalvesMD consult &Mservices

Maçãs e laranjas são iguais ?

BMJ 2000;321:1569-1570

Table 1 Non-parametric background fructological information

Apples Oranges

Grown in orchards Yes Yes

Flowering tress Yes Yes

Considered a fruit Yes Yes

May be eaten Yes Yes

May be made into juice Yes Yes

Subject to damage by disease Yes Yes

Subject to damage by insect Yes Yes

Involvement of Jognny Appleseed* Yes No

*P<0.01.

BMJ 2000;321:1569-1570

BMJ 2000;321:1569-1570

Table 2 Subjective and objective comparison of apples and oranges

Apples Oranges P value

Colour Red Orange 0.03

Sweetness 2 + 2 + NS

Shape Sphere Sphere NS

Mean (SD) circumference (cm) 25.6 (2.3) 24.4 (2.6) NS

Mean (SD) diameter (cm) 7.9 (0.6) 7.6 (0.7) NS

Weight (gm) 340 (87) 357 (760) NS

Seeds Yes No 0.03

Maçãs e laranjas são iguais ?

Identifique o problema do estudo:

a.Qual a hipótese do estudo?

b.Qual a variável exposição: fator de risco? Causa? Tratamento? Intervenção?

c.Qual a variável resposta: doença? morte?

Descreva o desenho do estudo:

a.Qual tipo de estudo foi realizado?

b.O tipo do estudo é adequado para responder à questão do estudo?

Roteiro geral de avaliação crítica da literatura

Amostrasa. Como foi selecionada a amostra?

b. Quais foram os critérios de inclusão e exclusão?

c. Os pacientes não acompanhados são citados? (perdas)

d. O autor discute o tamanho da amostra?


Foram calculadas medidas de associação?

a. Odds Ratio (OR), risco relativo? Risco atribuído? Número necessário para se tratar?

b. Foi calculado o intervalo de confiança das medidas? Como é?

c. Foi realizado o controle das variáveis de confusão? Quais foram os resultados?


Inferência:

– Quais os resultados?– Quais são as conclusões dos autores? São

coerentes com o resultado?– A discussão é convincente sobre as conclusões?– Podem os resultados ser generalizados para grupos

diferentes dos estudados?– O estudo muda sua prática?


Lembrar que para tipo de questão clínica existe um tipo de estudo mais apropriado para obter a melhor resposta e portanto devemos avaliar criticamente sua qualidade metodológica!!


Decisão Clínica baseada em evidências

Evidência Científica

Desfechos Relevantes

Decisãoclínica

Revisões sistemáticas

Estudosrandomizados

Morbi-mortalidade

Preferênciado

Paciente

Prática Clínica

AnáliseEconômica

ConhecimentoClínico

Hierarquia das pesquisas clínicas

Pesquisas In vitro

Pesquisas com animais

Séries de casosRelatos de casosR

evis

ões

Sis

tem

átic

as

http://cebm.jr2.ox.ac.uk/docs/levels.html

Ensaios clínicos randomizados,controlados, duplo cego

Estudos coorte

Estudos decasos e controles

Clinical trial: origens do nome

Trial anglo-french trier (= to try) – “tentativa”

Clinical french clinique (=care of the sick)

(= “cuidar da doença”)

Ensaio Clínico randomizado

R

EXPERIMENTALFármaco

IntervençãoEstratégia

CONTROLEPlacebo

Tto Padrão

P

t

t

Desfecho(%)

Desfecho(%)

Desenho do estudo: simples, sem “cruzamento” (non-crossover)

População estudada

Terapia B

TerapiaA

Randomização

Desfecho Desfecho

Desenho do estudo: com “cruzamento” entre os grupos de tratamento (crossover)

População estudada

Randomização

Grupo I Grupo II

1 2

Droga A

Droga B

2

2

Desenho do estudo: fatorial

Tratamento B

SIM

NÃO

Tratamento A

Tratamentos A e B

Tratamento B

Tratamento ASem

Tratamento

SIM NÃO

Estudos Epidemiológicos

Transversal

A avaliação é realizada em um único momento

Foto

Longitudinal

A avaliação é realizada pelo menos em dois momentos diferentes

Filme

Doença-desfecho

Prospectivo

Causa -exposição

Retrospectivo

Tranversal

Estudo de Caso-Controle

Pessoas com uma determinada doença são comparadas com outras pessoas sem esta doença, em relação a determinadas exposições:

Insuficiência Cardíaca x Sem Insuficiência

HAS

? Exposição? Exposição

Estudo de Caso-Controle

? Exposição? Exposição

DoençaDoença

Sem doençaSem doença

Pacientes com uma determinada exposição, são seguidos durante um período e, comparados com outros pacientes sem esta exposição, para se verificar se desenvolvem um determinado desfecho:

Pacientes com HAS e sem HAS

Quantos desenvolvem ICC ?

Estudo de Coorte

ExposiçãoExposição

Estudo de Coorte

Sem ExposiçãoSem Exposição

?Doença?Doença

?Doença?Doença

Estudos Epidemiológicos

Observacionais Experimentais

Descritivos Analíticos

Grupos de comparaçãoLongitudinalTransversal

Estudos observacionais

LongitudinaisGrupo de

Comparação

Avaliação emdois momentos

ProspectivoRetrospectivo

Caso-controle Coorte

O que é importante identificar na metodologia ?

Arrolamento

Alocação dos grupos

Seguimento

Análise

Flow diagram of the progress through the phases o f a randomised trial

Qualidade metodológica

Viés de Seleção

Método de randomização e sigilo da lista de alocação

Viés de Aferição

Cegamento

Qualidade metodológica

Viés de Seguimento

Perdas excessivas e análise por intenção-de-tratar

Viés de Performance (“Confusão”)

Grupos tratados de forma desigual

Viés de seleção: Associação entre ingestão de café e Ca de pâncreas.

Ingestão de Café

Ca de pâncreasEm uma certa população

Controles usados da mesma população, mas que por outros motivos não poderiam ingerir café

Ex.: Fumo como variável de “confusão” com relação à associação entre consumo de café e câncer de pulmão.

Café

Fumo(variável de confusão)

Câncer de pulmão

Assoc

iado

a

causa

Associação

não causal

Limitação: não permite o cálculo de taxas de incidência, pois é selecionado um número pré-determinado de casos e controles, após o que tenta identificar a proporção com a exposição passada ao fator de risco sob suspeita em cada grupo.

O risco relativo é calculado através de ODDS RATIO (OR), que é uma estimativa representativa do risco relativo quando a enfermidade não é muito comum.

Método de análise de dados retrospectivos

Método de análise de dados retrospectivos

OR = a x d a = casos expostos no passado ao fator de risco

b x c b = controles expostos no passado ao fator de risco

c = casos não expostos no passado ao fator de risco

d = controles não expostos no passado ao fator de risco

Interpretação prospectiva, pois é uma estimativa do risco relativo.

Arrolamento

Alocação dos grupos

Seguimento

Análise

Flow diagram of the progress through the phases o f a randomised trial

Dados prospectivos: ensaios clínicos, estudos prognósticos

Incidência

Risco relativo

Efetividade da intervenção

Análise de sobrevida

Método de análise de dados prospectivos

Cálculo das taxas de incidência do desfecho “negativo”(morte ou recidiva). Taxas de letalidade (desfecho= morte)

1a. Incidência (categoria 1) = a x 100 a + b

1b. Incidência (categoria 2) = c x 100 c + d

Incidência e risco relativo


Risco Relativo (RR): razão das taxas de incidência em estudos prospectivos. a x 100 a + b RR = c x 100 c + d

Exemplo uso RR:

Estudo prognóstico pacientes com IAM, letalidade fim de 1 mês de 10% p/ pacientes com determinado tipo de arritmia e 5% p/ pacientes sem arritmia. RR= 2,0 (10% : 5%) ; isto é, letalidade 2x > pacientes com arritmia.


Interpretação do RR Taxas de incidência (letalidade ou incidência de morte) são iguais em ambas as categorias de uma certa variável (arritmia presente x arritmia ausente), o RR = 1,0; taxa > numerador do RR, seu valor > 1,0 e taxa < numerador do RR, seu valor < 1,0.

Ex: incidência IAM população total homens > mulheres, letalidade é o oposto: 4% homens e 8% mulheres hospitalizadas; o RR usando homens no numerador = 0,5 (letalidade é metade das mulheres). Se no numerador % de mulheres, RR = 2,0 ( mulheres têm risco de morte após IAM 2x > homens


Eficácia e efetividade

São utilizadas quando se avalia um determinado medicamento ou intervenção

Eficácia: É a redução percentual da taxa do desfecho “negativo” resultante da intervenção ou medicamento, no contexto de um ensaio clínico em condições ideais (ex: todas as pessoas são alocadas aleatoriamente são seguidas até a ocorrência do desfecho ou o fim do estudo,o mascaramento funciona perfeitamente bem.

Eficácia e efetividade

Efetividade: É função não só da eficácia, mas também das condições reais em que se realiza a intervenção. Ex: Eficácia de 100% porém se a metade dos participantes se recusa a tomar a medicação experimental, a efetividade será de apenas 50%

Eficácia = a _ c TL placebo – TL experimental = a + b c + d x 100 TL placebo

[a / a + b ] = taxa de letalidade (TL) no grupo placebo[ c / c + d ] = taxa no grupo alocado ao medicamento

Grupo placebo TL 30%

Grupo experimental TL 15%

Eficácia = 30% - 15% x 100 = 50% 30%

a

a + b

A análise de sobrevida através do método de Kaplan-Meier (KM) é a estratégia analítica ideal para se examinar o comportamento temporal do desfecho e ao mesmo tempo levar em consideração as (ou ajustar por) diferenças de tempo de seguimento entre os grupos.

Análise de Sobrevida

O método de KM permite estimar as probabilidades do evento “positivo”, por ex, sobrevida ou sobrevida sem recidiva

3 etapas:

a) cálculo das probabilidades instantâneas do evento b) cálculo das probabilidades de sobrevida além do momento em que cada evento ocorre c) cálculo das probabilidades cumulativas de sobrevida

Análise de Sobrevida

a) Cálculo das Probabilidades Instantâneas de Morte

Ou de outro evento como ex: recidiva

Relativas ao momento exato em que cada evento ocorre “q”;

Obtêm-se estas probabilidades instantâneas através da divisão do nº de eventos que ocorrem em um determinado momento, pelo total da população sob risco do evento no mesmo momento;

O nº de mortes em um momento exato é geralmente 1, já que é pouco provável que + de um evento (morte ou recidiva) ocorra exata/ ao mês mo tempo;

Pode-se calcular a probabilidade instantânea de cada morte dividindo se cada morte pelo nº de indivíduos que caem na linha vertical que a ela corresponde, incluindo a pessoa com o evento;

Método KM: quando ocorre o evento em uma pessoa ou quando a pessoa é “perdida”, ela não fará parte do cálculo das probabilidade instantâneas dos eventos subseqüentes.

b) Cálculo das probabilidades de sobrevida além do momento em que cada evento ocorre

Estas probabilidades são os complementos das probabilidades instantâneas do evento (1,0 – q), já que, por ex, se a probabilidade de morte em um determinado momento for igual a 30% (ou 0,3), a probabilidade de sobrevida além deste momento tem de ser igual a 70% (ou 1,0 – 0,3)

c) Cálculo das probabilidades cumulativas de sobrevida a partir do início do seguimento

Obtidas através da multiplicação das probabilidades de sobrevida além dos momentos em que os eventos ocorrem

Estas probabilidades representam a curva de sobrevida.

A probabilidade cumulativa diminui a cada momento em que ocorre um evento, o que dá a curva de sobrevida de KM o seu aspecto característico de “degraus”

Conclusão dos revisores: “na média, os

estudos não-randomizados tendem a ter

resultados com estimativas mais amplas de

efeito do que os estudos randomizados que

tenham adequada alocação.”

Estudos Randomizados vs Não Randomizados

Como foi gerada a lista de randomização ?

Após ser gerada, a lista foi mantida em sigilo(allocation list concealment) ?

Randomização

A única diferença entre os grupos deve ser o tratamento experimental. Logo, qualquer diferença de desfecho detectada pode ser atribuída ao tratamento experimental

Os grupos ficam balanceados para características conhecidas e desconhecidas.

Por que randomizar ?

Todo o paciente tem a mesma chance de receber o tratamento experimental ou o tratamento controle

A teoria estatística é toda baseada no princípio da aleatoriedade.

Por que randomizar ?

ADEQUADA

Computador

Tabela Números Aleatórios

Sorteio de envelopes

Cara ou Coroa

INADEQUADA

Número do Prontuário

Data de Nascimento

Data de Admissão

Alternância

Geração da sequência de alocação

VALOR REAL ?

RR = 0.60 IC 95% (0.22 ate 0.91)

POPULAÇÂO

AMOSTRA

Intervalos de confiança

POPULAÇÂO

Intervalos de confiança

ESTUDO 1RR = 0.60 IC 95% (O.22 ate 0.91)

ESTUDO 2RR = 0.60 IC 95% (0.48 a 0.72)

Teste de hipóteses, que resulta num valor P

Estimando o IC 95% (medida da precisão do efeito estimado pelo estudo)

Representação gráfica do IC

Representação gráfica do IC

www.acponline.org/journals/ecp/primers.htm

If the 95% CI includes no difference between groups, then the P value Is > 0.05.

If the 95% CI does not include no difference between groups, then the P value is < 0.05

No difference between the groups

3 Ensaios Clínicos Hipotéticos:

NNT = 20 IC 95% (10 a 38)

NNT = 20 IC 95% (10 a 380)

NNT = 20 IC 95% (10 a 3800)

Por que o Intervalo de Confiança é Fundamental?

Permite avaliar se os resultados do estudo são definitivos ou não (Guyatt - CMAJ 1995)

IC 95% (Menor Efeito até Maior Efeito)

Intervalo de Confiança

Estudo “Negativo”Não deve ser relevante clinicamente

Estudo “Positivo”Deve ser relevante clinicamente

TL do grupo placebo corresponde ao numerador

TL do gr experimental corresponde ao denominador

Eficácia = RR – 1,0 x 100 RR

Ex: TL do gr placebo / gr exper = 30% / 15% = 2,0

Eficácia = 2,0 – 1,0 x 100 = 50% 2,0

Calcular a eficácia através do RR:

Identificar fatores de risco;

Compara-se indivíduos com a enfermidade (casos) x indivíduos sem a enfermidade (controle), no que diz respeito à exposição passada a um fator que se suspeita ser um fator de risco.

Avaliação de fatores etiológicos: estudo de casos e controles (estudo retrospectivo).

Avaliação de fatores etiológicos: estudo de casos e controles (estudo retrospectivo).

Estudo caso x controle

Casos com a enfermidade que se desejar estudar

Controle sem a enfermidade que se deseja estudar

Identificação de exposição passada ao

fator de risco sob suspeira

Identificação de exposição passada ao

fator de risco sob suspeita

O fenômeno de suscetibilidade ao fator de risco: interação (modificação de efeito)

– o fenômeno de interação ocorre quando o efeito da exposição a um fator de risco ou fator prognostico, ou a efetividade de uma intervenção terapêutica, diferem de acordo com a presença ou ausência de um “terceiro” fator – que pode ser genético ou ambiental e é designado de “modificador de efeito” ou “fator de suscetibilidade”.

Papel do tabagismo na etiologia do câncer de esôfago com o consumo ou não de álcool:

Consumo de álcool Fumo Casos Controles Odds Ratio>= 252 g/ semana Presente 147 127 147 x 89 = 6,1

Ausente 17 89 127 x 17

Ausente Presente 4 57 4 x 50 = 1,7Ausente 2 50 57 x 2

Modificador de efeito: O fenômeno de interação é parte integral do contexto etiológico e pode ser útil na identificação de grupo especialmente suscetíveis a um fator de risco ou a uma intervenção terapêutica.

Avaliação da aleatoriedade: é uma associação

constatada estatisticamente, que é estimada

através do intervalo de confiança (95%) ou da

significância estatística (erro alfa ou “p”).

O valor de “p” (erro alfa) indica a

probabilidade de que a associação ou

efetividade observada no estudo representa

meramente uma variação aleatória de um valor

nulo.A maioria dos pesquisadores considera

5% como o ponto de corte, abaixo deste valor

a probabilidade é considerada nula.

O intervalo de confiança de 95% indica a faixa de

valores verossímeis com uma “confiança” de 95%.

Tanto o intervalo de confiança quanto o valor de “p”

dependem de vários fatores, sendo os mais

importantes o tamanho da amostra e e magnitude do

efeito (quanto maior o ensaio, menor o valor de “p” e

mais estreito é o intervalo de confiança.

O valor de “p” e o intervalo de confiança não verificam

qualidade do estudo.

Um estudo sem viés é chamado de válido e um estudo

com um estreito intervalo de confiança é designado de

preciso. O ideal é realizar um estudo válido e preciso.

Cada valor incluído no intervalo de confiança de

95% não tem a mesma probabilidade de representar

o valor verdadeiro. A melhor maneira estimativa do

efeito é a estimativa pontual, a probabilidade de o

valor ser o verdadeiro, diminui `a medida que os

valores se afastam da estimativa pontual.


Identifique o problema do estudo:

a. Qual a hipótese do estudo?

b. Qual a variável exposição: fator de risco? Causa? Tratamento? Intervenção?

c. Qual a variável resposta:doença? Morte?


Descreva o desenho do estudo:

a. Qual tipo de estudo foi realizado?

b. O tipo do estudo é adequado para responder à questão do estudo?


Amostra:

a. Como foi selecionada a amostra?

b. Quais foram os critérios de inclusão e exclusão?

c. Os pacientes não acompanhados são citados? (perdas)

d. O autor discute o tamanho da amostra?

Foram calculadas medidas de associação?

a. OR, risco relativo? Risco atribuído? Número necessário para se tratar?

b. Foi calculado o intervalo de confiança das medidas?Como é?

c. Foi realizado o controle das variáveis de confusão?Quais foram os resultados?

Roteiro geral de avaliação crítica da literatura – cont.

Inferência:

a. Quais os resultados?

b. Quais são as conclusões dos autores?São coerentes com o resultado?

c. A discussão é convincente sobre as conclusões?

d. Podem os resultados ser generalizados para grupos diferentes dos estudados?

e. O estudo muda sua prática?


• Incluir slides (3) de exemplo de leitura crítica de artigos somente no dia da apresentação.


Obrigada!

Este conteúdo está protegido sob lei de direitos autorais não podendo ser reproduzida total ou parcialmente sem prévia autorização e consentimento dos autor.

Janaína GonçalvesMD consult & MServices

como avaliar criticamente um artigo científico ? janaina gonçalves md consult &mservices

Documents