1  

2  

Diagnos+c  error  in  medicine  is  a  major  cause  of  pa+ent  harm,  with  the  rate  of  missed,  incorrect,  or  delayed  diagnoses  es+mated  to  be  as  high  as  10%–15%  in  the  ‘undifferen+ated  special+es’.  Autopsy  studies  have  iden+fied  major  diagnos+c  discrepancies  in  up  to  20%  of  cases,  sugges+ng  that  the  working  or  final  clinical  diagnosis  may  be  wrong  in  as  many  as  one  in  five  pa+ents  overall.  

85%  of  diagnos+c  errors  are  considered  preventable.  Serious  disability  results  in  up  to  50%  of  cases  of  diagnos+c  error.  

For  every  diagnos+c  error  there  are  a  number  of  root  causes,  but  errors  in  reasoning  accounted  for  2/3  of  these  in  one  study.  Either  available  data  was  not  adequately  gathered,  or  available  but  not  synthesised  correctly.  

Altho  diagnos+c  error  is  lower  in  radiology,  es+mated  to  be  around  4%,  because  medical  imaging  cons+tutes  such  a  large  component  of  modern  clinical  diagnosis,  the  problem  of  diagnos+c  error  is  in  part  aPributable  to  errors  in  radiology.  But  error,  as  we  will  see,  is  a  complicated  maPer.  

 

3  

In  medicine  overall,  studies  of  diagnos+c  error  assign  three  main  categories:  no  fault  errors,  system  failures,  and  human  cogni+ve  error.  But  if  we  look  more  closely  at  “human  cogni+ve  error”  studies  tend  to  find  three  things:  

Knowledge  gaps  –  eg  Rigler’s  sign  Misinterpreta+on  of  diagnos+c  tests  –  esp  in  neurological  emergencies,  when  clinical  exam  can  be  more  sens/spec  than  even  MRI  in  first  24  hrs  

Cog  biases  –  like  the  “framing  effect”  (how  something  is  handed  over  to  you)  and  “search  sa+sficing”  –  more  of  that  later.  

4  

5

In  teaching  clinical  reasoning  to  medical  students  we  explain  the  different  elements  that  make  it  up  –  what  topics  are  in  a  clinical  reasoning  syllabus.  One  of  the  things  we  focus  on  a  lot  is  that  tests  give  test  probabili+es,  not  real  probabili+es.  The  pre-­‐test  (clinical)  probability  is  vital,  and  that  depends  on  good  clinical  skills  (history  and  physical  exam).  Tests  –  whether  blood  results  or  radiological  inves+ga+ons  –  have  to  be  interpreted  in  the  light  of  the  clinical  probability  and  that  is  something  that  is  not  necessarily  explicitly  taught  in  medical  schools,  certainly  not  prac+ced  very  well.  

[read  slide]  This  is  important  because  as  doctors  we  need  to  know  how  our  thinking  can  be  flawed  so  we  can  learn  to  be  bePer  thinkers  and  decision  makers.  Remember  that  most  of  the  root  causes  of  diagnos+c  error  are  because  of  errors  in  reasoning,  most  commonly  because  the  available  data  is  not  synthesised  correctly.  

6  

Example  of  TYPE  1  thinking  Which  is  the  cat  and  which  is  the  dog?  It’s  obvious!  That’s  because  you  have  seen  lots  of  different  types  of  cats  and  lots  of  different  types  of  dogs  before  -­‐  you  immediately  (intui+vely)  recognised  the  difference.  And  this  is  exactly  what  experienced  GPs  and  consultants  do  in  medicine.  We  dis+nguish  diseases  using  paPern  recogni+on,  accessing  a  vast  databank  of  experiences.  Meanwhile  the  medical  students  are  s+ll  pondering:  well  they  both  have  fur,  they  both  have  pointy  ears,  they  both  have  wet  noses,  they  both  have  four  legs.  Hang  on,  that  one  just  meowed  therefore  it  must  be  the  cat.  Medical  students  give  lots  of  weight  to  single  bits  of  informa+on  (see  the  trees)  –  experts  see  the  wood  from  the  trees  (see  paPerns).    

7  

Let’s  start  with  an  experiment.  Take  a  QUICK  look  at  this  problem  and  tell  the  person  next  to  you  the  answer.  Don’t  think  about  it  for  too  long.    Now,  intui+vely  a  number  came  to  your  mind  –  10p.  Most  people  come  up  with  this  answer.  It  is  intui+ve  –  and  wrong.  What’s  going  on  here?    

8  

Psychologists  es+mate  that  we  spend  95%  of  our  daily  lives  engaged  in  Type  1  thinking  –  the  intui+ve,  fast,  subconscious  mode  of  decision-­‐making.  Imagine  driving  a  car,  for  example  –  it  would  be  impossible  to  func+on  efficiently  if  every  decision  and  movement  was  as  deliberate,  conscious,  slow  and  efforrul  as  in  our  first  driving  lesson.  With  experience,  complex  procedures  become  automa+c,  fast  and  effortless.  The  same  applies  to  medical  prac+ce.  There  is  evidence  that  expert  decision-­‐making  is  well  served  by  intui+ve  thinking.  The  problem  is  that  although  intui+ve  processing  is  highly  efficient  in  many  circumstances,  in  others  it  is  prone  to  error.      

9  

And  we  use  all  of  these  in  genera+ng  a  differen+al  diagnosis  and  modifying  our  hypotheses  …    1)  Deduc+on  moves  from  general  rules  to  specific  case:  if  the  premise  is  true  the  conclusion  

must  also  be  true  –  e.g.  troponin  goes  up  in  heart  aPacks,  therefore  my  pa+ent  with  a  heart  aPack  will  have  a  raised  troponin.  

2)  Hypothe+co-­‐deduc+ve  is  when  we  generate  different  hypotheses  and  arguments  to  test  them.  E.g.  in  disease  A  finding  B  is  present.  Finding  B  is  absent,  therefore  Disease  A  is  not  the  diagnosis.  

3)  However,  in  medicine  we  usually  start  with  a  specific  case  to  reach  a  general  conclusion  (the  opposite  of  deduc+on).  This  is  called  induc+on.  We  gather  evidence  in  order  to  reach  a  conclusion.  But  the  conclusions  we  reach  are  only  probable,  not  certain.  E.g.  my  pa+ent  has  a  raised  troponin,  therefore  he  is  having  a  heart  aPack  –  not  necessarily  true  (there  are  other  causes  of  a  raised  troponin).  People  confuse  deduc+on  and  induc+on.  

4)  Abduc+on  is  what  doctors  use  most  –  working  backwards  from  effects  (symptoms/signs)  to  the  most  likely  cause.  What  is  the  most  likely  diagnosis?  

5)  But  then  we  also  employ  some  other  strategies:  probabilis+c  (what  we  did  last  +me)  –  thinking  in  terms  of  ‘likely’,  ‘unsure’  or  ‘unlikely’  

6)  We  also  use  our  knowledge  of  basic  and  clinical  sciences  to  work  things  out  in  causal  reasoning  …  e.g.  in  hyperthyroidism  we  would  expect  a  low  TSH  and  a  high  T4.    

In  genera+ng  a  differen+al  diagnosis  we  use  all  of  these  types  of  reasoning,  as  well  as  ‘rules  of  thumb’  and  paPern  recogni+on  (type  2  thinking).  It’s  a  complicated  blend  of  processes.  

10  

 Clinicians  use  both  Type  1  and  Type  2  thinking,  and  both  types  are  important  in  clinical  decision-­‐making.  When  encountering  a  problem  that  is  familiar,  clinicians  employ  paPern  recogni+on  and  reach  a  working  diagnosis  or  differen+al  diagnosis  quickly  (Type  1  thinking).  When  encountering  a  problem  that  is  more  complicated,  they  use  a  slower,  systema+c  approach  (Type  2  thinking).  Both  types  of  thinking  interplay  –  they  are  not  mutually  exclusive  in  the  diagnos+c  process.  Figure  1.6  illustrates  the  interplay  between  Type  1  and  Type  2  thinking  in  clinical  prac+ce.  

   Errors  can  occur  in  both  Type  1  and  Type  2  thinking  –  for  example  people  can  apply  the  wrong  rules  or  make  errors  in  their  applica+on  while  using  Type  2  thinking.  However,  it  has  been  argued  that  the  common  cogni+ve  biases  encountered  in  medicine  tend  to  occur  when  engaged  in  Type  1  thinking.    

   For  example,  imagine  being  asked  to  see  a  young  woman  who  is  drowsy.  She  is  handed  over  to  you  as  a  ‘probable  overdose’  because  she  has  a  history  of  depression  and  a  packet  of  painkillers  was  found  beside  her  at  home.  Her  observa+ons  show  she  has  a  Glasgow  Coma  Score  of  10/15,  heart  rate  100  beats  per  minute,  blood  pressure  100/60  mmHg,  respiratory  rate  14  per  minute,  oxygen  satura+ons  98%  on  air  and  temperature  37.5oC.  Already  your  mind  has  reached  a  working  diagnosis.  It  fits  a  paPern  (Type  1  thinking).  You  think  she  has  taken  an  overdose.  At  this  point  you  can  stop  to  think  about  your  thinking  (ra+onal  override  in  Fig.  1.6).  ‘What  is  the  evidence  for  this  diagnosis?  What  else  could  it  be?’    

   On  the  other  hand,  imagine  being  asked  to  assess  a  pa+ent  who  has  been  admiPed  with  syncope.  There  are  several  different  causes  of  syncope  and  a  systema+c  approach  is  required  to  get  to  a  diagnosis  (Type  2  thinking).  However,  you  recently  heard  about  a  case  of  syncope  due  to  a  leaking  abdominal  aor+c  aneurysm.  At  the  end  of  your  assessment,  following  evidence-­‐based  guidelines,  it  is  clear  the  pa+ent  can  be  discharged.  Despite  this,  you  decide  to  observe  the  pa+ent  overnight  ‘just  in  case’  (irra+onal  override  in  Fig.  1.6).  In  this  example,  your  intui+on  is  actually  availability  bias  (when  things  are  at  the  forefront  of  your  mind)  which  has  significantly  distorted  your  es+mate  of  probability.    

11  

[read  slide]  Even  highly  skilled  clinicians  make  errors  because  they  are  human.  It  is  not  a  maPer  of  intelligence  or  memory  –  the  human  brain  is  wired  to  miss  things  that  are  obvious,  see  paPerns  that  do  not  exist,  and  jump  to  conclusions.  In  evolu+onary  terms,  speed  of  decision  making  was  oten  more  important  than  accuracy.  Clinicians  are  not  exempt  from  these  human  characteris+cs.  In  his  book  Human  Error  (Cambridge  University  Press,  1990),  psychologist  James  Reason  argues  that,  ‘Our  propensity  for  certain  types  of  error  is  the  price  we  pay  for  the  brain’s  remarkable  ability  to  think  and  act  intui+vely  –  to  sit  quickly  through  the  sensory  informa+on  that  constantly  bombards  us  without  was+ng  +me  trying  to  work  through  every  situa+on  anew.’    Even  highly  intelligent  people  fall  in  to  the  same  cogni+ve  traps  or  ‘cogni+ve  biases’.  Human  thinking  and  decision  making  is  in  itself  flawed.    

12  

This  is  an  image  from  a  CT  scan  of  the  thorax.  Drew  and  colleagues  from  Harvard  asked  23  consultant  radiologists  to  look  at  CT  scans  of  the  thorax  specifically  to  look  for  lung  nodules.  Unknown  to  the  radiologists,  the  researchers  inserted  a  matchbox-­‐sized  image  of  a  gorilla  in  some  of  the  scans.  They  found  that  83%  of  the  radiologists  missed  the  gorilla,  which  was  45  +mes  larger  than  the  average  lung  nodule,  even  though  they  spent  an  average  of  5.7  seconds  looking  at  the  gorilla-­‐containing  images  and  their  eyes  fixed  briefly  on  the  exact  loca+on  of  the  gorilla.    This  experiment  highlights  that  we  are  only  aware  of  a  small  part  of  our  visual  world  at  any  one  +me.  We  focus  our  aPen+on  to  filter  out  distrac+ons,  but  in  focusing  on  what  we  are  trying  to  see,  we  tend  not  to  no+ce  the  unexpected.    

13  

14  

Let’s  try  an  experiment.  If  you  have  done  this  before,  please  keep  quiet!  Look  at  this  sentence  for  a  few  moments  -­‐  how  many  ‘Fs’  are  there?  

15  

How  many  people  saw  2  Fs?  3?  4?  5?  6?  (Usually  there  is  a  spread  of  answers  across  the  group)  

16  

Here  it  is  again.  

17  

There  are  6  Fs  –  here  they  are  highlighted.  Now  what  is  interes+ng  about  this  experiment  is  that  everyone  in  the  room  is  smart.  Everyone  can  read  English.  And  we  were  all  looking  at  the  same  thing.  (If  you  got  the  correct  answer,  don’t  be  smug  –  something  else  will  catch  you  out!)  

Human  factors  is  the  science  of  the  limita<ons  of  human  performance.  The  fact  is,  the  human  brain  is  wired  to  jump  to  conclusions  (like  10p),  miss  things  that  are  obvious  (like  the  F’s)  and  our  es+mate  of  probability  (in  diagnos+c  reasoning  in  my  specialty)  is  poor.  Recommend  ‘the  art  of  thinking  clearly’  NYT  bestseller,  by  Rolph  Dobelli  to  find  out  more!  

18  

[tell  story]  

19  

Cogni+ve  biases  fall  in  to  4  main  groups:  Social  –  peer  pressure,  ‘halo  effect’  (when  someone  is  good  at  one  thing  so  you  assume  they  are  good  at  everything)  Memory  –  hindsight  bias  (hindsight  significantly  impairs  our  ability  to  judge  the  quality  of  decision  making  that  occurred  in  the  past)  Decision  making  –  confirma+on  bias  and  others  in  the  hand  out  coming  around  now    [HANDOUT]  Probability/belief  biases  –  e.g.  Gambler’s  fallacy,  availability  bias  –  more  of  that  in  a  minute!  

20  

Here’s  a  common  example  –  which  line  is  the  longest?  A,  B  or  C?  Using  a  ruler  takes  more  effort,  right?  

There’s  another  famous  experiment  where  3  lines  of  DIFFERENT  lengths  were  given  to  subjects.  It  was  easy  to  see  which  was  the  longest  line,  but  when  they  were  put  in  a  group  of  people  who  all  disagreed  with  them,  they  frequently  chose  the  incorrect  answer  due  to  peer  pressure!  

21  

Confirma+on  bias  is  the  tendency  to  look  for  confirming  evidence  to  support  a  theory  rather  than  looking  for  contradictory  evidence  to  refute  it,  even  if  the  laPer  is  clearly  present.  Confirma+on  bias  is  common  when  you  are  seeing  a  pa+ent  who  has  already  been  seen  by  another  dr,  who  may  be  more  senior  than  you.  Actually,  confirma+on  bias  is  rife  in  everyday  life:  in  general,  people  read  newspapers  that  already  support  their  views,  browse  internet  sites  that  mirror  their  own  values,  and  hang  out  with  like  minded  people.  

22  

I  like  this  one  –  fear  of  flying.  Availability  bias  is  when  things  are  at  the  forefront  of  your  mind  because  you  have  seen  several  cases  recently  or  have  been  studying  that  condi+on  in  par+cular.  There  have  been  (what  seems  to  be)  a  lot  of  airline  crashes  in  the  news  recently.  But  neglect  of  probability  (or  base  rate  neglect)  is  the  tendency  to  ignore  the  prevalence  of  something  which  then  distorts  our  reasoning.  

Of  course,  in  life  AND  medicine,  pure  logic  is  some+mes  NOT  helpful  when  dealing  with  an  anxious  person!  

23  

[read  slide]  

24  

25  

26  

Some  of  you  may  have  been  told  about  famous  group  think  experiments  where  apparently  normal  intelligent  people  do  really  strange  things  because  everyone  else  is  doing  it  too.  

Examples  when  I  was  a  junior  dr:    

50  year  old  alcoholic  man,  abdo  pain/vomi+ng,  fever,  ‘proteinuria’  =  UTI  (pancrea++s)  70  year  old  woman,  CSF  leak,  immunosuppressed,  new  confusion  =  cons  said  ‘b  cult  if  spikes  temp’  (meningi+s)  

27  

28  

Personality  type  and  other  individual  characteris+cs  influence  decision  making.  Some  people  are  naturally  more  confident  (or  over-­‐confident)  than  others  e.g.  men  vs  women.  Decisions  are  also  made  in  context.  My  work  environment  is  an  accident  wai+ng  to  happen:  characterised  by  noise,  interrup+ons,  mul+-­‐tasking  and  cogni+ve  overload  for  example.  

‘Comfortably  numb’  we  men+oned  before  –  it  refers  to  mindlessly  adop+ng  strategies  to  conserve  thinking.  This  leads  to  problems:  e.g.  failure  to  do  a  thorough  history  and  exam,  blindly  accep+ng  informa+on  from  others,  deferring  to  authority  without  ques+on,  adop+ng  a  non-­‐skep+cal  approach  …  you  must  ques+on  everything!  

Healthcare  providers  cannot  afford  to  be  comfortably  numb  when  pa+ent  care  is  at  stake.  

29  

[read  slide]  The  areas  of  the  brain  required  for  Type  2  processes  are  most  affected  by  sleep  depriva+on  and  fa+gue  …  All  factors  combine  to  increase  use  of  Type  1  processes  and  compromise  func+on  of  Type  2  processes.    

30

So  no  maPer  how  smart  we  are,  our  brains  are  wired  to  miss  things  and  assume  things  …  and  make  errors.  So  what  can  we  do  about  it?  [read  slide]  

31  

James  Reason  is  a  well  known  psychologist  who  became  famous  for  studying  error  in  healthcare.  He  said  this.  

32  

That’s  it!  

33  

Cogni+ve  biases  should  not  be  confused  with  ‘expert  intui+on’  which  is  a  common  way  experts  make  decisions  –  but  only  in  their  domain  of  exper+se.    In  1973,  two  American  psychologists  took  two  groups  of  people  –  one  consis+ng  of  chess  masters  and  one  consis+ng  of  novices  –  and  showed  them  chessboards  with  20-­‐25  pieces  on  them,  set  up  as  if  in  the  middle  of  a  game.  The  subjects  were  shown  the  boards  briefly  and  then  asked  to  recall  the  posi+ons  of  the  pieces.  The  chess  masters  were  able  to  recall  the  posi+on  of  every  piece  on  the  board,  but  the  novices  could  only  recall  four  or  five.  The  experiment  was  then  repeated,  but  this  +me  the  pieces  were  randomly  distributed  on  the  chess  board.  This  +me,  the  chess  masters  were  no  bePer  than  the  novices.  Chess  masters,  with  their  years  of  experience,  could  look  at  the  chess  pieces  in  the  middle  of  a  game  and  see  a  paPern.  The  chess  pieces  were  like  lePers  in  a  word,  and  like  readers  recognise  whole  words,  chess  masters  are  experts  in  the  language  of  chess.  But  if  they  were  asked  to  simply  look  at  a  jumble  of  lePers,  they  performed  no  bePer  than  everyone  else.    

   

Expert  intui<on  is  really  tacit  knowledge.  Although  it  involves  intui+ve  thinking,  this  is  slightly  different  to  the  subconscious  ‘assump+ons’  to  which  we  are  all  prone,  experts  included.  The  apparent  effortlessness  is  in  fact  not  effortless  at  all  -­‐    10,000+  purposeful  prac+ce,  feedback/coaching  

34  

You  all  know  this  word  says  “remember”  because  you  recognise  the  word  –  you  did  not  have  to  figure  it  out  from  the  individual  lePers.  In  the  same  way,  expert  chess  players  saw  the  pieces  like  lePers  in  a  word,  and  expert  clinicians  see  individual  clinical  features  like  lePers  in  a  word  –  it  seems  effortless  but  the  effort  it  took  to  get  there  is  “hidden”  from  you.  NOT  the  same  as  “jumping  to  conclusions”  which  we  are  going  to  discuss  in  more  detail  later.  

35  

Well,  that  has  been  a  bit  of  a  whirlwind  tour  of  cogni+ve  bias  and  human  factors  in  radiology.  I  have  e-­‐mailed  two  pdf  files  to  Cheika  Kennedy,  one  is  a  good  ar+cle  covering  errors  in  radiology  and  the  other  is  common  cogni+ve  biases  in  medicine.  

You  might  also  find  these  websites  useful  –  the  first  is  the  website  for  our  GEM  students  and  the  other  is  the  UK  Clinical  Reasoning  in  Medical  Educa+on  group  website  –  they  hold  an  annual  conference.  Both  have  a  recommended  reading  list,  popular,  for  students/teachers,  and  academic,  if  you  want  to  know  more.  And  there’s  the  TwiPer  handles  there.  Well,  thank  you  for  listening  and  if  there’s  one  thing  I  can  say  to  console  you  –  at  least  the  error  rate  in  Radiology  is  less  than  in  Internal  Medicine!!    

36  

So  in  your  PBL  sessions  try  and  spot  when  you  might  be  subconsciously  filling  in  gaps/jumping  to  conclusions  when  really  you  don’t  know.    

37