that’s frowned upon - lot publicationsthat’s frowned upon using facial emg to track evaluation...

237
That’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing

Upload: others

Post on 23-Mar-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

 

 

 

 

That’s frowned upon 

Using facial EMG to track evaluation and simulation 

during affective language processing 

  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Page 2: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

 

 

 

 

 

 

 

 

 

 

 

 

 

Published by   

LOT  phone: +31 30 253 6111 

Trans 10   

3512 JK Utrecht  e‐mail: [email protected] 

The Netherlands  http://www.lotschool.nl  Cover illustration: Balloërveld, Drenthe.  

ISBN:   978‐94‐6093‐253‐3

NUR:   616  

 

Copyright © 2017: Björn ‘t Hart. All rights reserved. 

 

Page 3: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

That’s frowned upon 

Using facial EMG to track evaluation and simulation during affective 

language processing 

 

 

Afkeurende blikken 

Het volgen van simulatie en evaluatie gedurende affectieve 

taalverwerking met behulp van gezichts‐EMG  

 

(met een samenvatting in het Nederlands) 

 

 

Proefschrift 

 

ter verkrijging van de graad van doctor aan de Universiteit Utrecht  

op gezag van de rector magnificus, prof. dr. G.J. van der Zwaan, ingevolge 

het besluit van het college voor promoties  

in het openbaar te verdedigen op  

vrijdag 29 september 2017  

des middags te 2.30 uur 

 

door 

 

Björn ’t Hart 

geboren 9 oktober 1984 

te Assen 

Page 4: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

Promotor:  Prof.  dr. J.J.A. van Berkum 

Copromotor:  Dr. M.E. Struiksma 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

The  research  reported  here  was  part  of  the  project  ‘Moving  the 

language  user  –  Affect  and  perspective  in  discourse  processing’ 

supported  by  the  Netherlands  Organisation  for  Scientific  Research 

under project number 277‐89‐001. 

 

Page 5: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

 

 

in memory of my father 

and his parents 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Page 6: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

Table of Contents 

Acknowledgements ................................................................................................... ix 

1.  Introduction ...................................................................................................... 1 

1.1  Grounded cognition and language comprehension .......................................... 3 

1.1.1  Simulating perception language ........................................................... 4 

1.1.2  Simulating action language ................................................................... 6 

1.1.3  Simulating emotion language ............................................................... 6 

1.1.4  Simulation and comprehension ............................................................ 7 

1.2  Theories of emotion .......................................................................................... 8 

1.2.1  Classifying emotion ............................................................................. 11 

1.2.2  Measuring emotion using facial electromyography ........................... 12 

3.1.  Language comprehension and narrative ........................................................ 14 

1.3.1  Defining narrative ............................................................................... 14 

1.3.2  Narrative as mimicry of experience .................................................... 16 

1.4  A language processing framework for facial EMG activity .............................. 19 

1.4.1  Simulation‐only model ........................................................................ 20 

1.4.2  Evaluation‐blocks‐simulation model .................................................. 21 

1.4.3  Multiple‐drivers model ....................................................................... 22 

2.  Study 1 ............................................................................................................ 23 

2.1.  Introduction .................................................................................................... 23 

2.2.  Method ........................................................................................................... 30 

2.2.1  Participants and Stimulus Material ..................................................... 30 

2.2.2  Procedure and Data Acquisition ......................................................... 31 

2.2.3  Data Preparation and Analysis ............................................................ 31 

2.3.  Results ............................................................................................................. 34 

2.3.1  Character Morality Manipulation ....................................................... 34 

2.3.2  Critical Event Manipulation ................................................................ 35 

2.3.3  Individual Differences ......................................................................... 38 

Page 7: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

2.4.  Discussion ....................................................................................................... 39 

3.  Study 2 ............................................................................................................ 47 

3.1  Introduction .................................................................................................... 47 

3.2  Method ........................................................................................................... 55 

3.2.1  Participants and Stimulus Materials ................................................... 55 

3.2.2  Procedure and Data Acquisition ......................................................... 55 

3.2.3  Data Preparation and Analysis ............................................................ 56 

3.3  Results ............................................................................................................. 58 

3.3.1  Character Morality .............................................................................. 58 

3.3.2  Affective State Adjective ..................................................................... 60 

3.3.3  Post‐hoc Analysis of Neutral Segment. ............................................... 61 

3.3.4  Affect Reason ...................................................................................... 62 

3.4  Discussion ....................................................................................................... 64 

3.4.1  Frowning upon Immoral Behaviour .................................................... 65 

3.4.2  Processing Character Affect ................................................................ 65 

3.4.3  Processing Reasons for Character Affect ............................................ 67 

3.4.4  Waiting to Update the Situation Model?............................................ 68 

3.4.5  Open Questions .................................................................................. 68 

3.4.6  Conclusion .......................................................................................... 69 

4.  Study 3 ............................................................................................................ 71 

4.1  Introduction .................................................................................................... 71 

4.2  Method ........................................................................................................... 76 

4.2.1  Participants and Stimulus Materials ................................................... 76 

4.2.2  Procedure and Data Acquisition ......................................................... 77 

4.2.3  Data Preparation and Analysis ............................................................ 79 

4.3  Results ............................................................................................................. 80 

4.3.1  Character Manipulation ...................................................................... 80 

4.3.2  Affective State Adjective ..................................................................... 83 

Page 8: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

4.3.3  Affect Reason Segment ....................................................................... 86 

4.4  Discussion ....................................................................................................... 90 

4.4.1  Morality vs. Minimal Group Manipulation ......................................... 90 

4.4.2  Processing Character Affect ................................................................ 91 

4.4.3  Processing Reasons for Character Affect ............................................ 92 

4.4.4  General Discussion .............................................................................. 94 

5.  General Discussion .......................................................................................... 97 

5.1  Facial EMG during online affective language comprehension ........................ 97 

5.1.1  Simulation‐only model ........................................................................ 98 

5.1.2  Evaluation‐blocks‐simulation model ................................................ 101 

5.1.3  Multiple‐drivers model ..................................................................... 103 

5.2  Complex evaluation explanation ................................................................... 107 

5.3  Simulation: lexical concepts or situation models? ........................................ 108 

5.4  Simulation and language comprehension ..................................................... 109 

5.5  Character manipulation ................................................................................ 112 

5.6  Concluding Remarks ...................................................................................... 113 

References .............................................................................................................. 115 

Supplementary Information A ................................................................................ 133 

Supplementary Information B ................................................................................ 172 

Supplementary Information C ................................................................................ 176 

Supplementary Information D ................................................................................ 199 

Supplementary Information E ................................................................................ 205 

Samenvatting in het Nederlands ............................................................................ 212 

Curriculum Vitae ..................................................................................................... 219 

Page 9: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  ix 

Acknowledgements 

 

The years spent working on this book have been some of the happiest in my life to 

date. They were also some of the most challenging and frustrating and there were 

many times where it seemed highly unlikely to me that I would ever complete the 

work. To be perfectly honest,  the  fact  that  this book  finally  came about at all  is 

thanks  to a very  large number of people.  In  the next  few pages  I will attempt  to 

give them all their dues. Please accept my sincerest apologies in advance if I’ve left 

anyone out.  

The first person I would like to thank is my promotor, Jos van Berkum. To 

start  with,  perhaps  somewhat  belatedly,  thank  you  for  taking  a  chance  on  a 

somewhat unlikely applicant. I will always treasure this time because it allowed me 

to  become  the  person  I  had  long  since  forgotten  I  could  or wanted  to  be.  You 

pushed  me  and  supported  me,  complimenting  and  criticising  as  needed.  You 

guided me in my academic life, but also listened and reserved space for the various 

things, good and bad, that cropped up  in my private  life. Thank you for all of that 

and much more. 

I  am  also  intensely  grateful  to  my  wonderful  co‐promotor  Marijn 

Struiksma. Without your daily guidance and supervision, this book would not exist. 

Thank you for being patient with my endless impromptu visits to your office and for 

always taking the time to listen to me and think along with me. Thank you also for 

boosting my confidence at critical times and reminding me of all the progress I had 

already made.  I am honoured  to have been  the  first PhD student you supervised 

and I am certain I will not be the last. They will be very lucky indeed! 

I  am  also  incredibly  thankful  to  the other  amazing members of  the VICI 

team. Anne van Leeuwen,  thank you  for making me  feel welcome  from day one. 

We had lunch the day I interviewed for this position and I was so nervous, but you 

made me feel like I could totally be a PhD student too. We shared so much of our 

journey  and  I  can’t  wait  to  celebrate  your  defence  in  December!  Hannah  de 

Page 10: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

Mulder,  I want  to  thank you  for many  things, but  I will pick  three. Thank you  for 

allowing me  to benefit  from your sharp  insights,  for sharing your vulgar sense of 

humour, and for being my drinking buddy on more occasions than were probably 

wise. Iris Mulders, thank you for helping to make my lab research possible and for 

being my friend. You are a beautiful person and having your friendship and respect 

makes me feel proud.  

The  next  five  people  have  also  been  instrumental  in  this  book  actually 

coming about. Hans Hoeken, Eggo Mueller, Frank Wijnen, Roel Willems, and Rolf 

Zwaan, thank you all for agreeing to be on my reading committee and dedicating 

your time and energy to reading the manuscript. 

 

Next,  I would  like to express my gratitude to the various people who have shared 

my office over the years. Kiki Kushartanti, thank you for helping me get settled  in 

and  figure  out  how  things worked.  Anna  Volkova,  thank  you  for  your  grumpy, 

almost‐finished PhD wisdom and for shouting at Russia on my  left for a couple of 

months. I am glad we have continued our friendship  in the  last few years. Jingwei 

Zhang,  thank you  for your calm and  friendly presence. Mulusew Wondem,  thank 

you  for carving out  time  to  talk  to me when you were so very busy. Luying Hou, 

thank  you  for  always  being  happy  to  see me  and  have  a  chat. Dominique Blok, 

thank you for working next to me, at the office and at the Hallen. Also, thanks for 

sharing  the secret of  the  restorative powers of  lying  flat on your back  for  fifteen 

minutes in the middle of the day. 

Two of my office mates require special attention. We shared office 2.24b 

for the  longest time and together we made it the healthiest office at Trans. Jolien 

Scholten,  I  am  going  to miss our daily  chats  and doing  stretches with  you. Anja 

Goldschmidt,  I  am  going  to  miss  our  wide‐ranging  discussions  and  even  your 

incredibly detailed explanations of things that annoy you. Thank you both for being 

such wonderful daily companions during this amazing time, we shared so much of 

this crazy journey and I will miss you! 

Page 11: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  xi 

The UiL OTS has been a wonderful bubble of special space and  time  filled with a 

great many  clever,  funny,  and  interesting  people.  So many  in  fact,  that  I  can’t 

possibly  thank  them all properly, but  it was  the presence of all of you  that made 

the  last four‐plus years so magical. The following  list will fail to do  justice to each 

individual’s awesomeness, but it can’t be helped, sorry! 

In no particular order;  thank  you Marjolein  van  Egmond, Desiree Capel, 

Assaf Toledo, Brigitta Keij, Liquan Liu, Tom Lentz, Hayo Terband, Carolien van den 

Hazelkamp,  Myrthe  Bergstra,  Andrea  Santana  Covarrubias,  Suzanne  Kleijn, 

Gerdineke van Silfhout, Rogier Kraf, Fang Li, Franca Wessling, Hans Rutger Bosker, 

Renske Bouwer, Monica Koster,  Liv Person, Marko Hladnik,  Louise Nell, Sandrien 

van  Ommen, Marloes  Herrijgers,  Yipu Wei,  Shuangshuang  Hu, Mengru  Han,  Jet 

Hoek, Jorik van Engeland.   I have shared PhD struggles, drinks, and  laughs with all 

of you, I have attended your talks and you have attended mine. I am grateful. I also 

owe  a  special  thank  you  to  Chris  van  Run, Martijn  van  der  Klis,  and Maarten 

Duijndam. Without  your  help  in  the  lab  I  would  have  never  been  able  to  the 

research I did, thank you so much! Heartfelt thanks also go to Anton van Boxtel, my 

advisor on all things EMG, and Huub van den Bergh, who patiently explained mixed 

models  to me  again  and  again.  There  have  also  been  various  student  assistants 

over the years that have helped with my research; Sanne Riemsma, Lea ter Meulen, 

Myrthe Bergstra, Jorik Geutjes, Ella Bosh, en Eletta Daemen; thank you all so much 

for your help making the practical side of my experiments possible. 

Alexia Guerra Riviera, you are a  such a wonderful, warm,  intelligent and 

fun woman. The chats we had helped me  through  the middle part of my project 

and I look forward to visiting you in Chile one day. Zenghui Liu, my running buddy! 

Thank  you  for  your  kindness  and  humour,  thank  you  for  the  tea,  talking mixed 

models  with me,  and  thank  you  for  complimenting my  hair. Marko  Simonovic, 

nothing  gets  the  brain  juices  flowing  like  a  conversation  with  you.  Thanks  for 

baffling  me  and  for  making  me  laugh.  Mirjam  Hachem,  you  wonderful,  crazy, 

intense woman!  I’d  like  to  thank you properly, but  “I don’t know how!” Maartje 

Page 12: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

xii

Schulpen, thank you for telling me you practiced saying my name in the shower and 

telling me you  liked my voice.  I’m so glad we met. Stavroula Alexandropolou, you 

always seemed somewhat mysterious to me, but you are a wonderful warm person 

and I want to thank you for our many chats, especially those where you helped me 

silence the self‐doubt. 

To  those  of  you  who  were  a  part  of  Kibbutz,  that  wonderful  food 

collective, thank you for feeding me (no really, thank you!) and providing a warm 

and wonderful atmosphere. You are a huge part of why these last couple of years 

have been so special and  in your company,  I was able to be who  I wanted to be. 

You know who you are. 

Heidi Klockmann, there are so many things I want to thank you for. Thank 

you  for  the many  coffees  where  we  aired  our mutual  insecurities  and  doubts. 

Thank you for discussing life matters with me, I feel like we have a lot in common in 

many areas of  life and talking to you has helped  in ways I can’t fully explain. I am 

grateful for our friendship, you are one of the few people I know who are able to so 

unabashedly  be  themselves;  don’t  ever  let  anyone  tell  you  to  be  any  different, 

you’re amazing and I am so proud to have been your paranymph! 

 

And  then we  come  to my paranymphs: Marta Castella  and Anna  Sara Hexeberg 

Romøren. You two…what can I say?  

 

Marta, we met  at  a  very  turbulent  time  for  you;  the winter  of  your discontent. 

Nonetheless,  you  made  a  space  for  me  in  your  life,  thank  you  for  that.  You 

occupied the desk next to mine for a while and our friendship grew slowly, bonding 

over  cooking  and baking.  I  especially  enjoyed  that  one  summer when  you were 

funny. Some of the happiest times  in my  life have been spent  in the kitchen with 

you or sharing music over a glass of wine. Thank you for teaching me how to bake 

decent bread, for helping me shop, for listening to me, and for understanding that I 

Page 13: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  xiii

am not really all that calm and collected at all. Let me  just say you are one of the 

most beautiful individuals I have ever met.  

 

Anna Sara, our morning coffees started during your time at Trans and at times they 

were the only reason I actually got up and went to work. You are gorgeous, inside 

and out, especially when you blush. I do believe I have always had a bit of a crush 

on you. Thank you for your sense of humour, thank you for sharing your troubles 

with me and  listening to mine. Thank you also for believing me when  I said  I was 

going to be your friend no matter what when your life was in upheaval. I meant it 

then and  I mean  it now.  I hope we can continue our morning coffees, whether  in 

person or over WhatsApp as we commute to work in different countries. 

 

Thank you both for agreeing to be my paranymphs. I could not imagine my defence 

any other way than with the two of you behind me. I love you both like sisters and 

you have a place in my heart forever. 

 

I would also like to thank some of my oldest friends, those from the ‘before times’. 

Before  I  disappeared  into  the  gaping maw  of  academia. Nick Degens,  you  and  I 

have  been  friends  ever  since  I  can  remember  and  your  presence  in  my  life 

throughout all of its phases provides a red thread that grounds me. You and I share 

so much  in  common,  both  as  people  and  in  terms  of  history,  that  you  are  an 

integral part of who I am. I treasure our friendship immensely.  

Karlien Haak, we have also been  friends  for such a  long time. During the 

period when we were neighbours, our weekly dinners  and movie/TV marathons 

saved my  life. That sounds  like a dramatic exaggeration, but  it  is honestly how  it 

feels  looking back. You are an amazingly brave, funny, and  insightful woman, you 

hold a special place  in my heart and  I feel  like a part of me appears when you’re 

around that never surfaces otherwise. Thank you for everything.   

Page 14: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

xiv 

Gees Maathuis,  voor  jou  even  een  klein  uitstapje  naar  het  Nederlands 

zodat  je  goed  begrijpt  hoeveel  je  voor  me  betekent.  Onze  vriendschap  gaat 

ondertussen meer dan tien jaar terug en in die tijd heb je me laten lachen, heb je 

me  te  eten  gegeven, heb  je  jouw  sores met mij  gedeeld,  en  heb  je  die  van mij 

aangehoord.  Je bent één van de meest authentieke en bijzondere mensen die  ik 

ken en het feit dat jij me een plekje in jouw hart hebt gegeven maakt me meer dan 

trots. Bedankt voor alles, en in het bijzonder ook voor het verzorgen van een plek 

waar ik lekker plat kan praten! 

Maria Barkman, our friendship began  in high school, during art class. We 

spent  more  time  drinking  coffee  or  hot  chocolate  and  smoking  outside  than 

drawing  or  painting. Although  not  among  your  biggest  talents,  that  kabuki‐duck 

tableau you drew was phenomenal, pure genius. You were there when my father 

passed away,  letting me  sleep  in your bed while  I drank my way  through grief.  I 

can’t  thank you enough  for  that and  for your  friendship  through  the years. Your 

beautiful daughter, Abby,  is also  the  first  child  that made  it  into my heart,  I am 

looking forward to our continued friendship and getting to watch Abby grow up. 

Marc Lansdown, your steadfast confidence  in my abilities has helped me 

gain confidence over  the  ten‐plus years we’ve known each other. Especially your 

often‐restated assertion that I am your most intelligent friend! I love our catch‐ups 

over burgers where you tell me stories  that are way  too  long  (but you also don’t 

mind me  interrupting  you  and  telling  you  so). Did  you  know  some  of my  other 

friends know you as Burger Boy? You have been there for so many of the struggles 

in my life and I am grateful for your friendship and support. 

Margriet Hesseling, we became  friends all  those years ago  in Groningen 

without me  even  noticing.  Thank  you  for  staying  in  touch.  Your  optimism  and 

perseverance have been an  inspiration to me.  I also would be very grateful  if you 

could please make me some of that pecan pie again sometime soon! 

Page 15: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  xv

Alie  Drenthe,  Thank  you  for  your  friendship,  for  the  food,  the  wine,  the 

cryptograms, the refuge, and for your daughter. I miss you. I hear your voice in my 

head at least once a week: “Jamie, alles is goed.”  

 

I dedicate this book to the memory of my father, Roel ‘t Hart, grandmother, Cor ‘t 

Hart, and grandfather, Wim ‘t Hart. I miss them and I can’t express what needs to 

be said here; nothing I have done would have ever been possible without them.  

 

The  same  goes  for my wonderful mother,  Pietie  Boonstra.  Dankjewel moeders, 

voor je stille steun, voor je kritiek, voor je liefde. Dankjewel voor de uren die je aan 

mijn bed hebt gezeten toen ik pijn had, voor de angsten die je hebt uitgestaan toen 

ik het echt niet meer wist, voor de vrijheid die  je me hebt gegeven om fouten te 

maken, voor de fouten die je hebt toegegeven, en voor alle talloze keren dat je me 

hebt geholpen om mijn fouten weer recht te zetten. Ik hou van je.  

 

Carlo  ‘t Hart, broeder, ondanks dat we elkaar weinig  zien ben  je  toch mijn grote 

broer en ben  je altijd  in mijn gedachten. Hetzelfde geldt voor  jou, Sylvia Tepper, 

jouw vriendschap was jarenlang het belangrijkste in mijn leven en ook jij bent altijd 

in mijn hart. Ik ben blij dat jullie elkaar hebben gevonden en wens jullie alle goeds. 

 

The  last person  I want to thank  is the  love of my  life, Thomas William Atkins, my 

sweet Tom (a.k.a. Wommus). I would never have even applied for a PhD position if 

you hadn’t encouraged me. You believe  in me so much and I am truly grateful for 

your  faith, patience, and support.  I  love all of  the many silly  love songs you have 

written for me. Nobody knows me like you do. You saw things in me all those years 

ago that  I am only  just discovering myself.  I would never have achieved as much, 

academically or personally, if I had not had you in my life. You made a serious boy 

more fun, you made a pessimist more optimistic, and you showed me a kind of love 

that I hoped, but didn’t believe, existed. You are a beautiful man with a spontaneity 

Page 16: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

xvi 

that almost everybody I know lost along the way to adulthood. You are clever, wise 

and silly. You buy too much crockery and glassware, but you have created a home 

for us that makes me feel warm inside. You are skilled and adept in all the areas of 

life  that  count  and  where  I  have  always  felt  inadequate.  I  know  I  sometimes 

criticise  you  for  things  that  don’t  really matter.  You  are  actually  a much  better 

person than I am. And yet, when you look at me I feel like the most amazing person 

ever. Thank you for that. I am so excited for our future. I love you so much. 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Page 17: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  xvii

 

Page 18: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen
Page 19: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  1

1. Introduction  

“I knew  I had  fallen  in  love with Lolita  forever; but  I also knew she would not be 

forever Lolita.” 

Vladimir Nabokov, Lolita 

Stories can make us intimate witnesses to the emotional life of the characters that 

populate them. More than that, stories can transport us into another world where 

we  vicariously  experience  the  overwhelming  and  hopeless  love  felt  by  this 

character from Nabokov’s Lolita. Put simply, stories provide the opportunity to feel 

what it is like to be that character and fall so madly and precipitously in love.  

Theories of language comprehension have to account for how we manage 

to represent, as  in our example, a concept such as  love during real‐time  language 

processing with no more to go on than a collection of letters that have no intrinsic 

connection  to  the  emotion  they  refer  to.  According  to  one  of  the  dominant 

theories in the field today, grounded cognition, our understanding of the meaning 

of  the  word  ‘love’  involves  simulation,  a  kind  of  mental  re‐enactment  of  our 

previous  experiences  of  love.  Before  going  into more  detail,  the  core  notion  of 

simulation is that, according to grounded accounts of language comprehension, our 

vicarious experience is central to how we understand what the story is telling us.  

  However,  the  idea  of  vicarious  experience  as  the  basis  for  our 

representation of  emotion  concepts during  real‐time  language  comprehension  is 

not  without  complication.  The  notion  of  vicarious  experience  must  imply  that 

language  comprehension  involves  more  than  a  cold,  analytical  process  of 

understanding;  we  do more  than  simply  dispassionately  comprehend  language. 

This  is  especially  true when  the  language  in question describes  the  emotions of 

characters, real or imagined, in a story. We evaluate what we read and we respond 

emotionally to it. Not infrequently, the emotions characters are described to have 

Page 20: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

2

will be at odds with our own  (emotional) evaluation of  those emotions.  It  is  this 

conflict  between  the  meaning  of  language  referring  to  emotion  and  our 

emotionally coloured evaluation of it that is central to this dissertation. 

The  quote  from  Lolita  is  a  case  in  point.  The  character  whose  all‐

consuming and frustrated feelings of love are the subject of the quote at the start 

of this chapter is Humbert Humbert, a literature professor of middle years. There is 

nothing necessarily problematic about a man falling in love, even if he does happen 

to  be  a  literary  scholar.  The  object  of  his  affection,  however,  is  all  the  more 

controversial.  In his novel Lolita, Vladimir Nabokov describes Humbert Humbert’s 

love  for  12‐year‐old  Dolores  (Lolita)  Haze. While  beautifully written  and widely 

recognised as a  classic 20th  century work of  literature,  the book has been  thrust 

aside  in disgust by more than one reader,  including yours truly. Any simulation or 

vicarious experience of  ‘love’  in the quote at the start of this chapter  is clearly at 

odds with our own emotionally‐charged evaluation of this particular love.  

  The  research  in  this  thesis  investigates  the  conflict  between  language‐

driven simulation of emotion concepts and our own emotional evaluation of those 

concepts. It does so making use of narratives, because, as the example  illustrates, 

this kind of complexity of affective meaning arises frequently and naturally  in the 

stories  that we  read. Special attention  is given  to how  this  complexity  impacts a 

grounded  account  of  language  comprehension.  Before  turning  to  the  reports  of 

three experiments designed to  investigate how this affective complexity plays out 

in  online  language  comprehension,  the  introduction  will  provide  necessary 

background information on theories from three key domains.  

Section  1.1  introduces  the  theory  of  grounded  cognition  and  discuss  its 

relation  to  previous  theories  of  cognition,  including  examples  of  evidence  of 

simulation in language comprehension. Section 1.2 discusses important theories of 

emotion,  followed  by  a  working  definition  of  emotion  and  the  way  this  thesis 

measures  emotion. As  in  the  example,  the  language  comprehension  research  in 

this thesis makes use of narrative stimuli. Section 1.3 summarises central theories 

Page 21: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  3

of narrative and provides a definition as well as a rationale for using it as a medium 

in  this  research.  Section  1.4  combines  the  theoretical  and  methodological 

information  from  the  preceding  sections  into  a  model  for  affective  language 

comprehension, including language‐driven simulation and emotional evaluation as 

potential drivers for emotional responding during online language processing. This 

model generates testable predictions, three of which are spelled out.  

1.1 Grounded cognition and language comprehension 

 

Until the latter part of the 20th century, standard theories of cognition held that our 

knowledge of concepts was stored as amodal symbols in semantic memory. To pick 

up the example of Humbert Humbert being  in  love, according to such theories an 

amodal  symbol‐like  concept  of  love  is  stored  somewhere  in  your  brain  and 

arbitrarily  linked to a sign (i.e., a particular word). This arbitrary  link allows you to 

read  the word  ‘love’  and  understand what  it  is  that  the  character  to whom  it 

pertains  is  feeling. A  fundamental problem with  these  theories has  always been 

how  such  symbols  relate  to  perception,  action,  and  experience;  the  so‐called 

grounding problem (e.g., Harnad, 1990). Grounded cognition refers to a collection 

of  related  theories of human  cognition  that  specifically deal with  this  grounding 

problem.  Proponents  of  grounded  cognition  reject  models  of  cognition  where 

conceptual knowledge  is represented  in amodal symbols.  Instead, the basic tenet 

of grounded  cognition  is a  link between  cognition and modality‐specific  systems, 

the body, the physical environment and the social environment (Barsalou, 2008).  

According  to  grounded  theories  of  cognition,  real‐time  conceptual 

processing relies on modality specific systems. That  is  to say,  it makes use of  the 

very same systems  that support perception, action and  internal states  in  the  first 

place. Anderson  (2010)  referred  to  this as neural  reuse and Barsalou  (2016)  links 

the notion of neural reuse  to what has commonly been referred  to as simulation 

(Barsalou,  2003b;  Barasalou,  2008).  Concretely,  according  to  this  theory  you 

Page 22: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

4

understand  what  the  word  ‘love’  refers  to  by  activating  traces  of  previous 

experience in the same neural systems that were engaged when you felt and dealt 

with love1.  

The  next  three  sections  provide  illustrations  of  evidence  supporting  the 

existence  of  simulation  in  modality‐specific  brain  systems  during  language 

comprehension. This evidence is organised according to the three kinds of language 

mentioned in the definition of simulation by Barsalou (2008): perception language, 

action language, emotion language. 

 

1.1.1 Simulating perception language 

 

Perception  language  is  language that refers to aspects of reality that we perceive 

with our senses, for instance sight, hearing, smell or taste. One simple, yet elegant 

study  that  demonstrates  that mental  simulation  is  part  of  perceptual  language 

comprehension made use of a sentence‐picture verification task. Zwaan, Stanfield 

& Yaxley (2002) found that after participants read a sentence such as “the ranger 

saw the eagle in the sky,” they were faster to verify a picture of an eagle with wings 

outstretched  than one of an eagle with wings  folded back. This  shows  that  their 

representation  of  the  sentence  contains  implicit  information  about  perceptual 

features, such as shape. Importantly, Zwaan & Pecher (2012) showed this effect of 

mental simulation to be robust  in replication studies. Another, more recent study 

(de Koning, Wassenburg, Bos, & van der Schoot, 2016) showed that  in addition to 

shape,  implied object size  is also mentally simulated. They found that participants 

responded faster to a picture of a large statue after reading the sentence “the man 

saw  the  statue  in  the  garden”  than when  they had  just  read  “the man  saw  the 

                                                            1  I would  argue  that  even without  specific  experience with  a particular  concept, combining  traces  of  other,  related  experiences  will  nonetheless  allow  you  to represent  new  concepts.  This  also  relates  to  a  grounded  theory  of  language acquisition rather than language processing. 

Page 23: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  5

statue in the windowsill.” Interestingly, they found that while children between the 

ages of 8 and 13 were overall slower to respond in this task, the match effect was 

the same for both children and adults.  

Montoro et al. (Montoro, Contreras, & Elosúa, 2015) also found evidence 

for  cross‐modal metaphorical mapping of emotion‐related  language  to  the visual 

perceptual  domain;  during  active  listening,  participants  responded  faster  to 

positive than negative words when they were mapped ‘up’ on the visual axis rather 

than  ‘down’. This  suggests  that positive and negative valence are metaphorically 

grounded in vertical space. Another study found that cross‐modal switching incurs 

a processing delay (Pecher, Zeelenberg, & Barsalou, 2003). For instance, verifying a 

property in one perceptual domain (e.g., blender‐loud) slows down the subsequent 

verification of a property  in another domain  (e.g., cranberries‐tart) but not  in the 

same domain (e.g., leaves‐rustling). This switching cost is taken to support the idea 

that modality‐specific simulation plays a part in language processing. 

  In addition to behavioural evidence, neuroimaging evidence also supports 

the  notion  of modality‐specific  simulation.  For  instance,  Simmons  et  al.  (2007) 

found that a verbal object‐property verification task related to colour activated the 

same  areas  of  the  brain  involved  in  colour  perception, while  a  verification  task 

related  to movement did not.  That  is  to  say,  judging whether  the word  ‘purple’ 

describes a property of ‘eggplant’ activates those same areas in the brain that are 

involved  in  the  perception  of  the  colour  purple.  Such  evidence  of  activation  in 

specific sensory systems while processing linguistic stimuli related to perception is 

not  restricted  to  the  visual  domain.  There  are  also  studies  that  show  the  same 

effect for the processing of auditory and olfactory  language (e.g., González, et al., 

2006; Kiefer, Sim, Herrnberger, Grothe, & Hoenig, 2008).  

 

 

 

Page 24: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

6

1.1.2 Simulating action language 

 

Action  language  refers  to  motor  activity,  for  instance  walking  and  running  or 

pushing  and  pulling.  One  line  of  evidence  has  used  functional  neuroimaging 

techniques to investigate how the processing of words related to actions executed 

with  specific  effectors  influences  activity  in motor  systems.  Several  fMRI  studies 

(e.g.,  Aziz‐Zadeh,  Wilson,  Rizzolatti,  &  Iacobini,  2006;  Hauk,  Johnsrude,  & 

Pulvermuller, 2004) demonstrated that when participants read about an action, the 

motor system is also active. Moreover, compared to a control condition, language 

related  to  specific  actions  executed with,  for  example,  the  legs  or  arms  evokes 

activity specifically in those areas of the brain that are active when those effectors 

are actually used. 

  In  addition  to  neuroimaging  evidence,  behavioural  evidence  for  action 

simulation also abounds. The  so‐called action  sentence compatibility effect  (ACE) 

effect refers  to  the  finding  that responding  to a  linguistic stimulus with an action 

that mimics the action described in that stimulus is facilitated (Glenberg & Kaschak, 

Grounding  language  in action, 2002). More concretely, participants respond more 

quickly when verifying the grammaticality of a sentence such as “The man closed 

the drawer,” if the correct response is to push a lever away from them than when 

the  correct  response  involved pulling  the  lever  toward  the body.  This  result has 

been successfully  replicated  repeatedly  (e.g. Borghi & Riggio, 2009; Borreggine & 

Kaschak, 2006; Zwaan & Taylor, 2006).  

 

1.1.3 Simulating emotion language 

 

Although  the majority of  research on grounded  language  comprehension  initially 

focussed  on  perceptual  and  action  language,  emotion  language  is  also  explicitly 

included in the grounded enterprise (e.g., Vigliocco, Meteyard, Andrews, & Kousta, 

Page 25: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  7

2009). Emotion  language  refers  to  linguistic  stimuli  that either describe or evoke 

emotionally  salient  internal  states.  This  includes  language  describing  short‐lived 

emotions (e.g., anger, fear, happiness), but also mood (e.g., gloomy, sombre, calm), 

action  language  related  to  emotionally  salient  internal  states  (smile,  frown, 

tremble), and  language  that does not  refer  to emotion directly, but  is commonly 

associated with an emotional  response  (e.g., party, birthday, vomit). Rather  than 

the  seemingly  narrow  scope  of  emotion  language,  this  thesis  will  refer  to  the 

linguistic stimuli listed above as affective language more broadly. 

  There  is  ample  evidence  that  suggests  that  affective  language 

comprehension involves simulation. One particularly fruitful line of evidence stems 

from  research using  facial  electromyography  (EMG). What  these  studies  show  is 

that  reading  language describing affective states  is accompanied by  facial muscle 

activity associated with those same states. This effect has been demonstrated for 

affectively  salient  words,  including  adjectives,  verbs  and  nouns  (e.g.,  Foroni  & 

Semin, 2009; Künecke, Sommer, Schacht, & Palazova, 2015), noun verb pairs (e.g., 

Fino,  Menegatti,  Avenanti,  &  Rubini,  2016),  and  complete  sentences  (e.g., 

Glenberg, Webster, Mouilso, Havas, & Lindeman, 2009; Havas, Glenberg, Gutowski, 

Lucarelli, & Davidson, 2010).  In these cases  facial EMG activity  is  interpreted as a 

downstream effect of the simulation of described or  implied affect  in parts of the 

brain that are responsible for controlling the relevant facial muscles involved in the 

expression of that affect. Section 1.3 provides a more  in‐depth description of the 

muscles  involved  in  these  facial  EMG  studies  as well  as  detailed methodological 

information.  

 

1.1.4 Simulation and comprehension 

 

The  preceding  three  sections  have  provided  a  brief  summary  of  evidence  of 

modality  specific  simulation  in  relation  to  language  processing.  While  there  is 

ample  evidence  that  suggests  such  simulation  exists,  whether  simulation  is  a 

Page 26: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

8

necessary component of comprehension is another matter; simulation effects may 

simply be epiphenomenal to comprehension. The question of whether simulation 

contributes  causally  to  language  comprehension  is  the  subject  of  an  ongoing 

theoretical and empirical debate (for recent discussions see Mahon & Hickok, 2016; 

Leshinskaya & Caramazza, 2016; Barsalou, 2016; Zwaan, 2016).   

  The focus in the studies reported in this dissertation is on an investigation 

of simulation and how it interacts with evaluation in the case of affective language. 

This dissertation does not deal with  the matter of a causal  role  for  simulation  in 

language  comprehension  directly.  We  assume  that  simulation  is  attendant  on 

language processing and do not address  the precise nature of  the  role  it plays  in 

comprehension. However, a theory of grounded language processing that includes 

simulation, especially as a causal component, will have to account for the type of 

conflict  between  simulation  and  evaluation  of  affective  language  that  this 

dissertation investigates. 

1.2   Theories of emotion 

 

Unfortunately, one of the most significant things ever said about emotion 

may be that everyone knows what it is until they are asked to define it. 

(LeDoux, 1996) 

The quote above from prominent emotion researcher Joseph LeDoux highlights the 

difficulties  involved with defining emotion. Nonetheless, this thesis will develop a 

working  definition  to make  it  clear  how  we  conceive  of  emotion  and  how  we 

operationalise  it  in  the  studies  reported  on  here.  Taking  his  cue  from  emotion 

scholars  such  as  Damasio,  Panksepp,  Frijda,    and  Scherer,  Van  Berkum  (Van 

Berkum,  in press) develops a definition of emotion that highlights core aspects of 

emotion that should be of particular interest to psycholinguists. These aspects can 

Page 27: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  9

be  grouped, broadly  speaking,  around  two  issues: 1) how  emotions  arise  and 2) 

what emotions are for.  

One of the fundamental points about how emotions arise is that they are 

referential.  That  is  to  say,  emotions  are  caused by,  and  about,  some  internal or 

external stimulus. What triggers emotions is the appraisal of a stimulus as relevant 

to our  concerns.  Importantly, Van Berkum points out  that  the  appraisal  and  the 

resulting emotion  can, and often does, play out without  conscious awareness. A 

crucial  point  for  language  comprehension  research  is  that, while  emotions  have 

ancient,  evolutionarily  shaped  triggers  (i.e.,  pain,  loud  noises,  emotional  facial 

expressions of conspecifics etc.), they can be triggered by any stimulus that can be 

coupled  to  something  else  through  associative  learning—  this  includes  linguistic 

expressions as triggers for emotion. In fact, almost everything we encounter in the 

world  around  us  is  appraised  as  somehow  emotionally  relevant,  whether  this 

evokes  full‐blown,  concrete  emotions  or  weaker  and  less  defined,  but  no  less 

important, affective evaluations. 

In  addition  to being  about  something, emotions  are  also  for  something. 

That  is  to  say, beyond merely  appraising  something  as  relevant  to our  interests, 

emotions are for doing something about the stimulus that evoked it and to ensure 

our wellbeing. Not only are emotions for doing something, in many cases they are 

about doing something now. Strong emotions can take control  if your  immediate 

homeostatic wellbeing is threatened, for instance in the case of fear in the face of a 

predator. Arguably, weaker affective evaluations can also steer your behaviour  in 

the immediate future in subtle ways. For instance, in a conversation with someone 

you dislike, even at a subconscious  level, you will probably find a way to end that 

conversation sooner rather than later. 

Emotions  prepare  us  to  act  and  make  us  act  in  the  present.  These 

preparations  come  in  a  package  of  short‐lived  synchronised  changes  in  various 

systems and include action tendencies, physiological changes, cognitive changes, as 

well  as  actual behaviours.  For example,  if  somebody  says  something  that makes 

Page 28: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

10

you  really angry, a  set of  synchronised  changes will unfold. These  responses will 

possibly include, among other things, increased heartrate and sweating, the release 

of  stress  hormones.  Importantly,  in  light  of  the  research  presented  in  this 

dissertation,  it will also  include exhibiting  that emotion  through  facial expression 

and likely also through body posture, clenched fists, involuntary shouts or cries etc. 

Two  final points must be made about emotions.  First, emotions are not 

necessarily conscious. While your anger in response to what someone has said may 

or may not emerge  in  consciousness as  subjective  feeling,  the action package of 

synchronised changes will become active even if the emotion does reach conscious 

feeling.  The  second point  is  that  the  appraisal of  a  stimulus  as  relevant  and  the 

subsequent  emotional  response  to  it  will  leave  traces  in memory.  As  a  result, 

whatever it was someone said to make you angry will be more likely to anger you 

again  in  the  future. Not only  that,  your  response  to  related  stimuli,  for  instance 

other  things  that same person says  later, will also be  influenced by  the  traces of 

your  anger  stored  in memory.  Below  is  a  working‐definition  highlighting  those 

aspects of emotion that are crucial in light of our research. 

 

Emotions: 

Are triggered by the (often fully automatic) appraisal of stimuli as relevant 

(biologically,  culturally,  and/or  idiosyncratically)  to  one’s  concerns, 

including linguistic stimuli.  

Evoke  synchronised  sets  of  short‐lived  changes,  including  physiological 

changes and behaviour  (such as  facial expression), aimed at making you 

do something about the emotional stimulus.   

Leave  traces  in  memory  that  influence  the  response  to  the  emotion‐

evoking stimulus as well as other stimuli related to it. 

 

 

Page 29: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  11

1.2.1 Classifying emotion 

 

Beyond  abstract  definitions of what  emotion  is  there  are  various ways  in which 

theorists and researchers talk about which emotions there are. Different attempts 

at  classification  have  been made,  broadly  speaking  aiming  to  either  categorise 

distinct emotions or organise emotions along certain common dimensions. Some of 

the  earliest  proponents  of  either  view  were  Charles  Darwin  (1872/1998)  and 

Wilhelm Wundt (1977/1907), respectively.  

  Emotion classification following Darwin has resulted  in what  is commonly 

referred to as the Basic Emotions Model. Basic emotions are commonly believed to 

biologically  hard‐wired  and  to  be  the  psychological  basis  of  other,  non‐basic, 

emotional  states.  One  classic  inventory  of  basic  emotions  is  based  on  the 

supposedly  universal  recognition  and  expression  of  emotion  through  facial 

expression and comes from Ekman, Friesen & Ellsworth (1982): anger, disgust, fear, 

joy,  sadness,  surprise.  However,  Ekman  (1999)  later  extended  this  list  of  basic 

emotions  to  15  emotions.  Turner  and Ortony  (Turner & Ortony,  1992) made  an 

inventory  and  revealed  how  widely  both  the  number  and  the  nature  of  the 

emotions  included  in  lists of basic emotions varied.    In addition,  the criteria used 

for  inclusion differed greatly as well. Some of the criteria most hotly debated are 

summarised  by  Shiota &  Kalat  (2012):  basic  emotions  should  be  1)  universal,  2) 

expressed  in a distinct, built‐in way 3) arise early  in  life, and 4) be phsyiologically 

distinct.  

  The dimensional approach to emotion classification takes a different tack. 

Instead of assuming the existence of basic and discrete emotions, the dimensional 

approach  investigated  the  possibility  that  the  subjective  experience  of  our 

emotions  (i.e., what we call  ‘anger’ or  ‘joy’) can be arranged along more abstract 

dimensions.  The  circumplex  model  (Shiota  &  Kalat,  2012)  suggested  two  such 

dimensions to account for the emotional space: valence (positive vs. negative) and 

arousal  (low  vs.  high).  While  the  debate  continues  regarding  whether  valence 

Page 30: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

12

constitutes  a  single  dimension,  or  positive  and  negative  represent  separate 

dimensions  (for  a  discussion,  see  Cacioppo,  Berntson,  Norris,  &  Higgins,  2012), 

there is broad agreement that valence is a salient dimension that can meaningfully 

organise emotions. Valence seems central to any emotion system (i.e., ‘is this good 

or  bad  given  the  interests  I  am monitoring’)  and  offers  a  suitable  starting  point 

given  the  aim  of  the  research  in  this  thesis.  We  will  therefore  bypass  the 

complexity  involved  with  the  status  of  certain  emotions  as  basic,  and  simply 

conceive  of  emotions  in  terms  of  valence.  In  addition  to  reducing  theoretical 

complexity, choosing valence as opposed to discrete emotions has methodological 

benefits  with  regards  to  reliably  measuring  affective  responses  using  facial 

electromyography. These methodological considerations will be discussed next.  

 

1.2.2 Measuring emotion using facial electromyography 

 

Electromyography  refers  to  the  use  of  surface  or  intra‐muscular  electrodes  to 

measure  muscle  action  potentials.  These  myoelectric  signals  can  be  measured 

reliably as an  indicator of the activity of a specific muscle  (Tassinary, Cacioppo, & 

Vanman,  2000).  We  focus  here  on  the  use  of  surface  electromyography  used 

specifically  to measure  activity  of  facial muscles  in  relation  to  affective  stimuli. 

There are a number of muscles  in the face that are useful for  inferring emotional 

states (e.g., van Boxtel, 2010). It is important to note the advantage of facial EMG 

in  its ability  to pick up muscle action potentials  that do not result  in visible  facial 

expression (Tassinary & Cacioppo, 1992).  

As discussed in section 1.2.1, this thesis focuses on a valence distinction of 

affective meaning rather than on discrete emotional constructs  like surprise, fear, 

sadness,  anger,  etc.  Two muscles  in  the  face  are  commonly  used  to  distinguish 

valence:  the  corrugator  supercilii  (frowning muscle)  and  the  zygomaticus major 

(smiling  muscle).  How  activity  of  the  corrugator  and  zygomaticus  muscles 

corresponds to stimulus valence relates to a basic physiological difference between 

Page 31: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  13

the  two muscles. There  is significant difference between muscles with  regards  to 

their  innervation  ratio  (Tassinary,  Cacioppo,  &  Vanman,  2000).  The  innervation 

ratio refers to the number of muscle  fibres that are  innervated by a single motor 

neuron.  The higher  the  innervation  ratio  (i.e.,  a  single motor neuron  activates  a 

larger  number  of muscle  fibres)  the  stronger  and more  enduring  the  resulting 

muscle activity will be. Muscles with a higher  innervation ratio are also known to 

tire less quickly. The corrugator is a muscle with a relatively high innervation ratio 

and  is characterised by more‐or‐less  constant baseline activity. Compared  to  this 

baseline, corrugator EMG activity reliably increases in response to negative stimuli 

and decreases in response to positive stimuli. The zygomaticus, on the other hand, 

has  a  much  lower  innervation  ratio  and  is  characterised  by  short‐lived,  more 

precise  activity. Unlike  the  corrugator  is has no enduring baseline  activity  and  is 

characterised by increased activity in response to positive stimuli and the absence 

of a response to negative stimuli. 

In  a  systematic  study  of  affective  pictures,  sounds  and  words  Larsen, 

Norris & Cacioppo  (2003)  confirmed  that  corrugator activity  reliably  increased  in 

response  to  negative  stimuli  and  decreased  in  response  to  positive  stimuli.  The 

zygomaticus, on the other hand, did not respond to negative stimuli and increased 

in  activity  in  response  to  positive  stimuli, making  its mapping  onto  valence  less 

informative.  In addition,  the unambiguous  interpretation of  zygomaticus  ‘smiling’ 

activity as reflecting positive emotion is problematic when we consider that we also 

smirk sardonically, grimace, and offer wry smiles.  In sum,  the corrugator offers a 

reliable,  informative,  and  unified measure  of  valence  and will  therefore  be  the 

focus of the research presented in this book. 

 

 

 

Page 32: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

14

3.1. Language comprehension and narrative  

As  the  example  of  Lolita  illustrated,  the  potential  conflict  between  the  affect 

referred to by language and our affective evaluation thereof is easily enacted with 

a  narrative.  The  studies  reported  in  chapters  2‐4  use  the  narrative  format  to 

operationalise  this  affective  complexity  and  investigate  the  interaction  between 

language‐driven simulation and evaluation as indexed by online corrugator activity. 

Considering  the  importance of  narratives  to  this  research  enterprise,  it must  be 

made  clear  what  narrative  is.  The  following  section  will  draw  on  established 

definitions  to  formulate  our working  definition  of  narrative.  In  doing  so,  it will 

become clear what narratives are and also why narrative  is a suitable medium to 

investigate our questions about how we process language describing emotion.  

 

1.3.1 Defining narrative 

 

There are many definitions of narrative and  they differ  in various ways,  including 

their point of departure. Some are  formulated  to be used  in  literary  scholarship, 

others  for  the  study  of  media  and  communication,  and  others  still  with  an 

interdisciplinary  aim  to  link  psycholinguistics  and  narrative  scholarship.  A 

comprehensive enumeration and comparison of definitions is beyond the scope of 

this thesis, but despite their differences there is considerable overlap in definitions. 

One  core  notion  that  most  definitions  agree  on  is  that  narrative  involves  the 

representation of at least one event (e.g., Porter Abbott, 2008).  

While seemingly trivial, the requirement for the presence of an event is a 

good  start  to  separate  narrative  from,  for  instance  descriptive,  expository,  and 

argumentative text. Beyond the insistence on the inclusion of one or more events, 

the elements  required by different definitions vary, but  there  is broad consensus 

that events have to be ordered both in time (e.g., Herman, 2009) and logically, for 

instance  as  cause  and  effect  (e.g.,  Bal,  2009).  Another  point  on  which  most 

Page 33: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  15

definitions agree  is  that a narrative must contain one or more agents  (e.g., Ryan, 

2007).   

To  illustrate,  imagine  a narrative  about  a  game of  chess. A  list of  chess 

moves  technically  constitutes a number of events, but  it does not  tell us a  story 

about a game of chess. Ordering the moves as a sequence in time from first to last 

helps, but is not sufficient. Despite having chronological order, each move could be 

plucked  randomly  from a different game. By  linking each move  logically  to every 

other move we begin to see the outline of a narrative about a game of chess.  

Without agents however,  this  list of causally  related chess moves distributed 

over time might as well be a description of a chain reaction of chemical reagents. 

To make  it a narrative we need agents  that are human‐like  in  that  they must be 

possessed  of  intentionality.  I  say  human‐like  because  such  agents  could  just  as 

easily be anthropomorphised teacups. The discussion so far yields a provisional set 

of necessary elements for narrative:  

Representation of one or more events  

A chronological structure of events 

Logical relationships between events (i.e., cause and effect) 

Human or human‐like agents  

These basic elements arising  from narratological approaches correspond well 

to  the event‐indexing model  in a situation model account of  (narrative)  language 

comprehension  (e.g.,  Zwaan  &  Radvansky,  1998;  Zwaan,  Langston,  &  Graesser, 

1995). A  situation model  refers  to  a mental  representation,  by  the  reader,  of  a 

given  discourse;  it  is  a  dynamic  model  that  continuously  integrates  incoming 

information  into an ever richer micro‐world. The event‐indexing model  is distilled 

from  a  large  body  of  empirical  evidence  that  lists  five  salient  dimensions  along 

which events in the discourse are continuously updated as part of the construction 

a situation model: 

 

Page 34: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

16

Time 

Space 

Protagonist 

Causality 

Intentionality 

Much of the initial research in the line of event indexing and situation models 

relied on behavioural data. More recently, neuroimaging studies have shown that 

neural activity tracks changes along the salient dimension from the event‐indexing 

model while  participants  read  a  narrative  (e.g.,  Speer,  Zacks, &  Reynolds,  2007; 

Whitney, et al., 2009). This event‐indexing model has also been extended  to  the 

processing of narrative  film  (Cutting &  Iricinschi,  2015;  Zacks,  Speer,  Swallow, & 

Maley,  2010).  The  analytically  derived  set  of  basic  elements  of  narrative  thus 

converges with a list of salient dimensions that have been empirically proven to be 

a  core  part  of  not  only  narrative  comprehension,  but  also more  general  event 

comprehension.  

 

1.3.2 Narrative as mimicry of experience 

 

In addition to the elements outlined above, two additional elements help shed light 

not only on what narrative is, but also what makes narrative so interesting to us as 

humans. The  first  is particularity. Herman  (Herman, 2009, pp. 89‐99) argues  that 

narratives  tend  to  be  particular  rather  than  generic  descriptions  of  events. 

According to Herman, the degree of particularity describes a sliding scale between 

explanation  and narrative. That  is  to  say,  the more prototypical narrative  text  is 

one  that  describes,  in  greater  detail,  a  unique  game  of  chess  between  specific 

individuals  in  a  particular  time  and  place  rather  than  an  explanation  of  how  a 

generic game of chess might play out.  

Page 35: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  17

The  second element  is  the  inclusion of descriptions of  the experience of 

the  agents  involved;  their  thoughts,  feelings,  and  perceptions. Herman  refers  to 

this  as  qualia  or  ‘what  it  is  like’  (Herman,  2009,  pp.  21‐22)  and  Fludernik  as 

‘experientiality’  (1996,  p.  12). What  is meant  by  these  terms  is  that  the more 

prototypical a narrative, the more likely it will include details about how our chess 

players feel; sweaty hands, intense focus, excitement at a succesfull stratagem, and 

happiness for the eventual winner.  

Fludernik’s notion of experientiality as a  central  component  to narrative 

also involves the proposition that narrative mimics real human experience in that it 

mirrors  the basic ways  in which we cognitively engage with  the world around us 

(1996,  p.  35).  The  particularity  of  the  events  in  combination  with  detailed 

experiential  information  contributes  to  the  vividness  of  this mimicry  of  human 

experience. The vivid mimicry of a  real experience  is almost  certainly one of  the 

things that draw readers to stories in the first place.  

The  idea that narrative mimics the way we understand the world around 

us  is  taken  further  by  Porter  Abbott  (2008,  pp.  7‐12)    by  positing  that  we 

fundamentally perceive the world as narratives. He illustrates this with examples of 

how we automatically perceive narratives unfolding  in static pictures or paintings. 

Another illustration of our proclivity to perceive narratives where there are, strictly 

speaking, none is a seminal psychology experiment (Heider & Simmel, 1944). Their 

participants  were  tasked  to  describe  a  short  animation  that  showed  the 

movements of geometric figures on a white field. Almost all participants described 

seeing  animate  agents,  usually  humans,  acting  out  a  connected  story. Only  one 

participant reported seeing geometric figures moving on a white background. The 

notion of mimicry arising  from narratology bears some similarity  to  the  theory of 

grounded  cognition.  Fludernik  (2003)  even  explicitly  bases  her  definition  of 

narrative on a  cogntiviely grounded  relationship between human experience and 

the representation of that experience in narrative text.  

Page 36: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

18

The  ingredients  of  a  protypical  narrative—including  information  about 

what  it  feels  like—  the  ubiquity  of  narratives  and  the  way  it  reflects  the  way 

humans  perceive  the world  around  them make  narrative  a  rich  and  ecologically 

valid arena to study affective  language processing.  In fact,  I would argue that any 

grounded theory of language comprehension that includes simulation would not be 

complete  without  accounting  for  narrative  comprehension.  Because 

comprehension  is not a  ‘cold’ cognitive process, and we actually care, sometimes 

quite  deeply,  about what  stories  relate, we  arrive  back  at  the  central  question 

regarding  the  role  of  simulation  and  evaluation  in  real‐time  language 

comprehension: is the corrugator activity (or another index of affective valence) we 

see  during  online  affective  language  comprehension  the  result  of  simulation  or 

evaluation? And moreover, what if our evaluation is at odds with what we ought to 

be simulating? 

This introduction began by illustrating this tension between simulation and 

evaluation  with  a  work  of  great  literary  esteem,  but  it  can  equally  easily  be 

demonstrated using stories we  tell each other every day. A prime example  is  the 

ubiquitous practice of gossip as a tool of social control and reputation management 

(Dunbar, 2004). For example, I might tell you a story descibing how happy a mutual 

acquaintance  was  when  they  received  their  degree.  Now,  simulation  and 

evaluation of  this happiness would align  (i.e.,  they would both be positive)  if you 

know this mutual acquaintance to be an honest, hard‐working individual. However, 

if you know them to have plagiarised a paper, defrauded exams, or you know they 

cheated on your friend, simulation of this person being ‘happy’ would still have to 

be positive, but your evaluation of  their happiness would very  likely be negative. 

The next section develops a generalised framework  for how this potential conflict 

between simulation and evaluation could be reflected by corrugator activity. 

 

Page 37: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  19

Figure 1. Driver model for facial EMG activity during online affective language comprehension 

1.4 A language processing framework for facial EMG activity  

 

This  introduction  has  thus  far  outlined  the  three  critical  components  in  the 

investigation  of  affective  complexity  in  real‐time  language  processing:  1)  the 

theoretical framework of grounded cognition and the notion of simulation 2) how 

we measure and operationalise emotion/affect, and 3) the nature and suitability of 

narrative as a medium. Based on these three elements, this final section presents a 

framework  for  facial  EMG  activity  during  real‐time  affective  language 

comprehension.  This  framework  includes  a  schematic  of  how  the  reader would 

process a narrative text   and  identifies where and how simulation and evaluation 

might  be  expected  to  activate motor  control  areas  governig  corrugator  activity, 

which is then recorded using surface facial EMG. 

  

Page 38: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

20

The  dotted  lines  labelled    S1  and  S2  both  refer  to  language‐driven  simulation. 

Driver S1 describes simulation of lexical concepts as they are retrieved. Drawing on 

the example of  the quote  from Lolita once more,  it would describe simulation of 

lexical concepts such as ‘love’. Driver S1 is the most likely force behind the effects 

previous  affective  language  processing  studies  have  found  using  individual 

affectively salient words (e.g., Foroni & Semin, 2009; Künecke, Sommer, Schacht, & 

Palazova, 2015).  

Driver S2 describes simulation as part of a situation model, a mental model 

of,  for  instance,  Humbert  Humbert  experiencing  the  feeling  of  being  in  love  as 

described  in  the  quote  at  the  start  of  this  chapter.  Driver  S2  will  likely  have 

conributed to the effects found  in experiment using  longer fragments of  language 

in facial EMG studies (e.g., Glenberg, Webster, Mouilso, Havas, & Lindeman, 2009; 

Havas, Glenberg, Gutowski, Lucarelli, & Davidson, 2010; Fino, Menegatti, Avenanti, 

& Rubini, 2016).  

Driver E  for evaluation,  indicates the  influence of the reader’s evaluation 

of  the  situation  model  on  the  facial  muscles.  This  is  the  factor  that,  to  our 

knowledge,  none  of  the  studies  cited  above  that  use  facial  EMG  to  explore 

simulation  effects  during  affective  language  processing  have  considered.  In  the 

next three sections three possible ways in which the interplay between simulation 

and evaluation might be predicted to play out  in facial muscle activity, specifically 

of  the corrugator, as measured using EMG. Finally,  the question mark  represents 

the empirical research question at the centre of this thesis: which of these possible 

input  drivers  for  corrugator  motor  control  systems  will  surface  in  the  actual 

corrugator activity as measured by us using surface EMG? 

1.4.1 Simulation‐only model 

 

The simulation‐only model for corrugator activity during online affective  language 

comprehension  predicts  that  corrugator  activity  will  be  solely  determined  by 

language‐driven simulation (drivers S1 and S2). This model further predicts that any 

Page 39: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  21

affective response based on the evaluation of the affectively‐salient  language will 

not show up  in  the corrugator activity  (driver E). Taking  the concrete example of 

the  quote  from  Lolita  at  the  start  of  this  introduction,  this  would  mean  that 

corrugator  activity will  be  solely  determined  by  the  simulation  of  concepts  like 

‘love’ or the situation model containing the character, Humbert Humbert, who is in 

love.  Our  negative  evaluation  of  the  fact  that  this  type  of  love  is  entirely 

inappropriate  considering  that  it  applies  to  a  child,  will  not  be  reflected  in 

corrugator muscle activity. 

This model is highly unlikely, considering that an important social function 

of narrative  is gossip, and  facial expressions there are crucial  for social alignment 

(e.g., Dunbar, 2004). Furthermore, moral evaluation  is  largely automatic  (Greene, 

2014)  and,  despite  the  fact  that  it  concerns  a  fictional  narrative  in  a  lab 

environment,  it  seems  unlikely    that  language‐driven  simulation would  override 

moral evaluation entirely. Existing evidence shows that moral considerations do in 

fact  influence  langauge  processing,  even  in  a  lab  context  (e.g.,  van  Berkum, 

Holleman, Nieuwland, Otten, & Murre, 2009; Leuthold, Kunkel, Mackenzie, & Filik, 

2015). Although unlikely, it is postulated here because one could argue that this is 

precisely the model that is assumed in  the facial EMG studies cited in the previous 

section that  interpret  facial muscle activity as  indicative of simulation of affective 

language. 

1.4.2 Evaluation‐blocks‐simulation model 

 

The second model under consideration predicts that evaluation will determine the 

corrugator  activity  entirely  (driver  E),  leaving  no  trace  of  any  language‐driven 

simulation  (drivers  S1  &  S2).  Concretely  this would  result  in  corrugator  activity 

indicative of negative affect following our negative evaluation of Humbert Humbert 

falling in love with a young girl. There would be no trace of any positive simulation 

of either the concept  ‘love’ or a situation model of  ‘somebody being  in  love’. The 

absence of any evidence of simulation in corrugator activity would not necessarily 

Page 40: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

22

mean that simulation does not occur in emotion systems. As facial EMG activity is a 

down‐stream effect of simulation in emotion systems in the brain, it is possible that 

simulation  does  occur,  but  does  not  surface  in  fthe  resulting  corrugator  activity 

measured using EMG. This could be because evaluation overwhelms  it or because 

realisation of motor impulses resulting from simulation is blocked in these cases of 

vicarious  experience,  just  as muscle  activity  is  inhibited  in  sleep  during  dreams 

(e.g., Schenk, 2015). 

1.4.3 Multiple‐drivers model 

 

The third possible model is one where both simulation and evaluation leave traces 

in  corrugator  activity  during  online  affective  language  comprehension.  The 

contribution of both simulation and evaluation could either occur concurrently or 

successively.  If  they occur successively, one after  the other,  then a very plausible 

arrangement  is  one  in  which  language‐driven  simulation  first  drives  corrugator 

activity and  then  is  later overridden by evaluation. To  return  to our example, we 

might  first see positive affect  reflected as a  result of a simulation of  the positive 

affect described in the quote about being in love. This would then be followed by a 

negative affective response when our negative evaluation takes over.  

  If the two drivers have a concurrent  influence they would exert opposing 

forces  on  the  corrugator.  This  could  result  in  an  attenuated  response  of  the 

corrugator.  In order  to ascertain any attenuation,  the corrugator  response would 

have to be compared to an instance where simulation and evaluation were not at 

odds with each other. This  is precisely what has been done  in  the  three  studies 

reported  in the next three chapters. Each of these studies builds on the next and 

together  they  contribute  to  the proposed model  for  affective  responding during 

online  language  comprehension.  Chapter  5 will  consider  the  evidence  from  the 

three  experimental  studies  in  relation  to  the  proposed  processing  model  and 

discuss  the  implications  for  the  various  theoretical  domains  upon  which  this 

research touches. 

Page 41: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  23

2. Study 1 

 Emotion in Stories:   A Facial EMG Study on Simulation vs. Moral Evaluation 

2.1. Introduction 

 

Imagine this: you walk up to your car and see a kid scratch  it with a key 

and run off. There is a good chance that you would be furious and frown at least a 

little bit  as part of  the  expression of  that  anger.  Facial expression  is part of our 

emotional  evaluation  of  the  world  around  us  (Darwin,  Ekman,  &  Prodger, 

1872/1998;  Keltner &  Ekman,  2000).  Because we  reliably  frown more when we 

evaluate things as being negative and less when we deem something positive, the 

corrugator  supercilii muscle  is  especially  useful  as  an  indicator  of  our  emotional 

evaluation  of  things,  and  of  how  we  express  that  evaluation  to  others.  Using 

surface  facial  electromyography  (EMG),  we  can  accurately  record  corrugator 

activity.  Its strong negative  linear relationship to emotional valence, ranging  from 

positive to negative, makes it a reliable indicator of the emotional significance of a 

given stimulus (Larsen, Norris, & Cacioppo, 2003; Tassinary, Cacioppo, & Vanman, 

2000). 

Now consider the following sentence: “Mark  is furious when he walks up 

to his car and sees a kid scratch it with a key and run off.” A number of studies have 

shown that simply processing affectively salient language, even if it describes some 

Page 42: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

24

fictional  character’s  anger  at  their  fictional  car  being  keyed,  will  also  evoke 

corrugator activity (e.g., Foroni & Semin, 2009; Glenberg, Webster, Mouilso, Havas, 

&  Lindeman,  2009;  Niedenthal,  Winkielman,  Mondillon,  &  Vermeulen,  2009). 

Within the framework of theories of grounded language processing, activity of this 

facial muscle is believed to result from language‐driven simulation of what is being 

referred to. Simulation, in these cases, is taken to denote the neural reactivation of 

experiential traces stored from earlier perceptual, affective, and motor experience 

with the world (e.g., Barsalou, 2008). Such simulation would be part of the retrieval 

and semantic combination of word meanings  (retrieving the semantics of  furious, 

and constructing the semantics of “Mark is furious”) and/or of building a situation 

model  (imagining Mark  being  furious;  cf.  Zwaan  &  Radvansky,  1998;  Zwaan  & 

Kaschak,  2008).  Within  this  framework,  corrugator  activity  is  most  sensibly 

interpreted  as  a  downstream  consequence  of  the  neural  simulation  of  affect 

(rather  than  as  reflecting  a  critical  role  for  muscle  activity  itself  in  language 

processing). 

If  the  neural  systems  involved  in  real‐world  emotional  evaluation  (e.g., 

your outrage over some situation or event) are also used as part of such language‐

driven simulation (e.g., reading about somebody else’s outrage over some situation 

or  event),  this  raises  an  interesting  question:  what  happens  when  the  same 

systems  are  recruited  to  conflicting  ends?  The  issue does not  easily  come up  in 

grounded  language  processing  experiments  that  use  only  single words  or  short 

sentences  (e.g.,  “furious”,  or  “Mark  is  furious”),  because,  although  such  simple 

materials  afford  simulation,  they  do  not  necessarily  elicit  a  lot  of  evaluation. 

Moreover, the evaluation that  is elicited by such  limited stimuli  is  likely to always 

be congruent with language‐driven simulation. However, if we scale up complexity 

by placing such materials in a richer discourse context (Van Berkum, 2008; Zwaan, 

2014),  evaluation  may  covary  or  conflict  with  simulation.  Consider  again  the 

example of  reading  about Mark’s  car getting  keyed; as we process  the  language 

describing  Mark’s  anger  and  construct  the  associated  situation  model,  neural 

Page 43: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  25

simulation  in support of  language comprehension will result  in corrugator activity 

that reflects negative affect. However, if we feel that Mark is a bad person, we may 

well evaluate his negative affect as something he deserved, so as positive. While it 

is  well‐established  that  Schadenfreude  does  in  fact  occur  in  such  cases  (e.g., 

Feather & Nairn, 2005; Leach & Spears, 2009; Singer, et al., 2006) and that this can 

also  influence  facial  muscle  activity  recorded  using  EMG  (Cikara  &  Fiske, 

Stereotypes and Schadenfreude: Affective and physiological markers of pleasure at 

outgroup misfortunes, 2012), to our knowledge no research has been done on how 

such affective evaluation meshes with language‐driven simulation. Our experiment 

focuses specifically on how  the conflicting demands  that affective evaluation and 

language‐driven  affective  simulation  make  on  emotion‐relevant  motor  systems 

play out, and how that is reflected in the corrugator activity. 

In our experiment we explored  the potential conflict between  language‐

driven simulation and emotional evaluation by measuring corrugator activity over 

two critical segments in short narratives. First, we manipulated the moral status of 

a  main  character  by  having  this  protagonist  act  either  morally  or  immorally. 

Second,  we  manipulated  a  critical  event  where  the  protagonist  experiences 

something  that  is  positive  or  negative  to  them.  The  character  morality 

manipulation  was  designed  to  render  the  character  moral  (‘good’)  or  immoral 

(‘bad’)  to  the  average  reader,  and  to  as  such  create  the  basis  for  a  differential, 

character‐dependent moral evaluation of  subsequent good or bad  critical events 

befalling  the  character.  We  assumed  that  good  events  happening  to  moral 

characters would primarily be evaluated as fair and lead to corresponding positive 

emotions  (e.g.,  a  sense  of  justice),  whereas  bad  events  happening  to  those 

characters  would  primarily  be  evaluated  as  unfair  and  lead  to  corresponding 

negative emotions (e.g., moral indignation, anger, pity). Critically, we assumed that 

how  readers evaluate  those  same events would  change dramatically when  these 

events  would  befall  immoral  characters,  with  good  events  happening  to  those 

characters primarily evaluated as unfair, leading to related negative emotions (e.g. 

Page 44: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

26

moral indignation, anger, irritation), and bad events happening to those characters 

primarily  evaluated  as  fair,  leading  to  positive  emotions  (e.g.,  Schadenfreude,  a 

‘serves‐you‐right’  sense  of  justice).  In  Table  1  below,  an  example  narrative 

illustrates the design of our study, as well as the specific timing of presenting the 

various fragments.  

 Baseline Neutral distractor image 3 s

Introduction

Mark  is driving through the pouring rain, on his way to his 

mother.  He’s  still  in  the  inner  city  and  big  puddles  have 

formed.  It’s  been  raining  non‐stop  since  yesterday.  Some 

streets  are  practically  flooded.  There  are  few  cars  on  the 

road  and  fewer  bicycles  and  pedestrians  still.  Mark  is 

headed  for  a  giant  puddle  and  spots  a  pedestrian  on  the 

sidewalk.

18 

s

Character 

Morality 

(moral/immoral)

Mark  slows  down  to 

avoid  the  puddle, 

making  sure  he 

doesn’t  splash  the 

pedestrian.

OR

Mark  accelerates 

through  the 

puddle  on 

purpose  to  create 

a  big  splash  and 

soak  the 

pedestrian.

5 s

Continuation

Once  outside  the  city  he  is  driving  along  on  the  freeway. 

There  still  isn’t  a  lot  of  traffic  and Mark  is  enjoying  the 

landscape and the drive. He’s got the radio on full blast and 

sings  along  loudly. When  he  glances  at  the  dashboard  to 

adjust  the  channel he  spots  a warning  light. He  forgot  to 

put petrol  in the car and has been running on empty for a 

while.

15 

s

Critical  Event  

(positive/negative 

for the character)

Mark  is  happy when 

he  immediately 

spots a petrol station 

and  he  avoids  being 

stranded.

OR

Mark  is  frustrated 

when  there  isn’t a 

petrol  station  in 

sight  and  he 

becomes  stranded 

by the roadside.

5 s

  Press ‘space’ to continue to the next story  

Table 2.1. Example narrative, also illustrating trial structure and timing 

 

Page 45: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  27

On  the  assumption  that  participants  are  in  a  neutral  or  otherwise 

moderate  affective  state  as  they  read  the  introduction,  our  predictions  for 

corrugator  activity  at  the  subsequent  character  morality  segment  are 

straightforward: increased corrugator activity (frowning) for immoral actions, but a 

decrease  for moral actions  (relaxation). Although also of  interest  in  itself,  such a 

differential  response  would  above  all  suggest  that  the  character  morality 

manipulation  was  successful,  and  thatthe  stage  would  be  set  for  subsequent 

events.  

The critical predictions concern what happens when readers subsequently 

read  about  good  or  bad  events  befalling  the  character. With moral  characters, 

negative events are expected  to clearly  increase corrugator activity, because of a 

negatively  valenced  simulation  of  the  character’s  state,  a  negatively  valenced 

evaluation by the reader, or a combination of the two. For similar reasons, positive 

events befalling moral characters are expected to relax the corrugator, because of 

a  positively  valenced  simulation,  a  positively  valenced  evaluation,  or  both. With 

immoral  characters,  however,  simulation  and  evaluation  valence will  conflict,  at 

least for the average reader: something bad happening to an immoral character is 

negative  for  the  character  but  positive  for  the  reader,  and  something  good 

happening to an immoral character is positive for the character but negative for the 

reader.  Hence,  with  immoral  characters,  language‐driven  simulation  should  in 

principle  recruit  the  neural  systems  that  control  the  corrugator  to  simulate  one 

valence  (positive  or  negative) while  evaluation  should  in  principle  recruit  those 

same systems to express the opposite valence. The outcome of this conflict  is the 

main focus of the experiment.  

We considered three possible models to predict corrugator activity at the 

critical  event.  The  first  is  one where,  during  narrative  fiction  reading,  language‐

driven simulation totally captures the corrugator, and does not reflect evaluation. 

This  simulation‐only model predicts  that even  in  the  face of oppositely  valenced 

evaluation  (i.e., good or bad  things befalling an  immoral protagonist), corrugator 

Page 46: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

28

activity  would  simply  show  the  simulation  involved  in  constructing  a  situation 

model (imagining the protagonist as frustrated or happy) and/or the simulation of 

lexical meaning  (“frustrated”,  “happy”)  in  the  service  of  such  construction. We 

deem this model rather unlikely, in part because of the evolutionary significance of 

narrative in moral and other social‐affective evaluations (notably in gossip, Dunbar, 

2004),  and because of  the  roles  that  affective  evaluation  and  the  accompanying 

overt facial expressions play in socially responding to interpersonal narrative (with 

facial expression usually seen as a constituent of such emotion, see Van Berkum, in 

press).  Furthermore,  as  simulation  is  itself  grounded  in  such  primary  affective 

evaluation,  it  would  be  peculiar  to  predict  that  in  language  comprehension, 

simulation prevails over ‘the real thing’. We include the simulation‐only model as a 

logical possibility,  though,  in part because  it  can be  taken  to  represent  the  tacit 

assumption made in much grounded language processing research.  

The second model under consideration holds that, in line with the role of 

narrative  (e.g.,  gossip)  in  moral  evaluation,  the  emotional  response  to  the 

perceived  fairness of  the event completely captures  the corrugator such  that  the 

neural systems controlling it are no longer available for language‐driven simulation. 

This  evaluation‐blocks‐simulation  model  predicts  that  the  moral  status  of  the 

protagonist determines the ultimate evaluative valence of a critical event in terms 

of fairness, causing the corrugator responses to critical events to ‘flip’ when those 

events  befall  immoral  rather  than  moral  characters.  For  instance,  relative  to 

positive events, negative events should  lead  to  increased corrugator activity  (i.e., 

negative affect) when they happen to a morally good character, but to decreased 

corrugator activity (i.e., positive affect) when they happen to a bad character. This 

model makes  the  reasonable  assumption  that,  although  the neural  systems  that 

control facial muscles might be free for simulating emotion as long as people don’t 

care  about what  they  read,  those  systems will  immediately  be  recruited  in  the 

service  of  real  evaluative  emotion  as  soon  as  a  narrative  describes  something 

worthy of evaluation. 

Page 47: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  29

The  third model we  consider  is one  in which  evaluation  and  simulation 

both  determine  corrugator  activity.  This  multiple‐drivers  model  predicts  that 

simulation  and  evaluation  both  leave  traces  in  the  activity  of  the  corrugator  as 

indexed by EMG. Because the drivers may  interact  in ways that are difficult to  lay 

out  in  advance,  the  exact  pattern  of  results  is  hard  to  predict.  The  one  clear 

prediction,  though,  is  that  the  corrugator  EMG  patterns  cannot  be  explained  in 

terms of one of the simpler models laid out before. 

The strength of the effects hypothesised under these three models could 

arguably vary as a result of individual differences. We included two questionnaires 

that  measure  the  tendency  of  people  to  experience  emotions  in  response  to 

narratives and their tendency to empathize and/or sympathize with the emotions 

of others. For the former we use the Transportability questionnaire (Dal Cin, Zanna, 

& Fong, 2004), measuring the degree to which people are readily transported into 

narratives. Research shows that transportation influences, among other things, the 

intensity of our emotional experience of a narrative (e.g. Green, Brock, & Kaufman, 

2004).  The  second  questionnaire,  the  Adolescent  Measure  of  Empathy  and 

Sympathy  (AMES;  Vossen,  Piotrowski,  &  Valkenburg,  2015)2,  measures  three 

components  of  pro‐social  emotion:  affective  empathy  (‘feeling  what  another 

feels’),  cognitive  empathy  (‘understanding  what  another  feels’),  and  sympathy 

(‘feeling for the other’). 

 

 

 

                                                            2 We opted  to use  the AMES because  it neatly  separates  cognitive and affective empathy,  in a more principled  way  than  alternative  empathy  questionnaires  (see  Vossen  et  al.,  2015,  for  discussion). Although  originally  targeting  adolescents,  the  items  that  make  up  the  scales  were  not  deemed inappropriate for our age group. 

Page 48: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

30

2.2. Method 

2.2.1 Participants and Stimulus Material 

 

60 students (47 female, age range 18‐30, M = 21.08, SD =3.43) recruited from the 

participant pool of the UiL OTS participated in exchange for financial compensation 

(€ 12,‐). Before the experiment started, participants read and signed an elaborate 

informed  consent  form  (available  from  the  corresponding  author  upon  request) 

detailing  the  nature  of  the materials  and  the  procedure  as well  as  emphasising 

participants’ right to withdraw consent at any time during the experiment without 

being  required  to  provide  a  reason  or  losing  the  right  to  compensation.  All 

participants were native speakers of Dutch, without a diagnosis of dyslexia, without 

Botox injections in the face and with normal or corrected‐to‐normal vision.  

64  Short  narratives  were  created  for  the  experiment  according  to  the 

structure  outlined  in  Table  1  above,  each  in  four  variants  based  on  our  2  x  2 

(morality x event) design. The character morality manipulation was pre‐tested in a 

different  group  of  38  students  (35  female),  recruited  from  the  same  participant 

pool and similar  to  the experiment group. The pre‐test participants were divided 

into two groups and each read half (32) of the stories up to and including the moral 

manipulation. They were first asked to rate, on a 7‐point scale, how prosocial (1) or 

antisocial (7) the actions of the protagonist were, and, second, how expected (1) or 

unexpected (7) the actions of the protagonist were. Moral actions were considered 

more prosocial  (M = 1.69, SD = 1.04) than  immoral actions  (M = 5.99, SD = 1.04). 

Moral actions were also considered slightly more expected  (M = 3.17, SD = 1.57) 

than immoral ones (M = 5.16, SD = 1.56).  

We created four pseudorandomized stimulus lists with 64 narratives each, 

such that (a) every narrative occurred once  in one of four variants  in each  list, (b) 

participants would see 16 narratives  in each of the four conditions, 8 with a male 

and  8 with  a  female  protagonist,  (c)  average  item  properties  in  each  list were 

similar in terms of pro‐sociality (and expectedness as its inevitable correlate(d) two 

Page 49: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  31

lists were  in  the  reversed order, and  (e) each narrative occurred with both male 

and  female  protagonists  across  the  four  different  lists, with  the  exception  of  9 

narratives  that  had  fixed  gender  due  to  stereotypical  behavioural  expectations. 

Dutch  stimulus  materials  are  available  upon  request  (see  Supplementary 

Information A1). 

 

2.2.2 Procedure and Data Acquisition 

 

After  reading and  signing an  informed consent  form, participants  received verbal 

instructions. In a separate room, stimuli were presented on a screen at a distance 

of approximately 60  cm.  Stimuli were presented as outlined  in Table 1,  in white 

Times New Roman (24 pt.) on a black background. Participants read 64 narratives 

in total, preceded by 2 practice trials. Presentation rate of trials was self‐paced with 

two fixed longer pauses during the experiment. Facial EMG activity was measured 

using reusable Ag/AgCl electrodes with a 2 mm contact area over corrugator and 

zygomaticus muscles on  the  right  side of  the  face  (van Boxtel,  2010). Raw  EMG 

signals were  recorded with a NeXus‐10 MKII biosignal  system  (Mind Media) at a 

sampling  rate of 2048 Hz. After  finishing  this part of  the  experiment,  electrodes 

were  removed, participants moved  to a  laptop  to  fill out  the questionnaires, and 

finally received their payment.  

 

2.2.3 Data Preparation and Analysis 

 

EMG data. The raw data were band‐pass filtered between 20‐500 Hz (48 dB/octave 

roll‐off) and were additionally filtered with a notch filter at 50 Hz (see Van Boxtel 

2010  for  justification  of  filter  parameters),  followed  by  signal  rectification  and 

segmentation per narrative, all  in BrainVision Analyzer 2. For each narrative,  the 

3000 ms before story onset, consisting of the presentation of a neutral distractor 

Page 50: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

32

image  of  a  forest  scene,  were  inspected  for  remaining  artefacts. We  selected 

maximally long continuous baseline epochs, with the requirement of a minimum of 

500  ms  of  artefact‐free  signal  for  both  muscles  simultaneously.  Trials  were 

excluded if such a 500 ms baseline epoch could not be found (data loss of 0.50%).  

We included the zygomaticus (smiling) muscle to afford compatibility with 

previous  studies  addressing  emotional  valence.  However,  as  Larsen,  Norris,  & 

Cacioppo (2003) note, the zygomaticus is primarily a marker of positive affect only 

and thus does not reflect emotional valence in the same way the corrugator does. 

The same study also showed that zygomaticus was  less reliable as an  indicator of 

valence  in  the  case of  linguistic  stimuli. We would add  to  this  that, especially  in 

more complex environments such as our narrative stimuli, smiling activity may be 

difficult  to  interpret:  smiles  can  be  wry,  sarcastic,  and  smirking  as  well  as 

expressions  of  true  positive  feeling. We  therefore  focus  on  the  corrugator,  and 

report the zygomaticus data in Supplementary Information D1 for reference. 

Following  baseline  selection,  data  were  exported  to MatLab  and  then 

further  segmented  in  two  epochs  of  5000 ms,  time‐locked  to  the  onsets  of  the 

character morality and critical eventsegments in each story. Next, the data for both 

the character morality segment and the critical event segment were divided into 50 

consecutive 100 ms bins for optimal temporal resolution and reduction of random 

error, with the average EMG response in each bin expressed as a percentage of the 

pre‐story baseline epoch  (expressing  responses as a percentage of baseline helps 

reduce  random variance both within and between  individuals; van Boxtel, 2010). 

Supplementary Information B1 shows continuous average activation in 100 ms bins 

for an entire trial. 

  We  performed  a Mixed Models  Linear  Regression  analysis  (using  SPSS 

version  24)  for  both  critical  segments.  Rather  than  simply  looking  at  average 

activation  over  the  whole  segment,  we  built  a  growth  curve  model  that  also 

captured  linear,  quadratic  and  cubic  trends  in  the  signal  (Peck & Devore,  2008; 

Mirman, 2015; trend components were centred to avoid correlation between trend 

Page 51: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  33

components). Using three trend components gives us two flex points and allows us 

to describe a response  in some detail while retaining  interpretability and avoiding 

over‐fitting  (Mirman,  2015). Models were  fitted with  100‐ms  resolution,  but  for 

ease of comprehension, parameter estimates  (e.g., a b  for a  linear  slope) will be 

reported  per  second. Note  that while we  do  not  report  effect  size metrics,  our 

parameter estimates reflect percentages and as such already give an  indication of 

the size of the effect of a given predictor. We included separate trend components 

for each condition and added these iteratively, so as to achieve maximal modelling 

flexibility without  forcing  the model  to  fit,  for  instance,  a quadratic  trend  for  all 

conditions  when  only  some  contained  a  significant  quadratic  component.  The 

model  included  subjects  and  items  over  lists  as  random  intercepts,  and  random 

slopes for the trend components on the subject factor, but  in the Results we only 

report (comparisons on the) linear component. We added predictors iteratively and 

used  the  −2LL  chi‐square  test  of model  fit  to  assess whether  each  added  factor 

improved  the  model  (p  <  .05).  Supplementary  Information  C1  contains  the 

complete model summaries. 

 

Questionnaire Data.  For  the  transportability questionnaire, we  calculated a basic 

total  score  ranging  from  20  to  180.  The  AMES  questionnaire  contained  three 

subscales  each  ranging  from  1  to  5:  affective  empathy,  cognitive  empathy,  and 

sympathy. We  calculated  the  averages  for  each  subscale  based  on  the  original 

authors’ validation study (Vossen, Piotrowski, & Valkenburg, 2015).  To analyse the 

individual differences, we used the mixed models procedure again, but without the 

growth curve to avoid overcomplicating the analysis with four‐way interactions. We 

examined the effect of each trait on average corrugator activation over the entire 

5000 ms of each of the manipulated segments, entering the individual differences 

as covariates in the fixed part of the model. 

 

Page 52: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

34

2.3. Results 

2.3.1 Character Morality Manipulation 

 

As  can  be  seen  in  Figure  1,  reading  about moral  and  immoral  actions  elicited  a 

clearly differential corrugator  response.3 For moral actions we saw a gradual and 

modest decrease in activity. In contrast, we found a rapid and substantial increase 

in corrugator activity starting within the first second in response to immoral actions 

of  the main  character.  Statistical  analysis  corroborated  these observations.  First, 

the  fixed  effects  revealed  an  effect  of  character morality, with  immoral  actions 

leading  to higher activation  than moral actions  (difference b = 29.46,  t  (26.42) = 

13.02, p  <  .001, 95% CI of  [25.00 33.91]).34  Furthermore, whereas moral  actions 

induced a  significant  linear decrease  in corrugator activity  (b =  −1.79,  t  (59.99) = 

−4.02, p < .001, 95% CI [−2.69, −0.90]), the regression for immoral ac ons included 

a significant  linear  increase  in corrugator activity  (b = 15.14,  t  (59.97) = 4.55, p < 

.001, 95 % CI [8.48, 21.80]), with both linear trends also differing significantly from 

each  other  (p  <  .001;  all  slope  estimates  per  second).  This  is  in  line  with  our 

predictions  that moral  actions  would  elicit  positive  affect  and  immoral  actions 

would elicit negative affect.  It also suggests  that  the stage was effectively set  for 

our  subsequent critical event manipulation. For a complete  report of  the  results, 

see Supplementary Information C1.  

                                                            3 The corrugator responses in Fig. 1 start slightly above the 100% baseline level. We suspect this reflects the  additional  effort  demanded  by  reading  the  preceding  introduction  segment  of  the  narratives,  in comparison with passive viewing of the preceding neutral image. 4  Because  our  growth  curve  analysis  used  centred  time  components,  the  intercept  in  our  analyses represents the average activation over the entire time window, rather than the point where the curves leave  the Y‐axis. Furthermore, whereas  the  reported  intercepts are based on  fixed effects  in  the  final model only, the fitted  line  in Figure 1  includes both the fixed effects and the random effects from the model. 

Page 53: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  35

 

Figure  2.1. Observed  averages  of  corrugator  response  during  character morality 

segment, with growth curve model regression overlaid. 

 

2.3.2 Critical Event Manipulation   

 

Figure  2  below  shows  the  results  for  the  critical  event manipulation:  something 

positive or negative befalling the character. Our predictions concerned the effect of 

the character morality on the valence of the corrugator response, in relation to the 

valence of  the event. We will  therefore discuss  the  critical events  separately  for 

moral and immoral characters. 

Page 54: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

36

 

Figure  2.2 Observed  averages  of  corrugator  response  to  critical  events  befalling 

moral and immoral characters, with growth curve model regression overlaid.  

 

Moral Characters. The  corrugator  response  to  critical events happening  to moral 

characters  revealed  a  clear  differential  pattern  for  positive  and  negative  events 

(see Figure 2, squares and solid lines), with negative events eliciting an increase in 

corrugator  activity,  and  positive  events  leading  to  a  decrease  in  activity.  This 

pattern  was  corroborated  by  statistical  analysis.  For moral  characters,  negative 

events  elicited  significantly  stronger  mean  corrugator  activation  than  positive 

events (moral‐negative ‐ moral‐positive difference: b = 21.11, t (272.33) = 8.19, p < 

.001,  95%  CI  of  [26.18,  16.03]),  and  also  resulted  in  clearly  different  temporal 

developments.  In  particular,  whereas  the  model  regression  for  moral‐negative 

contained a linear increase in activation (b = 3.60, t (95.84) = 3.20, p = .01, 95% CI of 

Page 55: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  37

[1.37, 5.84]), moral‐positive  conditions  led  to a  linear decrease  in activation  (b = 

−2.58, t (59.74) = −4.54, p < .001, 95% CI [−3.71, −1.44]). Note, all slope es mates 

are reported per second. A pairwise comparison of these linear trends also revealed 

they differed significantly at the p < .001 level.  

  Although these different corrugator results reflect a difference  in valence 

of  the  critical  event,  the  data  at  this  point  do  not  allow  us  to  say whether  the 

corrugator response here reflects language‐driven simulation, moral evaluation, or 

a mixture of  the  two. This  is because  in  the case of moral characters,  simulation 

and evaluation predict the same valence for the corrugator response. To illustrate, 

language  describing  a  negative  event  befalling  a moral  character would  involve 

simulation  of  negative  concepts  or  negative  character  emotions  in  the  situation 

model  and  as  such  lead  to  increased  corrugator  activity.  By  the  same  token 

however,  the evaluation of a negative event befalling a good  character as unfair 

would also lead to increased corrugator activity.  Our design included the immoral 

character  conditions  to  pull  these  potential  drivers  of  the  corrugator  response 

apart. 

 

Immoral  Characters.  The  corrugator  response  for  immoral‐positive  and  immoral‐

negative  conditions  (see  Figure  2,  triangles  and  dashed  lines)  presented  a  very 

different picture  from  that  for  the moral  characters. At  first glance,  the  immoral 

conditions  did  not  show  a  clear  valenced  response  at  all.  The  statistical model 

confirmed this  impression. With  immoral characters, mean corrugator activity did 

not  significantly  depend  on  whether  a  positive  or  negative  event  occurred 

(immoral‐positive ‐ immoral‐negative difference: b = 1.37, t (272.40) = 0.53, p = .60, 

95%  CI  [−3.71,  6.44]).  Furthermore,  although  including  linear  and  quadratic 

components for both positive and negative events befalling characters significantly 

improved  the  model,  none  of  the  linear  and  quadratic  estimates  themselves 

significantly  different  from  zero  (see  Supplementary  Information  C1).  In  all,  the 

Page 56: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

38

statistics  indicate a  flat‐line  corrugator  response  in both  cases and no  significant 

difference between the two. 

These  results  do  not  sit  well  with  the  simulation‐only  model  (which 

predicted similar corrugator effects of negative versus positive events regardless of 

protagonist  status),  nor  with  the  evaluation‐blocks‐simulation  model  (which 

predicted that the pattern of corrugator activation would track fairness, and hence 

flip for bad protagonists, relative to good protagonists). Because the results cannot 

easily  be  explained  in  either  of  these  simple  models,  they  suggest  that  some 

version of the multiple‐drivers model, where both  language‐driven simulation and 

moral evaluation exerted control over the corrugator, is appropriate here. We will 

explore this further in the Discussion section. 

2.3.3 Individual Differences 

 

We analysed  the  individual differences by entering each personality  trait 

as  a  continuous  covariate  in  the  fixed part of  a  simplified model which  included 

morality  and  critical  event,  but  excluded  linear,  quadratic  and  cubic  trends  (see 

Methods).  The personality  traits  included Cognitive  Empathy  (M  =  3.54,  range  = 

2.17‐4.83) Affective Empathy  (M = 3.01,  range = 1.60‐4.00) Sympathy  (M = 3.86, 

range  =  2.5‐4.75)  and  Transportability  (M  =  73.19,  range  =  39‐132). Our models 

revealed  that  in  either  of  the  critical  segments,  only  Affective  Empathy  and 

Transportability  significantly  modulated  corrugator  activity  (see  Supplementary 

Information E1). 

At the character morality segment, Affective Empathy scores only had an 

effect on corrugator activity elicited by immoral actions (b = 16.16, t (61.74) = 3.46, 

p  <  .001, 95% CI  [6.84, 25.48]), with higher Affective Empathy  scores  associated 

with more negative affect. At the same segment, Transportability also modulated 

the  corrugator  responses elicited by  immoral actions only  (b =  −0.55,  t  (62.05) = 

−3.42,  p  <  .001,  95%  CI  [−0.87,  −0.23]),  with  higher  Transportability  scores 

associated with  less  negative  affect.  Affective  Empathy  and  Transportation  thus 

Page 57: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  39

seemed  to have  the opposite effect on  frowning activity during  immoral actions. 

Because Affective Empathy and Transportation scores themselves were negatively 

correlated  (r(58) =  −.17, p(two‐tailed) <  .001),  their  impact on corrugator activity 

may  not  be  independent.  Corrugator  activity  to moral  actions  did  not  show  a 

significant  effect  of  either  Affective  Empathy  scores  (p  =  .40)  or  Transportation 

scores (p = .54).  

At  the  critical  event  segment,  we  found  that  in  the  moral‐negative 

condition (bad things happening to good people) higher Affective Empathy scores 

once again resulted in more corrugator activity (b = 9.17, t (62.72) = 2.36, p = .02, 

95%  CI  [1.39,  16.95]),  indicating  that  those  higher  in  Affective  Empathy  clearly 

exhibited more negative affect in response to the character experiencing a negative 

emotion.  Furthermore,  we  found  the  same  relationship  between  corrugator 

activity  and  Affective  Empathy  for  the  immoral‐positive  condition  (b  =  8.61,  t 

(62.78) = 2.21, p = .03, 95% CI [0.82, 16.39]). As both conditions can be considered 

to  involve an evaluation  in terms of unfairness, a parsimonious explanation might 

be  that  those predisposed  to  feel what others  feel display more negative  affect 

particularly  in  cases of unfairness, an account  that  can also explain  the Affective 

Empathy  effect  on  corrugator  responding  to  the  first  immoral  action  of  the 

character. At the critical event segment, Transportation scores did not co‐vary with 

corrugator activity in any of the conditions (see Supplementary Information E1).  

2.4. Discussion  

 

Our  study  pitted  language‐driven  simulation  against  moral  evaluation  using 

narratives containing a protagonist manipulated to be moral or immoral. We used 

EMG  to measure  the  response of  the corrugator muscle as an  indicator of  these 

two processes. For the character morality manipulation  (e.g. “Mark slows down / 

accelerates…”), we  expected  that  the  corrugator  response would  clearly  reflect 

moral valence. This prediction was borne out by our results: relative to a pre‐story 

baseline, participants frowned more at  immoral actions and  less at moral actions, 

Page 58: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

40

with  the  difference  between  the  two  emerging  relatively  rapidly,  in  less  than  a 

second after presentation of  the  critical  sentence. This adds  to existing evidence 

that facial EMG recordings in general, and that of the corrugator in particular, can 

help  track  responses  to  affectively  loaded  language  (e.g.  Foroni &  Semin,  2013; 

Foroni &  Semin,  2009; Niedenthal, Winkielman, Mondillon, &  Vermeulen,  2009; 

Glenberg, Webster, Mouilso, Havas, & Lindeman, 2009), and extends that evidence 

to a new domain, the processing of morally  loaded  language (e.g., Van Berkum et 

al. 2009; Leuthold et al. 2015, for EEG  indications of very rapid processing of such 

language).  

The  character  morality  manipulation  was  crucial  to  untangle  the  two 

possible drivers behind  the  corrugator  response  at  the  subsequent  critical  event 

(e.g.,  “Mark  was  happy/frustrated  when…”).  Here,  the  presence  of  immoral 

characters  led  to conflicting valence predictions depending on whether  language‐

driven  simulation  or  fairness‐based  moral  evaluation  drove  the  corrugator 

response, both in the immoral‐negative condition (a bad person befalls something 

bad,  i.e.,  negative  for  the  character  but  fair  in  the  eyes  of  the  reader)  and  the 

immoral‐positive condition (a bad person befalls something good,  i.e., positive for 

the character but unfair in the eyes of the reader). We considered three models of 

how  corrugator  activity  might  reflect  this  conflict  during  the  critical  event 

manipulation:  (1)  the  corrugator  response  might  simply  track  the  valence  of 

language‐driven simulation of the event (simulation‐only model), (2) the corrugator 

response  would  reflect  only  fairness‐based moral  evaluation  (evaluation‐blocks‐

simulation model), or  (3)  language‐driven simulation and moral evaluation would 

both drive the corrugator response (multiple‐drivers model).  

Because the observed pattern of corrugator activity radically depends on 

the moral status of the protagonist, our data clearly refute a simple simulation‐only 

model,  according  to which  corrugator  responses  to  phrases  such  as  “Mark was 

frustrated/happy” merely  reflect  generic  situation‐model  building  (imagining  the 

protagonist as  frustrated or happy) and/or  simulating  lexical‐conceptual meaning 

Page 59: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  41

(“frustrated”, “happy”)  in the service of such construction. We already considered 

this model  rather unlikely,  in part because socially  important uses of narrative  in 

human exchanges, such as gossip, can only work if moral evaluation does not shut 

down  when  people  process  language  (Dunbar,  2004).  Of  course,  when  reading 

fictional narratives  in  the  lab, real social relations are not at stake and evaluative 

responses therefore might well be attenuated. Given that moral evaluation is to a 

large  extent  automatic  (Greene,  2014),  however,  it  is  unlikely  that  it would  be 

eliminated in the lab. Our corrugator data at the critical event confirm this idea of 

automatic moral evaluation, as does the  large and rapid corrugator response to a 

moral transgression earlier in the narrative. 

Our  results  also  refute  the more  plausible  evaluation‐blocks‐simulation 

model, which had predicted the corrugator responses to critical events to ‘flip’ as a 

function of whether the protagonist had just behaved morally (stronger corrugator 

activity for negative events than positive events) or immorally (stronger corrugator 

activity for positive events than negative events). This  is not what our data show: 

whereas  negative  events  lead  to  considerably  more  corrugator  activity  than 

positive events when those events befell a morally  laudable person, there was no 

difference  in  corrugator  activity  between  positive  and  negative  events  befalling 

immoral characters. The results displayed in Figure 2 are thus best accounted for in 

terms of a multiple‐drivers model, where both language‐driven simulation of events 

and the evaluation of those events (i.e., the reader’s own emotions) simultaneously 

recruit  the  neural  systems  driving  the  corrugator,  at  least  with  the  materials 

studied here.  

How  those  two drivers  interact  exactly  is  as  yet  an open question. One 

possibility  is  that  in  the  case  of  immoral  characters,  the  corrugator  activations 

associated with language‐driven simulation and moral evaluation cancel each other 

out.  In this version of the multiple‐drivers model, the corrugator  increase due to, 

say,  simulating  a  frustrated  protagonist  and/or  retrieving  the  associated  lexical 

semantics would then need to be  levelled out by a corrugator decrease related to 

Page 60: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

42

the  positive  affect  associated with  evaluating  this  state  of  affairs  as  fair  (e.g.,  a 

‘serves‐you‐right’  sense  of  justice,  Schadenfreude)  in  case  this  protagonist 

previously  behaved  immorally.  Likewise,  with  an  immoral  protagonist,  the 

corrugator decrease due  to  simulating his or her happiness and/or  retrieving  the 

associated  lexical  semantics would  then need  to be  levelled out by  a  corrugator 

increase  related  to  the  negative  affect  associated with  evaluating  this  particular 

outcome as unfair (a sense of moral indignation, anger, etc.).5  

Corrugator  EMG  has  also  been  linked  to  ease  of  processing  or mental 

effort (e.g., Topolinski, Likowski, Weyers, & Strack, 2009; Cohen, Davidson, Senulis, 

Saron,  &  Weisman,  1992;  Cacioppo,  Petty,  &  Morris,  1985)  where  enhanced 

corrugator activity is indicative of increased effort and less fluency in processing. At 

first glance, this may seem to be a potential confound for our results. However, the 

immoral conditions are arguably the most complicated because evaluation in these 

cases involves a reassessment of the valence of the event in light of the character’s 

moral  status.  Yet,  for  these  conditions  we  do  not  find  any  phasic  increase  in 

corrugator  actvity  at  the  critical  event.  In  fact,  the  only  time  corrugator  EMG 

increases during  the critical event  is when good characters experience a negative 

event, arguably  a  fairly uncomplicated  case. As  such,  complexity or disfluency  in 

processing does not offer a parsimonious explanation  for  the patterns we  found 

during the critical event segment.  

An alternative account that we cannot as yet fully rule out relates to the 

concept of identification. Identification with characters is often assumed to involve 

the reader taking on the character’s goals and values as their own and experiencing 

the emotions of  the character  (Oatley 1995). This could be  reframed  in  terms of 

selective, context‐dependent simulation at the  level of the situation model,  i.e. of 

simulating the emotions of certain protagonists, but not those of others. There  is 

evidence  for a  connection between  character  likeability and  identification  (Chory 

                                                            5 Although such exact cancellation may  feel somewhat  ‘coincidental’, we note  that  this outcome  is as likely as any  specific partial  cancellation,  such as when  the  impact of evaluation  is  twice  that of  the counteracting impact of simulation. 

Page 61: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  43

2013, Tian & Hoffner 2010) and reduced self‐reported experience of positive and 

negative  emotions  in  response  to  characters  that  readers  identified  with  less 

(Hoeken & Sinkeldam 2014). More generally, the emotional charge of the context 

appears  to affect both what and how much  is  simulated  (Samur,  Lai, Hagoort, & 

Willems, 2015). If readers only simulate the emotions of likeable characters and not 

those of disliked characters, a result such as  in Figure 2  is conceivable. To explain 

our  corrugator  findings  for  immoral  characters  with  this  ‘selective  simulation’ 

account  alone,  however,  one  would  also  need  to  assume  that  readers  do  not 

morally evaluate what they read or hear, at least not in the case of events befalling 

immoral  characters.  With  morally  loaded  narrative,  and  for  reasons  discussed 

before, we  deem  such  absence  of moral  evaluation  highly  unlikely.  Also, more 

generally, we find  it unlikely that motor control programs that evolved to express 

one’s own emotion are merely used to simulate other people’s emotions, and not 

used to express ones own emotion over rather eventful social matters. If this were 

the case, people would for example not be able to facially express, to each other, 

their emotional alignment over a piece of gossip, or  some other narrative about 

what happened to them or others.  

It would be useful to obtain more precise evidence on how the corrugator 

response unfolds  relative  to  crucial words  in  the unfolding  sentence. Our  critical 

sentences were  presented  as  a whole  in  our  current  study,  so  it  is  not  exactly 

known when critical words  like frustrated or happy were read by the participants. 

More precise  time‐locking  to words  like happy or  frustrated might  thus reveal an 

initial  purely  simulation‐driven  corrugator  response,  rapidly  followed  by  an 

evaluative  or  mixed  response.  Furthermore,  our  critical  events  can  be  said  to 

consist of two components: an adjective which signals the valence of the emotional 

state of the character (e.g., happy vs frustrated), and a clause describing the reason 

for this state  (e.g., when there  isn’t a petrol station  in sight and…).  It  is therefore 

also conceivable that simulation‐driven responses dominate the first part, whereas 

evaluation‐driven  corrugator  responses  dominate  the  second  part.  Either way,  a 

Page 62: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

44

more  precisely  time‐locked  version  of  the  same  experiment  with  a more  fine‐

grained  control  of  when  specific  information  becomes  available  might  help  to 

differentiate  the  respective  contributions  of  simulation  and  evaluation  to  the 

unfolding corrugator EMG signal. 

The effects of Affective Empathy suggest that the corrugator response to 

morally  loaded  narrative  is  also  subject  to  some  individual  variation.  At  the 

character morality manipulation,  readers with  a  higher  Affective  Empathy  score 

frowned more  at  immoral  actions,  and  at  the  critical  event manipulation,  those 

readers frowned more  in response to bad things happening to good characters as 

well  as  to  good  things  happening  to  bad  characters.  A  reasonable  post  hoc 

interpretation is that people who are by habit or constitution more predisposed to 

feel what  others  feel  are  also  particularly  responsive  to  unfairness,  rather  than 

fairness.  Furthermore, we  found  that  readers with higher Transportability  scores 

responded  less  to descriptions of  immoral  actions  than  those with  lower  scores. 

This could be taken to suggest that moral judgement of narratives decreases when 

a  reader  is more  immersed  in  the  narrative,  perhaps  because  of  a  shift  in  the 

balance  between  evaluation  and  simulation.  As  Transportability  correlated 

negatively  with  Affective  Empathy  in  our  sample,  these  effects  might  not  be 

independent  of  each  other. While  these  results  provide  food  for  thought,  the 

evidence is correlational, and must as such be approached with great caution. 

  In  all,  and  independent  of which  precise  variant  of  the multiple‐drivers 

model will ultimately account  for them, our results suggest that moral evaluation 

has powerful effects on  corrugator activity during narrative  language processing: 

sentences  containing affective  information  such as  “Mark  is  furious when…” and 

“Mark  is happy when…” generate quite different corrugator EMG  responses as a 

function  of  whether  the  protagonist  has  just  displayed  morally  good  or 

objectionable behaviour. We take this result to reflect the reader’s direct and rapid 

moral evaluation of, and associated emotional response to, what is being narrated, 

both  when  reading  about  downright  moral  or  immoral  behaviour,  and  when 

Page 63: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  45

reading  about  events  that  befall  the  characters  at  hand.  The  implication  is  that 

corrugator activity during  language processing does not merely  reflect simulation 

of  the  protagonist’s  emotion  (e.g.,  Mark  being  frustrated)  and/or  of  lexical‐

semantic  meaning  (e.g.,  retrieval  of  the  meaning  of  frustrated).  The  fact  that 

people  have  emotions  about  other  people’s  emotions  co‐determines  how  their 

corrugator responds as they read a story about those other people. 

Although the traces of affect picked up via facial EMG over the corrugator 

may often not be visible in the face (Tassinary & Cacioppo, 1992), corrugator EMG 

recordings  show  us  that  readers  quite  literally  frown  upon  descriptions  of 

characters behaving  immorally and  that  the moral status of characters drastically 

influences  corrugator  activity during  later affectively  salient passages. This  result 

highlights  the  importance  of  unpacking  coarse  notions  of  affective  meaning  in 

language processing research into components that reflect not only simulation but 

also evaluation. Our corrugator EMG results here also call for a re‐evaluation of the 

interpretation  of  corrugator  EMG  (and  other  affect‐related  facial  muscles)  and 

other peripheral physiological measures as unequivocal  indicators of simulation  in 

affective language processing. Further exploration is needed of how such measures 

behave  in a richer and more ecologically valid  language processing arena, such as 

narrative. Such work would benefit the  field by refining our understanding of the 

role of simulation processes within a framework of grounded cognition  in general 

and language comprehension in particular.  

 

 

 

 

 

 

 

 

Page 64: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

46

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

      

Page 65: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  47

3. Study 2 

 Temporal  Development  of Simulation  and  Evaluation  of Emotions in Stories:  Online  processing  of  character affect 

3.1 Introduction 

 

One of the most enjoyable things about reading is that it allows us to walk 

a mile  in  the  shoes  of  characters  from  the most  amazing  stories.  For  example, 

millions of readers have vicariously lived the life of the Machiavellian Queen Cersei 

from the Game of Thrones book series6. This vicarious experience of ‘walking a mile 

in another’s shoes’ is more than just a figure of speech. To illustrate, although the 

reader will likely be sitting down as they read about Queen Cersei walking through 

the palace gardens of the Red Keep, parts of their cortical (pre)motor areas usually 

involved  in walking will nonetheless be slightly activated (e.g., Aziz‐Zadeh, Wilson, 

Rizzolatti,  &  Iacobini,  2006).  Theories  of  grounded  cognition  hold  that  this  is 

because in order to understand what we read, we simulate the meaning of words. 

Simulation  involves  the  re‐enactment  of  multimodal  states  acquired  during 

                                                            6 The examples given in this paper do not contain spoilers about events from either the books or the TV show. 

Page 66: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

48

previous experience with  the  referents described  in  the  language  (e.g., Barsalou, 

2008),  either  for  the  retrieval  of  the meaning  of  individual words  or  as  part  of 

building a situation model of a  longer text. Whether such simulation  is automatic 

and strictly necessary for comprehension has been debated (Mahon & Caramazza, 

2008; Willems & Cassanto, 2011), but converging evidence supports the notion that 

sensorimotor  simulation  is,  at  least  under  some  circumstances,  involved  in 

language comprehension (Kiefer & Pulvermüller, 2012).  

While  the example above deals with  language  referring  to motor action, 

simulation is also said to be involved in affective language processing, i.e., language 

about,  or  otherwise  relevant  to  emotion  (e.g.,  Vigliocco, Meteyard,  Andrews, & 

Kousta,  2009).  In  particular,  a  large  number  of  facial  electromyography  (EMG) 

studies  show  that  affective  language  processing  is  accompanied  by  congruent 

muscle activation (e.g. Foroni & Semin, 2009; Glenberg, Webster, Mouilso, Havas, 

&  Lindeman,  2009;  Havas  &  Matheson,  2013;  Künecke,  Sommer,  Schacht,  & 

Palazova,  2015).  These  studies  primarily  rely  on  measuring  activity  of  the 

corrugator supercilii (frowning) muscle, which reliably reflects affective valence of 

stimuli  in  a wide  variety  of  input  domains,  including  language  stimuli  (Foroni & 

Semin,  2009;  Glenberg, Webster, Mouilso,  Havas,  &  Lindeman,  2009;  Havas  & 

Matheson,  2013;  Künecke,  Sommer,  Schacht,  &  Palazova,  2015).  For  instance, 

when we  read  that Cersei  is  ‘frowning’ or  that  she  is  ‘angry’, our  corrugator will 

increase  in activation. Conversely,  if  she  ‘smiles’ or  is  ‘happy’,  corrugator activity 

will  decrease.  These  changes  in  muscle  activation  do  not  necessarily  result  in 

observable facial expression, but even in those cases we can still pick up the action 

potentials  in  the muscles using  surface  facial EMG  (Tassinary & Cacioppo, 1992). 

Within  the  framework  of  grounded  language  comprehension  this  activity  is 

commonly interpreted to be a consequence of simulation in motor and emotional 

systems in the brain. 

However,  in everyday  language use, affective meaning  is  routinely more 

complicated than the facial EMG studies cited above, and many others, allow (for a 

Page 67: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  49

discussion, see Van Berkum,  to appear). This complexity becomes apparent  if we 

take  the  carefully  controlled  single words  and  short  sentences  typically  used  in 

facial EMG studies on language processing and embed these inside a story. Imagine 

reading  ‘Cersei  is  furious when her  favourite dress rips’  just a  few  lines after you 

have read all about how Cersei ordered an  innocent woman to be sent to prison, 

feeling no  remorse and even a certain measure of glee. While  the word  ‘furious’ 

still refers to a negative emotion, we may deem it less negative in light of what we 

know  about  Cersei’s  personality.  Because  as  humans  we  are  inclined  to 

Schadenfreude  in  the  case  of  disliked  or  envied  characters  (Singer,  et  al.,  2006; 

Leach &  Spears,  2009;  Cikara &  Fiske,  2012), we will  probably  evaluate  Cersei’s 

negative  emotion  as  positive.  This  is  because  we  do  not  merely  understand 

language dispassionately. Rather, just as we evaluate what we see, smell, or touch, 

we evaluate what we read or hear and we care, sometimes quite deeply, about the 

events described. And  so we may ask, what will  really be  reflected  in  corrugator 

EMG when, as  in  the example of  the evil queen ripping her dress,  the valence of 

language‐driven  simulation  conflicts with  the  valence  of  our  own  evaluation  of 

what is described?  

In  a  recent  facial  EMG  study  ('t Hart  B.  ,  Struiksma,  van  Boxtel, &  Van 

Berkum,  under  review),  we  explored  this  type  of  conflict  by  orthogonally 

manipulating  language‐driven  simulation  and  moral  evaluation  within  short 

narratives. As in the example of Cersei above, we manipulated the moral status of 

characters  in  narratives  by  first  describing  them  as  behaving  either morally  or 

immorally  in  a  story  context.  In  a  later  segment  of  the  narrative,  these  same 

characters experienced a positive or a negative emotion in response to some event. 

During  the  story  segment where we manipulated  character morality,  corrugator 

measurements  revealed  that  participants  quite  literally  frowned  upon  immoral 

actions  and  relaxed  when  reading  about moral  actions.  These  results  reflected 

negative and positive affect in response to immoral and moral actions, respectively.  

Page 68: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

50

As for corrugator EMG while reading about subsequent  ‘affective events’ 

befalling  the  same  characters,  we  formulated  three  possible  models  of  how 

language‐driven  simulation  and  evaluation might  contribute  to  corrugator  EMG 

activity  during  the  subsequent  affective  event  befalling  the  same  character. 

According to the simulation‐only model,  language‐driven simulation would be the 

sole driver of the corrugator EMG response during the affective event. This model, 

which  reflects  the  current  interpretation  of  facial  EMG  results  in  embodied 

language  processing  research,  simply  predicts  increased  corrugator  activity 

(negative affect) when  language describes a negative event for the character, and 

decreased corrugator activity  (positive affect) when  language describes a positive 

event for the character, regardless of the characer’s moral status.  

The  evaluation‐blocks‐simulation  model  holds  that,  in  stories  that  are 

sufficiently  interesting  to  allow  for  evaluation,  emotion‐relevant  neural  systems 

controlling  the corrugator are no  longer available  for  language‐driven  simulation, 

and are fully recruited to reflect those evaluations. We assume that the salient and 

dominant  evaluation  for our  stimuli will be  in  terms of  fairness.  The  evaluation‐

blocks‐simulation  model  predicts  increased  corrugator  activity  in  response  to 

‘unfair’  events  (negative  events  befalling  moral  characters  and  positive  events 

befalling  immoral  characters),  and  decreased  activity  to  ‘fair’  events  (positive 

events  befalling  moral  characters  and  negative  events  befalling  immoral 

characters).  

The multiple‐drivers model,  finally,  allows  for  a  combined  influence  of 

language‐driven  simulation  and  evaluation  on  corrugator  EMG.  For  moral 

characters,  this  combined  influence would generate  increased  corrugator activity 

to  negative  events  (negative,  and  also  unfair)  and  decreased  activity  to  positive 

events  (positive,  and  also  fair).  For  immoral  characters however,  simulation  and 

evaluation would counteract each other: negative events should involve simulation 

of negative character affect, but such events are also evaluated as fair and as such 

elicit  positive  affect  (e.g.,  Schadenfreude),  while  positive  events  should  involve 

Page 69: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  51

simulation of positive character affect, while being evaluated as unfair and as such 

elicit  negative  affect  (moral  indignation).  For  situations  describing  the  affective 

state of immoral characters, these counteracting forces should lead to ‘dampened’ 

net corrugator EMG responses, i.e. smaller differences in the responses to negative 

and positive events than in the case of moral characters. 

Our  results  ('t  Hart  B.  ,  Struiksma,  van  Boxtel,  &  Van  Berkum,  under 

review) are  compatible with  the multiple‐drivers model. For moral  characters we 

found  congruent  responses  to  affective  events:  increased  corrugator  activity  in 

response to negative events and decreased activity in response to positive events. 

For immoral characters, we found neither an increase nor a decrease in corrugator 

activity as participants read about positive and negative events.  In  fact there was 

no  differential  corrugator  response  to  negative  and  positive  events  befalling 

immoral  characters  at  all.  Because  neither  the  simulation‐only  model  nor  the 

evaluation‐blocks‐simulation  model  accounted  for  the  absence  of  a  differential 

response to valenced events befalling  immoral characters, we concluded that the 

multiple‐drivers  model  best  accounted  for  this  pattern;  both  simulation  and 

evaluation exerted control on the corrugator in such a way that, with our materials, 

the two opposing forces cancelled each other out. 

The  results of our  first  study  spoke against a processing model  in which 

only one of  the drivers was behind  the corrugator response during story reading. 

However,  although  a  multiple‐drivers  model  seems  plausible,  replication  and 

extension  is  in order. As  for the  latter,  the previous study was  limited  in how we 

presented  the  affective  event  stimulus.  In  all  narratives,  the  affective  event 

consisted of a  single  sentence, presented all at once  for 5  seconds: e.g., Mark  is 

frustrated when after a few minutes he runs out of petrol and becomes stranded by 

the roadside. Although all sentences were of a similar length and structure, we had 

no fine‐grained control over when participants were reading specific affect‐related 

words  (e.g.,  frustrated). This may have masked potential phasic effects of one or 

Page 70: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

52

both of the proposed drivers in response to specific affective information inside the 

sentence.  

In the current study we used the same narratives as ‘t Hart, Struiksma, van 

Boxtel, & Van  Berkum  (under  review),  but  presented  the  critical  affective  event 

sentence in a piecemeal fashion, to optimise the chances of finding possible phasic 

effects of language‐driven simulation and evaluation. As can be seen in Table 1, the 

affective  event  contains  two  critical  segments  that  are  presented  separately:  an 

‘affective state adjective’ describing  the emotional state of  the character, and an 

‘affect  reason  segment’ detailing  the event  that  led  to  the  character’s emotional 

state.  Because  an  affective  state  adjective  such  as  frustrated  simultaneously 

presents  a  highly  focused  trigger  for  simulation  as  well  as  –  by  revealing  the 

valence of the event for the character – for evaluation, without being confounded 

by additional details on the event at hand, it represents the cleanest point at which 

to assess  the  interaction of character affect and character morality  in corrugator 

EMG. Furthermore, by also time‐locking the EMG signal to the subsequent reason 

for  the  character’s  emotion,  we  have  a  second  opportunity  to  examine  the 

interplay between  simulation  and  evaluation  (albeit  in  a way  that  is, due  to  the 

varying nature of  those  reasons and  their multi‐word description,  somewhat  less 

precisely controlled). 

 

 

 

 

 

 

 

 

 

 

Page 71: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  53

 Baseline  Neutral distractor image  2 s 

Introduction 

Mark  is driving  through  the pouring  rain, on his way  to his mother.  He’s  still  in  the  inner  city  and  big  puddles  have formed.  It’s  been  raining  non‐stop  since  yesterday.  Some streets are practically flooded. There are few cars on the road and fewer bicycles and pedestrians still. Mark is headed for a giant puddle and spots a pedestrian on the sidewalk. 

18 s 

Character morality (moral/immoral) 

Mark slows down to avoid  the  puddle, making  sure  he doesn’t  splash  the pedestrian. 

OR 

Mark  accelerates through  the  puddle on  purpose  to  create a big  splash and  soak the pedestrian. 

5 s 

Continuation 

Once  outside  the  city  he  is  driving  along  on  the  freeway. There  still  isn’t  a  lot  of  traffic  and  Mark  is  enjoying  the landscape and the drive. He’s got the radio on full blast and sings  along  loudly.  When  he  glances  at  the  dashboard  to adjust the channel he spots a warning light. He forgot to put petrol in the car and has been running on empty for a while. 

15 s 

Transition   …  1 s 

Name  

Mark  

0.75 s 

Verb  

is  

0.75 s 

Affective  state adjective 

happy  OR  frustrated  1 s  

Neutral  

when after  a few minutes 

 2.5 s 

Affect reason 

he  spots  a  petrol station  in  time  and avoids  being stranded. 

OR 

he  runs  out  of  petrol and  becomes stranded  by  the roadside. 

2.5 s 

   Press ‘space’ to continue to the next story    

Table 3.1. Example narrative  illustrating  trial  structure and  time on  screen  for each of 10 different segments. All segments were separated by a blank screen of 250 ms.  

 

 

Page 72: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

54

For  the character morality  segment we predicted  substantially  increased 

corrugator  activity  (denoting  negative  affect)  for  immoral  actions  and  a  more 

modest decrease  in activity  (denoting positive affect)  for moral actions. As  in our 

previous  study,  this  outcome  would  indicate  that  the  manipulation  of  the 

character’s  moral  status  was  successful.  For  the  affective  state  adjective  we 

predicted,  based  on  the  multiple‐drivers  model,  that  for  moral  characters  the 

combined  influence  of  simulation  and  evaluation  should  generate  increased 

corrugator  activity  for  negative  state  adjectives  (negative  and  unfair)  and 

decreased activity for positive adjectives (positive and fair). For immoral characters, 

we predicted  that  the difference between positive  and negative  state  adjectives 

should be  smaller  than  for moral  characters, because, under  the multiple‐drivers 

model, simulation and evaluation counteract each other. 

Note  that  a  multiple‐drivers  model  leaves  open  the  possibility  that 

simulation and evaluation do not affect the corrugator at the exact same moment 

in  time.  If  simulation  is  crucial  for  comprehension,  then  purely  language‐driven 

simulation  effects  on  the  corrugator  might  actually  emerge  before  the  first 

evaluation effects  show up. We did not  see any evidence  for a brief  ‘simulation‐

only phase’ in our earlier study, but any such effects may have been masked by the 

relatively  coarse  sentence‐level  time‐locking  in  that  study.  Because  the  current 

study allows us to time‐lock the corrugator EMG response to the critical affective 

state adjective, we are in a much better position to examine this possibility.  

The  affect  reason  segment  provides  an  explanation  for  the  character’s 

emotional  state described  in  the  affective  state  adjective  segment. The  affective 

valence here derives mostly from the meaning of the sub‐clause as a whole rather 

than  from  particular words, making  the  time‐locking  of  the  corrugator  signal  to 

specific affective  information  less precise. We predicted that  the corrugator EMG 

patterns  here  would  resemble  those  found  in  the  previous  study,  but  the 

separation  of  the  affective  state  adjective  in  the  new  design  could  also  lead  to 

different patterns. 

Page 73: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  55

3.2 Method 

3.2.1 Participants and Stimulus Materials 

 

60  students  (12 male) aged between 18 and 27  (M = 21.02, SD = 2.62)  from  the 

Utrecht  University  Humanities  Faculty  participated  in  exchange  for  financial 

compensation (€ 12). All were native Dutch speakers, without dyslexia and without 

Botox injections to the face and with normal or corrected‐to‐normal vision. 

  We presented 64 narratives as outlined in Table 1. Each narrative had four 

variants based on our 2 x 2 design (morality x affective event). The efficacy of the 

character manipulations was pre‐tested and  found  to be successful  in  relation  to 

the previous study ('t Hart B. , Struiksma, van Boxtel, & Van Berkum, under review). 

We generated  four  lists of 64 narratives  for  the main experiment. Each narrative 

only occurred once  in every  list, with  the  four  conditions distributed across  lists. 

Each list thus contained 16 narratives in each condition, 8 with a male and 8 with a 

female character. All but 9 of the narratives occurred both with male and  female 

characters  across  different  lists. We  reversed  the  order  in which  the  narratives 

were presented for two of the lists. All Dutch stimulus materials are available upon 

request (see Supplementary Information A1). 

 

3.2.2 Procedure and Data Acquisition 

 

Before the experiment started, participants read and signed an  informed consent 

form (available from the corresponding author upon request) detailing the nature 

of  the materials  and  the procedure  as well  as  emphasising participants’  right  to 

withdraw  consent  at  any  time  during  the  experiment without  being  required  to 

provide a reason or losing the right to compensation. Participants were seated in a 

comfortable chair  in a sound‐proof booth and received verbal  instruction. Stimuli 

were presented as illustrated in Table 1 above in Times New Roman (font 26) at a 

distance of approximately 60  cm. Presentation  rate between narratives was  self‐

Page 74: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

56

timed and two  longer pauses were  inserted to create three, roughly equal blocks. 

Experimental trials were preceded by two practice trials to acquaint the participant 

with the procedure. Facial EMG activity was measured continuously using reusable 

Ag/AgCl  electrodes with  a  2 mm  contact  area  over  corrugator  and  zygomaticus 

muscles on the right side of the face (van Boxtel, 2010).  

To  maintain  compatibility  with  similar  studies  addressing  emotional 

valence, we included both corrugator and zygomaticus. However, the zygomaticus 

does  not  track  emotional  valence  in  the  same way  (Larsen, Norris, &  Cacioppo, 

2003). Particularly in more complex situations such as our narrative stimuli, smiling 

activity may be difficult to  interpret  in terms of pure valence. For  instance, smiles 

can be wry, sarcastic, and smirking as well as expressions of true positive feeling. 

We  therefore  focused on  corrugator  activity  and  report  the  zygomaticus data  in 

Supplementary Information B2 for reference. Raw EMG signals were recorded with 

a NeXus‐10 MKII  biosignal  system  (Mind Media)  at  a  sampling  rate  of  2048 Hz. 

After  finishing  this  part  of  the  experiment,  electrodes  were  removed  and 

participants moved to a laptop to fill out some questionnaires. Two questionnaires 

were included to investigate, in exploratory fashion, potential differences between 

individuals  in  the way  simulation  and  evaluation  contribute  to  corrugator  EMG 

activity  during  online  language  processing:  the  Adolescent Measure  of  Empathy 

and  Sympathy  (AMES,  Vossen,  Piotrowski,  &  Valkenburg,  2015)  and  the Moral 

Foundations  Questionnaire  (MFQ,  Graham,  et  al.,  2011).  Because  of  the 

exploratory, secondary nature of this  investigation, we report on the method and 

results in Supplementary Information E2. 

 

3.2.3 Data Preparation and Analysis 

   

The  raw data were band‐pass  filtered between 20‐500 Hz  (48 dB/octave  roll‐off) 

and were additionally  filtered with a notch  filter at 50 Hz  (see van Boxtel 2010), 

followed by  signal  rectification and  segmentation per narrative using BrainVision 

Page 75: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  57

Analyzer 2. For each trial, the 2000 ms of baseline activity preceding the narrative, 

consisting of a neutral distractor  image of a  forest scene, were  inspected visually 

for  remaining  artefacts.  We  selected  maximally  long  epochs  of  artefact‐free 

baseline signal, with a minimum length of 500 ms for both muscles simultaneously. 

If such a 500 ms baseline epoch could not be  found,  the  trial was excluded  from 

analysis (resulting in 1.0% lost trials). 

  After  baseline  selection,  the  data were  exported  to MatLab  for  further 

segmentation  into three parts, time‐locked to the onset of the character morality 

segment (5000 ms), the affective state adjective (1000 ms), and the affect reason 

(2500 ms). Each of the resulting fEMG segments was then divided into consecutive 

100‐ms  bins  for  a  balance  between  good  temporal  resolution  and  sufficient 

random  error  reduction.  The  average  facial  EMG  activity  during  each  bin  was 

expressed as a percentage of  the pre‐narrative baseline activity  level  (expressing 

EMG activity as a percentage of baseline reduces random variance both within and 

between individuals; van Boxtel, 2010). 

The  three critical  segments  (character morality, affective  state adjective, 

and  affect  reason)  were  analysed  separately  using  the  mixed  models  linear 

regression procedure in SPSS (IBM, v24). The model was built iteratively using the ‐

2LL chi‐square test (p <.05), see Supplementary Materials A for a complete report. 

In order to be able to evaluate the corrugator response over time we  first built a 

growth  curve  model  (Mirman,  2015);  linear,  quadratic,  and  cubic  trends  were 

added as covariates in the fixed part of the model (trend components were centred 

to avoid correlation between trends). By using trends up to the cubic component, 

we  achieve  some  flexibility  to  fit  responses  without  over‐fitting  or  losing 

explanatory power (Mirman, 2015). While models were fitted with a resolution of 

100 ms, the parameter estimates (e.g., b for a linear slope) are reported per second 

for  ease  of  comprehension.  We  added  separate  parameters  of  time  trend 

components for each condition to maintain flexibility in building the model and to 

Page 76: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

58

avoid  forcing  the model  to  fit,  for  example,  a  quadratic  trend  for  all  conditions 

when only one condition contained a significant quadratic component.  

To  assess  the  effect  of  our  manipulations  on  the  average  corrugator 

activation over the entire time‐window, we also added character morality as a fixed 

factor  for  the  character morality  segment.  For  the  affective  state  adjective  and 

affect  reason  segment we added  character morality and  valence as well as  their 

interaction as fixed factors. The random part of the model always included random 

intercepts for subject and item, as well as random slopes for subjects for each time 

trend that initially improved the model. 

3.3 Results 

3.3.1 Character Morality 

Figure 1 shows that reading about moral and immoral behaviours evoked a clearly 

differential  corrugator  response.  Immoral  actions  elicited  a  rapid  increase  in 

frowning, whereas moral actions did not cause the corrugator response to deviate 

from baseline. The statistics corroborated  this picture. A main effect of character 

morality  indicated  a  significantly  higher  activation  for  immoral  actions  than  for 

moral actions on the intercept, reflecting the average overall activation7 (difference 

b = 74.02, t (261.87) = 16.40, p < .001, 95% CI [65.14, 82.91]). Immoral actions also 

revealed a  significant  linear  increase  in  corrugator activity  (b = 29.55,  t  (60.00) = 

4.17,  p  <  .001,  95% CI  [15.36,  43.73]),  as well  as  significant quadratic  and  cubic 

components  (see Supplementary Materials A). Moral actions, on  the other hand, 

resulted  in  no  significant  increase  or  decrease  in  corrugator  activity  causing  the 

model to fit a flat line8.  

                                                            7  Because  our  growth  curve  analysis  used  centred  time  components,  the  intercept  in  our  analyses represents the average activation over the entire time window, rather than the point where the curves leave the Y‐axis. Furthermore, whereas the reported intercepts are based on the fixed effects only, the fitted line in Figure 1 includes both the fixed effects and the random effects. 8 The corrugator responses in Fig. 1 start slightly above the 100% baseline level. We suspect this reflects the  additional  effort  demanded  by  reading  the  preceding  introduction  segment  of  the  narratives,  in comparison with passive viewing of a preceding neutral image during baseline. 

Page 77: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  59

We expected a small decrease for moral conditions based on our previous 

results ('t Hart B. , Struiksma, van Boxtel, & Van Berkum, under review). That we do 

not find this here was not problematic. Many studies have found an asymmetry in 

responding  to  positive  and  negative  valence,  with  weaker  and  less  reliable 

responses to positive stimuli (for a recent discussion, see Alves, Koch, & Unkelbach, 

2017).  More  concretely,  our  moral  actions  are  probably  considered  normal 

behaviour  and  therefore  limited  in  how  much  positive  affect  they  generate, 

whereas  immoral  actions  are  much  more  saliently  negative.  Importantly,  the 

substantial  increase  for  immoral  actions  did  indicate  a  clearly  negative  affective 

response,  and  as  such  the  corrugator  did  respond  differentially  to  character 

morality. This  replicates  the result of our previous experiment and sets  the stage 

for the affective event manipulation. 

   

Figure 3.1 Observed  averages of  corrugator  responses  to  character morality, with  growthcurve model regression overlaid. 

Page 78: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

60

3.3.2 Affective State Adjective 

 

The affective  state adjective describes  the emotional  state of  the character  (e.g., 

happy vs.   frustrated).  It  is the first word that reveals the valence of the affective 

event for the character. In terms of average activation over the entire time window 

(the first shaded segment in Figure 2), the model revealed a main effect of valence 

(difference  negative‐positive  b  =  6.70,  t  (252.70)  =  2.93,  p  <  .01,  95%  CI  [2.19, 

11.20]),  suggesting  that  character morality  did  not  affect  the  corrugator  activity 

patterns. However, the model did reveal some clear time trends that significantly 

differed  between  character  morality  conditions.  Our  predictions  primarily 

concerned  the corrugator  response  to positive and negative events  in  relation  to 

character morality. We will  therefore  discuss  the  time  trends  of  the moral  and 

immoral conditions separately below.  

 

Moral  Characters.  The  squares  in  the  first  shaded  segment  in  Figure 2 display  a 

clear  differential  pattern  for  positive  and  negative  states  ascribed  to  moral 

characters. Negative states evoked an  increase  in  frowning activity while positive 

states evoked a decrease. The model corroborated this interpretation (solid lines). 

We  found a  significant  linear  increase  in  frowning activity  for  the moral‐negative 

condition, i.e., good people feeling bad (b = 23.25, t (244.52) = 3.02, p < .01, 95% CI 

[8.11, 38.39]). In contrast, corrugator activity displayed a significant linear decrease 

for  the  moral‐positive  condition,  i.e.,  good  people  feeling  good  (b  =  −11.75,  t 

(37578.69) = −5.15, p < .001, 95% CI [−16.21, −7.28]). These two linear trends also 

differed  at  the  p  <  .001  level.  In  addition  to  a  linear  trend  component, moral‐

negative  also  contained  a  significant  negative  cubic  component  (see 

Supplementary Information C2).  

These  results are  in  line with a  congruent affective  response  to positive 

and  negative  affective  states  ascribed  to  moral  characters.  This  confirms  our 

predictions and replicates the findings from our previous experiment. It also shows 

Page 79: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  61

that it is possible to pick up a clear corrugator response to a single valenced word 

in an unfolding narrative.  

 

Immoral Characters. Figure 2 shows a slight decrease  in activity  for  the  immoral‐

negative  condition  and neither  an  increase nor  a decrease  in  activity during  the 

immoral‐positive condition (triangles and dotted  lines). This pattern also emerged 

from  the  statistical  analysis.  The  corrugator  response  in  the  immoral‐negative 

condition, that is, bad people feeling bad, revealed a significant linear decrease (b = 

−7.18, t (60.64) = −2.25, p = .03, 95% CI [−13.54, −0.81]), while for immoral‐positive, 

that  is, bad people  feeling good,  the model  fitted a  flat  line  (see Supplementary 

Materials A).  

 

3.3.3 Post‐hoc Analysis of Neutral Segment.  

 

The decreasing activation for immoral‐negative during the affective state adjective 

was somewhat unexpected, both in light of previous results ('t Hart B. , Struiksma, 

van Boxtel, & Van Berkum, under review) and  in conjunction with other results  in 

the experiment at hand (no increase or decrease was found for immoral positive). 

To help  interpret these results correctly, we performed a post‐hoc analysis of the 

neutral  segment  between  the  affective  state  adjective  analysis window  and  the 

affect reason analysis window (see Fig 2, 4.75 to 7.25 s). As can be seen in Figure 2, 

the  predominant  pattern  during  this  neutral  segment  is  a  surprisingly  stable 

continuation of  corrugator  activity  levels  that were  reached  at  around  1  second 

after presentation of the affective state adjective. The analysis of corrugator EMG 

responses  in this segment revealed no significant difference between the average 

activation  for  immoral‐negative  and  immoral‐positive  (difference  b  =  −0.48,  t 

(382.27)  =  −0.10,  p  =  .92,  95%  CI  [−10.42,  9.45]) while  the  difference  between 

moral‐negative and moral‐positive remains (difference b = 19.17, t (382.34) = 3.79, 

Page 80: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

62

p < .001, 95% CI 9.24, 29.11]). In the face of this highly stable pattern of results, we 

are  cautious  to over‐interpret  the modest and  short‐lived decrease  in corrugator 

activity  that  we  observed  to  negative  state  adjectives  pertaining  to  immoral 

characters, and willing to consider the possibility that  it  is a potential type  I error 

induced  by  random  fluctuations  in  the  signal.  We  will  return  to  this  in  the 

discussion. 

 

Figure 3.2. Observed averages of corrugator responses to the affective event, with the two critical segments  (affective state adjective and affect  reason) highlighted and vertical  lines indicating  the  onset  and  offset  of  other  segments  (including  intersegmental  250  ms intervals). 

 

3.3.4 Affect Reason 

 

At the affect reason segment the reader  learned of the circumstances that  led to 

the character’s affective state, that  is, what happened to make the character feel 

that way. The second shaded segment in Figure 2 above shows the fitted regression 

lines  for  the  affect  reason  segment. One  striking  aspect  of  the  results was  the 

renewed  phasic  response  during  the  affect  reason  segment  after  the  relative 

stability of corrugator activity patterns after the affective state adjective segment.  

Page 81: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  63

Our predictions concerned the corrugator response in relation to the valence of the 

event, depending on character morality. We will  therefore discuss  the moral and 

immoral conditions separately, starting once again with the conditions containing 

moral characters. 

 

Moral Characters. For positive and negative events befalling moral characters we 

saw a renewed and sizeable differential pattern emerge: a substantial  increase  in 

frowning for negative affect reasons and a relatively modest decrease for positive 

affect reasons (squares in Figure 2). The analysis confirmed this pattern. The model 

revealed a significant difference between the average activation for moral‐negative 

and moral‐positive conditions  (difference negative‐positive b = 41.76, t (265.69) = 

8.76,  p  <  .001,  95%  CI  [32.37,  51.14]).  Additionally,  the  corrugator  response  to 

moral‐negative conditions contained a sizeable  linear  increase  in frowning activity 

(b  =  18.91,  t  (60.00)  =  2.86,  p  <  .01,  95%  CI  [5.68,  32.13]), while moral‐positive 

conditions showed a modest, but significant  linear decrease of corrugator activity 

(b =  −3.51,  t  (94530.94) =  −3.48, p <  .001, 95% CI  [−5.49,  −1.53]). The difference 

between the linear estimates for the two conditions was significant at the p < .001 

level.  The  model  also  contained  a  quadratic  and  cubic  component  for  moral‐

negative,  but  although  these  trends  initially  improved  the model,  they  did  not 

ultimately  prove  to  be  significant  (see  Supplementary  Information  C2).  These 

results conceptually replicated the results from our previous study. Moreover, they 

also strongly resemble the differential, phasic response for moral conditions during 

the affective state adjective earlier  in the sentence, but the size of the corrugator 

response is much larger here. We return to this point in the discussion. 

 

Immoral Characters. As  for  immoral  characters  (triangles  Figure 2),  the  immoral‐

positive condition elicited a gradual decrease in activity of the corrugator while the 

immoral‐negative  condition  did  not  evoke  a  clear  decrease  or  increase.  The 

difference between the two  immoral conditions on average activation overall was 

Page 82: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

64

not significant (difference negative‐positive b = 7.79, t (250.33) = 1.66, p = .01, 95% 

CI  [−1.46,  17.03]).  The  immoral‐positive  condition  was  confirmed  to  evoke  a 

modest but significant linear decrease in corrugator activity (b = −2.67, t (64530.94) 

= −2.65, p <  .01, 95% CI [−4.65, −0.70]). The model confirmed that the best fit for 

the  immoral‐negative condition was  indeed a flat  line, as none of the time trends 

significantly improved the model (see Supplementary Materials A). Taken together 

these results indicated a subtle differential pattern over time for immoral‐positive 

and immoral negative.  

Switching to a comparison of the two positive conditions, we found that the linear 

decrease  for  immoral‐positive  did  not  differ  significantly  from  moral‐positive 

(difference moral‐pos‐immoral‐pos b = −0.83, t (94530.94) = −0.58, p = .559, 95% CI 

[−3.63, 1.96]) and neither did the difference in overall average ac va on, although 

it did approach significance (difference moral‐pos‐immoral‐pos b = 9.18, t (250.20) 

= 1.96, p =  .052, 95% CI  [−0.07, 18.42]). This suggests that positive affect reasons 

elicited  a  similar  corrugator  response,  regardless  of  the  moral  identity  of  the 

character. This constitutes a new  finding compared to our previous study and we 

will discuss its implications for the multiple‐drivers model below. 

3.4 Discussion 

 

This study had two related aims. Firstly, using largely the same materials, we hoped 

to replicate findings from a previous experiment ('t Hart B. , Struiksma, van Boxtel, 

&  Van  Berkum,  under  review);  findings  that  suggested  a multiple‐drivers model 

(simulation and evaluation) for corrugator activity during online affective language 

comprehension. Secondly, we refined the stimulus design to further investigate the 

temporal development of  the  two drivers we proposed  in our model:  language‐

driven  simulation  and moral  evaluation.  Participants  read  narratives  where  we 

manipulated  the moral  status of  the  character  and  the  valence of  a  subsequent 

affective event befalling these same characters.  

 

Page 83: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  65

3.4.1 Frowning upon Immoral Behaviour 

 

At  the  character morality manipulation  segment, we  predicted  a  clear  effect  of 

moral valence on  the corrugator  response. This prediction was  confirmed by our 

results.  Compared  to  pre‐story  baseline,  participants  frowned more  at  immoral 

actions,  but  not  at  moral  actions.  The  presence  of  a  differential  effect  for 

corrugator EMG  in response to moral and  immoral behavior replicates our earlier 

findings  and  lends  further  support  to  the  link  between  corrugator  activity  and 

moral  valence,  extending  the  research  linking  facial  EMG  to  affectively  salient 

language  (e.g., Fino, Menegatti, Avenanti, & Rubini, 2016; Foroni & Semin, 2013; 

Havas, Glenberg, Gutowski, Lucarelli, & Davidson, 2010). The successful character 

morality manipulation also meant that the stage was set for the reader’s evaluation 

of the subsequent critical segments in terms of fairness. 

 

3.4.2 Processing Character Affect 

 

The  affective  event  sentence  contained  two  critical  segments  with  affectively 

salient  information. At  the  first,  the  state  adjective,  readers discovered how  the 

protagonist  felt  about  the  event.  Under  the multiple‐drivers model  ('t  Hart  B.  , 

Struiksma, van Boxtel, & Van Berkum, under review), we predicted that, for moral 

characters, simulation and evaluation would align in terms of valence and thus lead 

to  a  clear  differential  corrugator  response  to  negative  and  positive  emotions 

ascribed to  them. This was precisely what we  found, corrugator EMG displayed a 

clear  differential  response  to  good  people  experiencing  negative  and  positive 

emotions. The pattern contained a clear  increase for negative states (negative for 

the character and evaluated as unfair) and a decrease for positive states (positive 

for the character and evaluated as fair).  

Page 84: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

66

For  immoral  characters,  the  multiple‐drivers  model  predicted  that 

simulation and evaluation would counteract each other and this would dampen any 

differential response to positive and negative state adjectives. Our results revealed 

neither  an  increase  nor  a  decrease  for  immoral  characters  experiencing positive 

emotions.  For  immoral  characters  experiencing  a  negative  emotion, we  found  a 

modest,  short‐lived decrease  in  frowning  activity.  This pattern would  fit with  an 

explanation  in  terms  of  counteracting  forces  of  simulation  and  evaluation. 

However,  as  already  mentioned  we  hesitate  to  over‐interpret  this  particular 

decrease and are more confident in the stable absence of a difference between the 

two  immoral  conditions  in  the  following neutral  segment. Regardless of whether 

the phasic decline  in corrugator activity  in the  immoral‐negative condition should 

be taken seriously or not, the overall pattern of results that emerged in response to 

the  affective  state  adjective  and  continued  for  seconds  thereafter  –  a  much 

attenuated differential  corrugator EMG  response  to positive and negative events 

befalling  immoral characters – once again strongly suggests a combined  influence 

of both  evaluation  and  simulation while processing  character  affect,  rather  than 

any one single driver controlling the corrugator. 

We noted in the introduction that the multiple‐drivers model leaves open 

the possibility  that  simulation and evaluation do not affect  the corrugator at  the 

same  time, but might do  so  successively. We  reasoned  that  the best  chances of 

finding such a brief  ‘simulation‐only phase’ would be at  the start of  the affective 

state adjective segment. Despite a fairly fine‐grained temporal resolution (100 ms) 

we  found  no  evidence  that  simulation  emerged  before  evaluation  in  corrugator 

EMG,  but  does  play  a  significant  role  in  determining  the  corrugator  activity  (as 

evidenced  by  a  strong main  effect  of  valence)  Based  on  the  evidence  here, we 

would  conclude  that,  under  the  multiple‐drivers  model,  both  simulation  and 

fairness based evaluation influence corrugator EMG at the same time. 

 

Page 85: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  67

3.4.3 Processing Reasons for Character Affect 

 

This segment gave the reason for the affective state in the earlier critical segment 

by describing the events that evoked them. The affective  information was spread 

out over a sub‐clause and thus the time‐locking was  less precise compared to the 

affective  state  adjective  segment.  We  predicted  to  conceptually  replicate  the 

findings  from  our  previous  study  (Larsen,  Norris,  &  Cacioppo,  2003)  and  find 

evidence in support of the multiple‐drivers model. Good and bad things happening 

to moral  characters  evoked  a differential  corrugator  response,  showing negative 

affect for bad things and positive affect for good things. This replicates the results 

from  the earlier  affective  state  adjective  segment.  It  also  conceptually  replicates 

the  results  from  the previous  study, where  the affective event was presented as 

one complete sentence.  

We  predicted  that  the  differential  corrugator  response  to  positive  and 

negative events befalling bad characters would be attenuated compared  to good 

characters. This was prediction was confirmed. Bad things happening to bad people 

resulted in neither an increase nor a decrease in corrugator EMG, while description 

of  bad  characters  experiencing  a  positive  event  elicited  a  decrease  in  activity 

(indicative  of  positive  affect).  Taken  together  this  resulted  in  a  much  reduced  

differential  corrugator pattern  (compared  to  good  character)  in  response  to bad 

character experiencing positive and negative events,  replication previous  findings 

and providing further support for the multiple‐drivers model.  

It  is  interesting  to note  that, on  top of  the stable pattern elicited by  the 

affective state adjective, the affect reason segment elicited another sizeable phasic 

corrugator EMG activity. This shows  that  the affect reason segment was  in  fact a 

salient source of additional affective  information. Moreover, the amplitude of the 

response during the reason segment is much larger than during the affective state 

adjective,  suggesting  that  perhaps  the  evaluation  of  the  affective  sentence  as  a 

whole  is  fully  realised when  the  reason  for  the affective state of  the character  is 

Page 86: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

68

known.  The  possibility  that  evaluation  of  the  affective  state  adjective  alone  is 

incomplete  and  requires  knowledge  of  the  reason  could  also  be  further 

investigated by manipulating the severity of moral transgressions and the intensity 

of the affective events that follow. 

 

3.4.4 Waiting to Update the Situation Model? 

 

The 2500 ms neutral  segment  following  the affective  state adjective  is  intriguing 

because corrugator activity  looks to be stable for all four conditions. This offers a 

tantalising  hint  as  to  what  manner  of  language‐driven  simulation  is  involved: 

lexical‐conceptual meaning (e.g., ‘frustrated’ or ‘happy’) versus building a situation 

model  (imagining Mark  being  furious;  cf.  Zwaan  &  Radvansky,  1998;  Zwaan  & 

Kaschak, 2008). Following the multiple‐drivers model, the apparent stability of the 

corrugator  signal  elicited  throughout  the  neutral  segment  (3  seconds),  suggests 

that  the  simulation  driver  has  a  persistent  effect.  Such  persistence  points  to 

situation model level simulation, because simulation in service of lexical‐conceptual 

retrieval  likely be more  short‐lived  in nature. This would  suggest  that during  this 

neutral segment readers are maintaining an active representation of the situation 

model  they have  constructed  thus  far as  they wait  to  find out  the  final piece of 

affective information. 

 

3.4.5 Open Questions 

 

Although  our  results  support  the  multiple‐drivers  model,  we  can  imagine  an 

alternative account being put forward where readers selectively simulate affective 

meaning  depending  on whether  they  have  identified with  the  character  or  not. 

Identification  as  a  concept  is defined by Oatley  (Oatley, 1999)  as  “taking on  the 

character’s  goals  and  plans  [as  a  result  of  which  the  audience]  experiences 

Page 87: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  69

emotions when these plans go well or badly.” Several studies have demonstrated a 

relationship  between  character  likeability  (similar  to  our  character  morality 

manipulation)  and  the  degree  of  identification  with  these  characters  (Tal‐Or  & 

Cohen, 2010; Chory, 2013). Other work showed that the level of identification with 

a  character  influenced  the  degree  to  which  readers  reported  experiencing 

emotions (both positive and negative) in response to the vicissitudes befalling that 

character (Hoeken & Sinkeldam, 2014).  

While we do not exclude the possibility that  identification  is a potentially 

relevant  and  interesting  factor,  we  do  not  see  how  identification‐mediated, 

selective evaluation alone could account for our results. Given that the differential 

response to positive and negative state adjectives and affect reasons both included 

conditions  where  corrugator  EMG  neither  increased  nor  decreased,  a  selective 

simulation account would mean that readers, in those cases, also did not evaluate 

what they read at all. Moral evaluation of conspecifics  is at the heart of the core 

notion  of  what  is  fair  and  unfair.  In  addition,  one  important  reason  for  the 

pervasive  practice  of  gossip  is  to  share  social  information  and  align  notions  of 

moral behaviour (e.g., Dunbar, 2004); this could not work without the continuous 

evaluation of good as well as bad characters as the narrative unfolds, particularly if 

it concerns moral and immoral behaviour. 

3.4.6 Conclusion 

 

Taken  together,  the  results  from all  three  critical  segments broadly  replicate  the 

findings from our previous study ('t Hart B. , Struiksma, van Boxtel, & Van Berkum, 

under review) and lend support to the multiple‐drivers model. We saw once more 

that readers literally frown upon morally objectionable actions described in a story.  

The  clear  dependence  of  the  corrugator  response  to  affective  information, 

specifically  character  affect,  on  the  moral  status  of  the  character  once  again 

indicates that evaluation does exert control over the corrugator and speaks against 

a simulation‐only model  for corrugator activity. At  the same  time, despite a clear 

Page 88: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

70

role  for evaluation,  it seems unlikely  this  is  the only driver behind  the corrugator 

response we observed here. Under the assumption of the salience and dominance 

of  fairness based evaluation,  if  the  evaluation‐blocks‐simulation model had been 

true,  the patterns  found  for moral conditions during  the affective  state adjective 

and affect reason segment should have been reversed for the immoral conditions. 

Instead we found plenty of evidence that suggested that simulation also played a 

role  and  we  found  no  such  pattern  reversal  between  moral  and  immoral 

conditions.  Thanks  to  our  fine‐grained  temporal  analysis,  we  achieved  more 

detailed  insight  into  the  online  development  of  simulation  and  evaluation  and 

concluded that they most likely exert control over the corrugator concurrently. All 

together,  these  results demonstrated again  that  the unqualified  interpretation of 

the corrugator response  in  terms of  language‐driven simulation  is untenable. Our 

results  underscore  the  importance  for  a  grounded  account  of  language 

comprehension of unpacking the complexities of affective meaning  in terms of, at 

least,  evaluation  and  simulation  as  we  scale  up  from  single  words  and  short 

sentences to more ecologically valid language stimuli. 

 

 

 

 

 

 

 

 

 

 

 

Page 89: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  71

4. Study 3 

 Refining  the  Multiple‐Drivers Model:   Minimal groups vs. Morality 

4.1 Introduction 

 

Part  of  the  attraction  of  stories  is  the  vicarious  experience  of  the  lives  of  the 

characters in them. Through stories, we can experience a character’s joy when they 

find  love,  frustration when  they  quarrel,  anguish when  they  break  up,  and  fury 

when they see him or her with a new lover; all the while reclining in our arm chairs 

or waiting for the train. According to grounded  language processing theories, this 

vicarious experience is more than a figure of speech and understanding the words 

on  the page  involves  simulation of  the events and  situations described by  them. 

Simulation refers to a core notion of grounded cognition: rather than making use of 

amodal symbols, conceptual processing depends on multi‐modal representation in 

modality‐specific systems;  the same systems  that support perception, action, and 

internal  states  (e.g. Barsalou, 2008; Anderson, 2010; Barsalou, 2016). Concretely, 

this means  that understanding  the word  ‘fury’  involves  traces of activity  in  those 

areas of the brain that are active when you are actually furious. Evidence  for the 

claim  that  language  comprehension  involves  simulation  has  accumulated  (for 

reviews  see  Zwaan  &  Madden,  2005;  Willems  &  Casasanto,  2011;  Kiefer  & 

Pulvermüller, 2012), but the field is still developing. 

Page 90: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

72

  Some  of  the  evidence  for  simulation  in  language  comprehension  comes 

from studies using facial electromyography (facial EMG). Such studies primarily rely 

on the corrugator muscle, which indexes valence with increased activity (frowning) 

to negative  stimuli and decreased activity  (relaxation)  to positive  stimuli  (Larsen, 

Norris, & Cacioppo, 2003;  van Boxtel, 2010). When  language  stimuli  referring  to 

positive and negative emotions are processed,  the corrugator  response has been 

found  to be similar  to  the corrugator activity observed when  those emotions are 

actually  experienced  (e.g.,  Foroni  &  Semin,  2009;  Glenberg, Webster, Mouilso, 

Havas, & Lindeman, 2009; Havas & Matheson, 2013; Künecke, Sommer, Schacht, & 

Palazova, 2015; Fino, Menegatti, Avenanti, & Rubini , 2016). This corrugator activity 

during  the  processing  of  positive  and  negative  affective  language  is  often 

interpreted  as  a  downstream  effect  of  simulation  in  support  of  language 

comprehension. 

However,  as  we  process  language,  we  do  not  only  dispassionately 

understand the meaning of words and the situation they describe, we also evaluate 

that situation (Van Berkum J. J. A., in press). This evaluation can be crucial for our 

understanding of the situation described. For example,  imagine reading the same 

description of a character’s anger at seeing their ex‐partner with a new lover when 

a) their ex‐partner cheated on them with that new lover or b)our character was the 

one who cheated and caused the relationship to fail.  

In two earlier studies ('t Hart, Struiksma, van Boxtel, & Van Berkum, under 

review  &  in  prep.)  we  manipulated  language‐driven  simulation  and  evaluation 

orthogonally  in  short  narratives.  Each  narrative  contained  a  description  of  a 

character behaving either morally or immorally in a given situation. In a subsequent 

passage, we manipulated  the valence of an affective episode befalling  that  same 

character. In the case of moral characters we found a large differential corrugator 

response  to  positive  and  negative  events  befalling  them,  reflecting  positive  and 

negative affect, respectively. For  immoral character on  the other hand, we  found 

no  difference  between    positive  and  negative  events  at  all  in  the  corrugator 

Page 91: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  73

response.  These  results  showed  that  something  more  than  simple  lexical  or 

situation‐model  simulation  determined  corrugator  activity  during  affective 

language  processing.  We  also  argued  that  evaluation  alone  could  not  be 

responsible for this pattern as this would suggest that we do not evaluate valenced 

events befalling  immoral characters. We consider  this explanation highly unlikely, 

in part because socially  important uses of narrative  in human exchanges, such as 

gossip,  can  only  work  if  moral  evaluation  does  not  shut  down  in  the  case  of 

immoral  or  disliked  individuals  (e.g.,  Dunbar,  2004).  Based  on  these  results we 

argued  for  a multiple‐drivers model  of  corrugator  activity,  determined  by  both 

simulation and evaluation. These two drivers align  in the case of moral characters 

and as such result in a clear differential corrugator response. In the case of immoral 

characters, however, these drivers counteract each other and considerably reduce, 

eliminate or even reverse the differential corrugator response. 

Our  previous  studies  described  above  both  used  character morality  to 

operationalise the reader’s evaluation of the affective episode. Our results thus far 

suggest  that  the  counteracting  forces of  simulation and evaluation eliminate  the 

differential  corrugator  response  to  positive  and  negative  affective  information 

pertaining  to  immoral  characters. Under  the multiple‐drivers model,  it  should be 

possible  to  systematically  manipulate  the  strength  of  the  evaluation  and  thus 

influence  the  outcome  of  the  counteracting  forces  of  both  drivers.  As  human 

beings, we tend to believe ourselves to be highly moral and virtuous, more so than 

the average person (Tappin & McKay, 2016). As such, immoral characters represent  

a  strong  outgroup, which might  explain  the  fact  that  evaluation  and  simulation 

seemingly  cancel  each  other  out.  In  the  study  at  hand  we  therefore  chose  to 

contrast  the  strong  morality‐based  group  distinction  with  a  minimal  group 

paradigm (e.g., Tajfel, Billig, Bundy, & Flament, 1971; Diehl, 1990).  Minimal groups 

have already been shown to affect, among other things, how we process words and 

faces related to in‐ or outgroup members (e.g., Morrison, Decety, & Molenberghs, 

2012;  Ratner &  Amodio,  2012)  and we  therefore  expect  this  distinction  to  also 

Page 92: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

74

cause  simulation  and  evaluation  to  counteract  each  other.  However,  because 

minimal  groups  are  enacted  based  on  comparatively  trivial  and  meaningless 

characteristics  compared  to  a moral  judgement,  the  strength  of  the  evaluation 

driver  for  minimal  group  characters  will  be  comparatively  smaller,  shifting  the 

comparative  contributions  of  simulation  and  evaluation  to  actual  corrugator 

activity. 

The stimuli  in  the study at hand contained  three critical segments,  time‐

locking  the  corrugator  signal  to  specific  affectively  salient  information:  the 

character manipulation,  the  affective  state  adjective,  and  the  affect  reason  (see 

Figure  1).  For  the  character manipulation  segment we predicted  that  characters 

described  as moral  in‐ or outgroup members  (i.e.,  ‘Mark  is  a  good/bad person’) 

should elicit a differential corrugator response, with an increase reflecting negative 

affect for immoral characters. For characters described as minimal in‐ or outgroup 

members  (i.e.,  ‘Mark  is a  type P/type O person’) we also predicted a differential 

corrugator  response,  but  that  this  differential  pattern  should  be  attenuated 

compared to moral in‐ and outgroup because it is the weaker of the two character 

manipulations.  

 

 

Figure 4.1. Stimulus example illustrating the trial structure with the segment names 

(top) and presentations times (bottom). Note: between each segment was a fixed 

0.25 s delay. 

 

Page 93: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  75

 

During  the affective state adjective segment  (i.e,  ‘happy’ vs.  ‘frustrated’) 

we predicted to replicate results  from our previous studies (notably ‘t Hart et al. in 

prep.)  for  the  morality‐based  conditions.  Specifically,  we  predicted  a  clear 

differential corrugator response to positive and negative state adjectives attributed 

to moral ingroup characters (i.e., ‘Good Mark’). This basic sensitivity of corrugator 

activity to valence will be referred to as the differential valence effect and involves 

significantly  higher  activity  for  negative  stimuli  than  for  positive  stimuli.  For 

affective  state  adjectives describing  the  state of moral outgroup  characters  (i.e., 

‘Bad Mark’) we predicted  that, because of  the counteracting  forces of simulation 

and  evaluation,  the  differential  valence  effect  should  be  strongly  reduced, 

eliminated, or even reversed.  

For minimal  ingroup characters (i.e.,  ‘Type P Mark’) we predicted, similar 

to  moral  ingroup  characters,  a  differential  valence  effect,  possibly  smaller 

compared  to  moral  ingroup‐characters  because  minimal  groups  evoke  weaker 

evaluation. For minimal outgroup characters (i.e., ‘Type O Mark’) we predicted that 

the  differential  valence  effect  would  once  again  be  attenuated,  eliminated,  or 

reversed  as  a  result  of  counteracting  forces  of  language‐driven  simulation  and 

evaluation. Crucially, however, we predicted that the reduction of the differential 

valence  effect  should be  smaller  for minimal  outgroup members  than  for moral 

outgroup members.  Therefore  the  corrugator patterns  in  response  to  characters 

experiencing positive and negative emotions should be more similar for minimal in‐ 

and  outgroup  characters  than  for moral  in‐  and  outgroup  characters.  Figure  1 

below  illustrates  the  predicted  patterns  for morality‐based  and minimal  group‐

based conditions in terms of the differential valence effect. 

 

Page 94: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

76

 

Figure 4.2:  Illustration of the differential valence effect for morality‐based (A) and 

minimal group‐based conditions (B) at the Affective State Adjective Segment.9 

During  the  affect  reason  segment,  the  event  that  elicited  the  emotion 

mentioned  in  the  affective  state  adjective  segment  is  revealed.  The  affective 

information  in this segment was distributed over a multi‐word clause. This meant 

the time‐locking of the corrugator signal to affective content was  less precise. We 

made no detailed predictions for this segment, except that we expected them to on 

the whole resemble  those observed  in previous studies; clear differential valence 

effect for moral and minimal ingroup characters experiencing positive and negative 

events  and  some  indication  of  a  counteracting  drivers  in  the  case  of moral  and 

minimal outgroup characters. 

4.2 Method 

4.2.1 Participants and Stimulus Materials 

 

We  recruited 64 participants  (6 male) aged between 18 and 27  (M = 21.48, SD = 

2.19) from the Utrecht University Humanities database. All were native speakers of 

Dutch, without dyslexia and without Botox®  injections to the  face. At the time of 

testing, our institute did not have an internal review board, but we complied with 

standard  practices  for  experiments with  human  participants.  Participants  signed 

                                                            9  Note:  Only  linear  time  components  included  for  purpose  of  illustration,  but  analysis  will  include quadratic and cubic components. 

Page 95: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  77

informed consent forms that detailed the procedure and the nature of the stimuli. 

The informed consent form also stressed the voluntary nature of their participation 

and  their  right  to withdraw  consent  at  any moment  and  still  receive  the  stated 

financial compensation (€ 12,‐).  

  We  used  64  sentences  describing  affective  episodes  taken  from  larger 

narratives  used  in  a  previous  experiment  ('t Hart,  Struiksma,  van  Boxtel, &  Van 

Berkum,  under  review).  The  stimulus  sentences  were  written  according  to  the 

structure outlined in Figure 1.  Each sentence had eight variants based on our 2 x 2 

x  2  design:  grouping  dimension  (morality  vs.  minimal)  x  group  (ingroup  vs. 

outgroup) x episode valence (positive vs. negative). Based on this design we made 

8  lists of 128  trials  that were  composed  such  that a) half  started with a 64‐item 

block of morality items and the other with a block of minimal group items, b) every 

affective episode occurred only once in each block in only one of the four variants 

of  group  x  episode  valence,  c)  for  each block, 32  affective  episodes described  a 

male protagonist and 32 described a  female protagonist  (counterbalanced  for all 

but nine affective episodes due to stereotyped behavioural expectations).  

  The manipulation of  grouping dimension  and  group was  instantiated by 

presenting an image before the affective episode. The image consisted of a male or 

female silhouette with a badge on their chest that said either ‘good’/’bad’ or ‘type 

P’/’type O’. Each image had a caption underneath “X is a good/bad person” or “X is 

a  type  O/type  P  person”.  All  stimulus  materials  (in  Dutch)  are  available  upon 

request (see Supplementary Information A2). 

 

4.2.2 Procedure and Data Acquisition 

 

After signing an informed consent form, participants were seated in a comfortable 

chair  in  a  sound‐proof  booth  and  completed  a  short  questionnaire  containing 

questions  to  do with  superficial  aspects  of  personality,  specifically  unrelated  to 

morality.  The  test  automatically  returned  a  result  that,  unbeknownst  to  them, 

Page 96: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

78

always classified them as a Type P personality. They were then asked to enter their 

result and  submit  the questionnaire  for administrative purposes. To enhance  the 

feeling of group membership, we asked them to wear a badge with a capital P on it, 

supposedly in case we lost the questionnaire data.  

  Next,  participants  received  verbal  instruction  regarding  the  rest  of  the 

experiment.  Stimulus  presentation  rate  was  self‐timed  between  trials  and 

automatically timed as described in Figure 1. within trials. Each block was preceded 

by  two practice  trials and  there was a pause between blocks where participants 

performed  an  unrelated  task.  Facial  EMG  was  measured  continuously  using 

reusable Ag/AgCl electrodes with a 2 mm contact surface on the right side of the 

face  over  corrugator  and  zygomaticus  sites.  We  included  both  corrugator  and 

zygomaticus  to maintain  compatibility with  similar  studies  addressing  emotional 

valence. However, zygomaticus does not track emotional valence in the same way 

that  the  corrugator does  (Larsen, Norris, & Cacioppo, 2003). Particularly  in more 

complex situations such as our narrative stimuli, smiling activity may be difficult to 

interpret  in terms of pure valence. For  instance, smiles can be wry, sarcastic, and 

smirking as well as expressions of  true positive  feeling. We  therefore  focused on 

corrugator activity and report the zygomaticus data in Supplementary Information 

D3 for reference.  

Raw EMG signals were recorded with a Nexus MKII biosignal system (Mind 

Media)  with  a  2048  Hz  sampling  rate.  Upon  completion  of  both  blocks,  the 

electrodes  were  removed  and  participants  moved  to  a  laptop  to  fill  out  two 

questionnaires: the Adolescent Measure of Empathy and Sympathy (AMES, Vossen, 

Piotrowski, & Valkenburg, 2015) and the Moral Foundations Questionnaire  (MFQ, 

Graham, et al., 2011). These questionnaires were only of exploratory  interest and 

we  therefore  report  on  them  separately  in  Supplementary Materials  E2.  Finally, 

participants were debriefed and received payment.  

 

Page 97: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  79

4.2.3 Data Preparation and Analysis 

 

facial  EMG  data.  The  raw  data were  band‐pass  filtered  between  20‐500 Hz  (48 

dB/octave  roll‐off) and were additionally  filtered with a notch  filter at 50 Hz  (see 

van Boxtel 2010), followed by signal rectification and segmentation per trial using 

BrainVision Analyzer 2. For each trial the 2000 ms of baseline activity preceding the 

narrative, consisting of a neutral distractor image of a forest scene, were inspected 

visually for remaining artefacts. Data collection error resulted in the loss of data of 

two  participants.  We  selected  maximally  long  epochs  of  artefact‐free  baseline 

signal, with a minimum length of 500 ms for both muscles simultaneously. If such a 

500 ms baseline epoch  could not be  found,  the  trial was excluded  from analysis 

(resulting in 3.45% lost trials).  

  After  baseline  selection,  the  data were  exported  to MatLab  for  further 

segmentation  into  three  parts,  time‐locked  to  the  onset  of  the  character 

manipulation segment (3500 ms), the affective state adjective (1000 ms), and the 

affect  reason  (2500  ms).  Each  of  the  resulting  facial  EMG  segments  was  then 

divided  into  consecutive 100‐ms bins; 100ms bins provide a good balances good 

temporal resolution and sufficient random error reduction. The average facial EMG 

activity  during  each  bin  was  expressed  as  a  percentage  of  the  pre‐narrative 

baseline activity  level  (expressing  facial EMG activity as a percentage of baseline 

reduces random variance both within and between individuals; van Boxtel, 2010). 

The  three critical  segments  (character morality, affective  state adjective, 

and  affect  reason)  were  analysed  separately  using  the  mixed  models  linear 

regression procedure in SPSS (IBM, v24). The model was built iteratively using the ‐

2LL chi‐square test (p <.05), see Supplementary Materials A3 for a complete report. 

In order to be able to evaluate the corrugator response over time we  first built a 

growth  curve  model  (Mirman,  2015);  linear,  quadratic,  and  cubic  trends  were 

added as covariates in the fixed part of the model (trend components were centred 

to avoid correlation between trends). By using trends up to the cubic component, 

Page 98: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

80

we  achieve  some  flexibility  to  fit  responses  without  over‐fitting  or  losing 

explanatory power (Mirman, 2015). While models were fitted with a resolution of 

100 ms, the parameter estimates (e.g., b for a linear slope) are reported per second 

for  ease  of  comprehension.  We  added  separate  parameters  of  time  trend 

components for each condition to maintain flexibility in building the model and to 

avoid  forcing  the model  to  fit,  for  example,  a  quadratic  trend  for  all  conditions 

when only one condition contained a significant quadratic component.  

To assess  the effect of our manipulations on  the average activation over 

the entire time‐window, we also added grouping dimension (morality vs. minimal) 

and group (ingroup vs. outgroup), as well as their  interaction, to the fixed part of 

the model for the character manipulation segment. For the affective state adjective 

and  affect  reason  segment  we  added  grouping  dimension,  group  and  episode 

valence  as  well  as  their  various  two‐way  and  three‐way  interactions  as  fixed 

factors.  The  random  part  of  the models  always  included  random  intercepts  for 

subject and  item, as well as  random  slopes  for  subjects  for each  time  trend  that 

initially improved the model. 

4.3 Results 

4.3.1 Character Manipulation 

 

The  character  manipulation  contained  two  variables,  each  with  two  levels: 

grouping dimension (morality vs. minimal) x group (ingroup vs. outgroup). Figure 2 

below displays the results for the four conditions. The type  III test of fixed effects 

revealed  a  significant  interaction  of  grouping  dimension  x  group,  F(3,  117.46)  = 

2970.73, p < .001. However, post‐hoc tests with Bonferroni adjustment for multiple 

comparisons  showed  that none of  the  conditions differed  significantly  from each 

other  with  regards  to  average  activation  over  the  entire  time‐window,  see 

Page 99: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  81

Supplementary  Information C3  for a  full  report.10 Because we were  interested  in 

more  than  the  average  activation  alone, we  included  time  trend  components  to 

investigate  the  development  of  the  corrugator  response  over  time. Our  primary 

interest was in discovering whether moral ingroup vs. moral outgroup and minimal 

ingroup vs. minimal outgroup elicited a differential corrugator valence effect. We 

will  therefore  discuss  these  contrasts  separately,  starting  with  the  morality 

manipulation. 

 

Moral in‐ outgroup. The black lines in Figure 2 below show an increase in frowning 

activity  in  response  to  characters  being  labelled  as moral  outgroup  (i.e.,  a  ‘bad 

person’), while moral ingroup (i.e., a ‘good person’) characters elicited no change in 

corrugator  activity.  The  observed  averages  suggest  a  differential  response  to 

descriptions  of  characters  as  either moral  in‐  and  outgroup members,  but  the 

statistics  are  ambiguous.  The  linear  increase  in  frowning  activity  in  response  to 

moral outgroup characters was not significant (ẞ = 2.19, t (62.02) = 1.97, p = .053, 

95%  CI  [−0.03,  4.41]).  Addi onally,  the model  also  contained  a  non‐significant, 

negative quadratic trend for the same condition (ẞ = −2.88, t (61.98) = −1.87, p = 

.066,  95%  CI  [−5.96,  0.19]),  indica ng  a  rise/fall  pattern.  For  moral  ingroup 

characters, on the other hand, the model fitted a flat line, a clear indication of the 

absence  of  any  significant  increase  or  decrease  in  corrugator  activity.  Taken 

together,  our  morality‐based  character  manipulation  did  not  elicit  a  clear 

differential  response  to  moral  ingroup  and  moral  outgroup  members,  but  the 

results are such that we also cannot definitively conclude there is no difference at 

all. While at trend‐level, the difference that we found was in the expected direction 

with higher corrugator activity  for moral outgroup characters  than moral  ingroup 

characters. 

                                                            10 Because trend variables were centred, an intercept reflects the average corrugator activity across the 

entire epoch at hand (based on the fixed effects  in the final model), not the  level at which corrugator activity intercepts the y‐axis. 

Page 100: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

82

 

Figure 4.3. Observed averages  for corrugator  response at character manipulation 

segment, growth curve overlaid. 

Minimal  in‐ outgroup. The grey  lines  in Figure 3  show a very  similar  response  to 

characters  being  labelled  as  either  a minimal  ingroup  (a  ‘type  P  person’)  or  a 

minimal  outgroup  (a  ‘type  O  person’)  member.  Our  analysis  showed  that  the 

corrugator  response  during  both  minimal  ingroup‐  and  outgroup  conditions 

contained  a  positive  linear  component.  For  minimal  outgroup  characters  this 

increase was significant (ẞ = 2.26, t (299.09) = 3.63, p < .001, 95% CI [1.04, 3.48]), 

but not for minimal ingroup characters (ẞ = 1.19, t (61.90) = 1.90, p = .062, 95% CI 

[−0.06, 2.45]). However, pairwise comparison revealed that the difference between 

the  linear time trends for minimal  in‐ and outgroup characters was not significant 

(p =  .109).  In all,  the corrugator response did not show a differential response  to 

minimal group membership.  

Page 101: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  83

The  absence of  such  a  differential  response  could  point  to  the minimal 

group  manipulation  having  been  unsuccessful.  However,  a  two‐tailed,  paired‐

samples  t‐test  showed  that,  in  the  exit  questionnaire,  participants  did  report 

feeling significantly less similar (range= −3 not similar at all, 3 very much similar) to 

minimal  outgroup  characters  (M  =  −1.61)  compared  to  minimal  ingroup 

characters(M = 0.70): M =  −2.31,  SD = 1.19,  t(61) =  −9.06, p <  .001.  In  all, even 

though participants  reported  feeling more  similar  to minimal  ingroup  characters, 

the minimal group manipulation did not evoke a difference  in corrugator activity 

between  seeing  a  character  described  as  either  a  type  P  (ingroup)  or  type  O 

(outgroup) person. 

 

4.3.2 Affective State Adjective 

 

At  the  affective  state  adjective  our  design  became  a  2  (grouping  dimension: 

morality/minimal  group)  x  2  (group:  ingroup/outgroup)  x  2  (event  valence: 

positive/negative) design. Type III tests of fixed effects revealed a significant three‐

way‐interaction of  these  factors, F(7, 276.70) = 232.23, p <  .001. Figure 4a below 

displays  the morality‐based  conditions  and  4b displays  the minimal  group‐based 

conditions. 

Page 102: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

84

 

Figure 4.4a & 4.4b. Observed averages  for  corrugator  response at affective  state 

adjective  segment  for  morality‐based  conditions  (3a)  and  minimal  group‐based 

conditions (3b), growth curves overlaid. Note that, although split across two figure 

here, all eight conditions were analysed in a single model. 

Morality  in‐ outgroup. The  response patterns  for moral  ingroup  characters  (solid 

lines  in  figure  4a.)  showed  a  clear  differential  pattern  for  positive  and  negative 

state adjectives. Our analysis confirmed that, on average, participants frowned less 

when  moral‐  ingroup  characters  (i.e.,  a  ‘good  person’)  experienced  a  positive 

emotion compared  to when they experienced a negative emotion  (difference b = 

−12.69,  t  (505.90)  =  −4.91,  p  <  .001,  95%  CI  [−17.77,  −7.61]).  The  temporal 

development  of  the  corrugator  response  for  the moral  ingroup  conditions  also 

differed.  The model  fitted  a  flat  line  for moral  ingroup‐positive,  but  included  a 

significant  linear  increase  in  activation  for moral  ingroup‐negative  (b  =  56.39,  t 

(77.04) = 2.65, p =  .010, 95% CI  [13.95, 98.83]). The model also  included a  cubic 

component for moral  ingroup‐negative; see Supplementary Materials A3 for a full 

report.    In  all,  average  corrugator  activity  and  temporal  development  combined 

confirmed  the  presence  of  a  clear  differential  pattern.  As  such,  these  results 

replicate results from previous studies, notably ‘t Hart et al in prep. 

Page 103: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  85

The dotted  lines  in Figure 4a show a slight  increase for both positive and 

negative  state  adjectives  attributed  to  moral  outgroup  characters  (i.e.,  a  ‘bad 

person’).  This  increase  proved  to  be  significant  in  the  case  of moral  outgroup‐

negative  (b  =  9.11,  t  (75797.11)  =  3.17,  p  =  .002),  but  not  for moral  outgroup‐

positive (b = 6.59, t (62.23) = 1.06, p = .294). Pairwise comparison revealed neither 

a  significant  difference  in  average  activation  over  the  entire  time‐window 

(difference b = −0.69, t (507.31) = −0.27, p = .791, 95% CI [−5.77, 4.40]) nor in the 

linear trends for the two moral outgroup conditions (difference b = −2.52, t (91.55) 

= −0.37, p = .714, 95% CI [−16.16, 11.12]). The absence of such differences suggests 

that, although both conditions described a slight  increase, the corrugator showed 

no sensitivity to the valence of the affective state adjectives in the moral outgroup 

conditions. Taken together with the moral ingroup conditions, this constitutes a full 

replication  of  our  second  study  (‘t  Hart  et  al.,  in  prep.)  and  aligns  with  our 

predictions  regarding  the  ‘dampening’  of  the  differential  valence  effect  on 

corrugator  activity  (as  illustrated  in  Figure  2a)  for  moral  outgroup  characters 

compared to moral ingroup characters. 

 

Minimal Group Manipulation.  In  figure 4b  the negative state adjectives showed a 

clear increase, regardless of minimal group membership (black lines). Positive state 

adjectives showed neither an  increase nor a decrease, both  for minimal  ingroup‐

positive  and  minimal  outgroup‐positive  (grey  lines).  Our  analysis  showed  that 

average activation over the entire time window was significantly higher for minimal 

ingroup‐negative than for minimal ingroup‐positive (p < .001). Similarly, outgroup‐

negative elicited significantly higher corrugator activity than outgroup‐positive (p < 

.001). Furthermore, there was no difference  in average frowning activity between 

in‐ and outgroup‐negative and between in‐ and outgroup‐positive (p = .931 and p = 

.560 respectively).   

The  temporal development of positive  and negative  state  adjectives did 

not vary as a result of minimal group membership. Minimal  ingroup‐negative and 

Page 104: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

86

minimal  outgroup‐negative  both  contained  a  significant  linear  increase  in 

corrugator activity: minimal ingroup‐negative: b = 43.39, t (118.52) = 3.33, p < .001, 

95% CI [17.55, 69.24] and minimal outgroup‐negative b = 39.68, t (150.25) = 3.43, p 

<  .001,  95%  CI  [16.80,  62.55].  Pairwise  comparison  revealed  these  two  did  not 

differ between  in‐ and outgroup  (difference b = 3.72,  t  (998.58) = 0.33, p =  .740, 

95% CI  [−18.28, 25.72]). The model  included  a nega ve  cubic  trend  for nega ve 

affective  state  adjectives,  indicating  a  fall/rise/fall  pattern,  but  there  was  once 

again no difference between in‐ and outgroup members (p = .672).  

We  had  considered  the  possibility  of  the  differential  valence  effect  for 

minimal ingroup conditions to be smaller overall than for moral ingroup conditions. 

Pairwise  comparisons  showed  that  there was  no  significant  difference  between 

moral  ingroup‐negative  and  minimal  ingroup‐negative;  not  on  the  average 

activation over  time,  the  linear  trend  component, or  the  cubic  trend  component 

(all p > .317), while both moral‐ and minimal ingroup‐positive were fitted with a flat 

line.  For  a  full  report  of  all  estimates  and  comparison  see  Supplementary 

Information C3. 

Taken together, the presence of equally differential responses to positive 

and  negative  affective  states  attributed  to  both  minimal  ingroup  and  minimal 

outgroup  characters  suggests  that  there  was  no  in  fact  no  reduction  of  the 

differential  valence  effect.  This  aligns with  our  predictions  only  insofar  that we 

predicted  the  reduction  of  the  differential  valence  effect  would  be  smaller  for 

minimal group‐based conditions than for morality‐based conditions.  

 

4.3.3 Affect Reason Segment 

 

At the affective reason segment participants read the final part of the sentence, a 

sub‐clause describing the event that led to the character experiencing the affective 

state described previously. This clause was presented in its entirety and for a fixed 

duration  of  2500  ms.  The  model  once  more  revealed  a  significant  three‐way 

Page 105: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  87

interaction between grouping dimension, group, and valence: F(7, 291.26) = 87.89, 

p < .001. Our eight conditions are displayed divided by their grouping dimension in 

Figure 4a (morality based) and 4b (minimal group based) below. One striking aspect 

of the patterns  in figures 4a and 4b  is the renewed phasic corrugator response  in 

addition to that observed previously during the affective state adjective segment. 

This suggests that the affect reason once again contained enough affectively salient 

information to elicit corrugator activity.  

 

Figure  4.5a &  4.5b. Observed  averages  for  corrugator  response  at  affect  reason 

segment  for morality‐based  conditions  (4a)  and minimal  group‐based  conditions 

(4b), growth‐curves overlaid. 

Moral  in‐ outgroup Figure 4a  showed  the expected differential pattern  for moral 

ingroup characters (solid lines): a clear and substantial increase for negative events 

befalling moral  ingroup  characters and a  flat‐line  for good  things befalling moral 

ingroup  characters.  Positive  and  negative  affect  reasons  described  for  moral 

outgroup  characters  (dotted  lines)  also  looked  to  evoke  a differential  corrugator 

response:  an  increase  in  response  to  negative  events  befalling moral  outgroup 

characters and a slight increase in response to positive events.  

Page 106: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

88

  The analysis confirms the presence of a differential corrugator response to 

positive and negative affect  reasons described  for both moral  ingroup and moral 

outgroup  characters.  For moral  ingroup‐negative  (i.e.,  good  people  experiencing 

something bad) we found a clear linear increase in corrugator activity (b = 41.99, t 

(82.81) = 4.31, p <  .001, 95% CI  [22.62, 61.35]), compared  to a  flat  line  fitted  for 

moral  ingroup‐positive  (i.e.,  good  people  experiencing  something  good).  In 

addition,  the  model  also  contained  significant  quadratic  and  cubic  time 

components  for  moral  ingroup‐negative  (both  p  <  .05,  see  supplementary 

information  C3).  Finally,  the  average  corrugator  activation  for  moral  ingroup‐

negative was significantly higher than that for moral ingroup‐positive (difference b 

= −61.34, t (554.54) = −10.67, p < .001, 95% CI [−72.65, −50.04]).  

  For  moral  outgroup‐negative  (i.e.,  bad  people  experiencing  something 

bad) the analysis revealed a significant linear increase (b = 38.77, t (80.34) = 3.79, p 

<  .001,  95%  CI  [18.39,  59.15])  and  for moral  outgroup‐positive  (i.e.,  bad  people 

experiencing something good) a non‐significant linear increase (b = 4.27, t (61.74) = 

1.01,  p  =  .318,  95%  CI  [−4.21,  12.76]).  The  difference  between  these  two  linear 

estimates was significant  (difference b = 34.50,  t  (91.44) = 4.10, p <  .001, 95% CI 

[17.60, 50.74]). The model also included significant quadratic components for both 

moral outgroup conditions and a significant cubic component for moral outgroup‐

negative  (all  p  <  .01,  see  supplementary  information  C3).  Finally,  the  average 

corrugator activity was also  significantly higher  for moral‐outgroup negative  than 

moral outgroup‐positive  (difference b = 21.90, t  (608.66) = 3.72, p <  .001, 95% CI 

[33.47, 10.33]). 

  In  all,  the  results  above  confirmed  a differential  corrugator  response  to 

positive and negative affect  reasons  for both moral  ingroup and moral outgroup 

characters.  However,  the  differential  response  for  moral  outgroup  conditions 

seemed  reduced  compared  to  the  moral  ingroup  conditions.  The  analysis 

supported  this  interpretation with  a  significant  difference  on  average  activation 

between  the  two positive conditions  (difference b = 18.44,  t  (554.55) = 3.21, p < 

Page 107: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  89

.001,  95%  CI  [29.75,  7.14])  and  a  significant  negative  quadratic  (rise/fall) 

component for moral outgroup‐positive (b = −6.23, t (190585.27) = −2.60, p = .009, 

95% CI [−10.94, −1.53]), compared to a flat line for moral ingroup‐positive. The two 

negative  conditions  also  differed  in  average  activation  (difference  b  =  20.99,  t 

(608.66)  =  3.56,  p  <  .001,  95%  CI  [9.42,  32.56]),  though  not  on  either  linear, 

quadratic, cubic components (all p > .3, see supplementary information C3). Taken 

together  this  suggests  that,  as  predicted,  the  differential  valence  effect  was 

somewhat  reduced  for  moral  outgroup  conditions,  constituting  a  conceptual 

replication of our previous study (‘t Hart et al. in prep.). 

 

Minimal Group Manipulation.   Figure 4b showed differential corrugator responses 

to positive and negative affect  reasons  for both minimal  ingroup characters  (i.e., 

type P people) and minimal outgroup characters (i.e., type O people). The minimal 

ingroup‐negative  condition evoked  significantly more  corrugator activity over  the 

entire time window than did minimal ingroup‐positive (b = 50.59, t (553.83) = 8.79, 

p < .001, 95% CI [39.28, 61.89]). Similarly, minimal outgroup‐negative also evoked 

significantly more  negative  affect  than minimal  outgroup‐positive  (b  =  43.85,  t 

(555.90) = 7.61, p <  .001, 95% CI [32.54, 55.16]). As for the development of these 

responses over  time, while both minimal  ingroup‐positive and minimal outgroup‐

positive  elicited  no  increase  or  decrease  in  corrugator  activity,  both  minimal 

ingroup‐negative  and  minimal  outgroup  negative  displayed  significant  linear 

increases in corrugator activity (both p < .01, see Supplementary Information C3 for 

a detailed report). 

The comparison between the positive affect reason conditions revealed no 

difference  in  the  corrugator  response  depending  on  whether  something  good 

happened to a minimal ingroup or a minimal outgroup character (grey lines). Both 

were fitted with a flat line and there was no difference on the intercept (b = 0.86, t 

(503.24)  =  0.152,  p  =  .879,  95%  CI  [−10.18,  11.89]). Nega ve  affect  reasons  did 

prove sensitive to minimal in‐ or outgroup member status. The model revealed that 

Page 108: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

90

average activation over the entire time‐window for minimal  ingroup‐negative and 

minimal  outgroup‐negative  conditions  did  not  differ  significantly  (b  =  7.59,  t 

(609.00) = 1.29, p = .198, 95% CI [−3.98, 19.16]), but the temporal development of 

the  two  negative  affect  reason  conditions  did  show  a  difference.  The  linear 

component  for minimal outgroup‐negative was  significantly  smaller  compared  to 

that for minimal ingroup‐negative (b = −26.07, t (124.78) = −4.07, p < .001, 95% CI 

[−38.76, −13.38]). Taken together these results once more suggest a dampening of 

the  differential  valence  effect  for  affective  language  pertaining  to  outgroup 

characters, in this case minimal outgroup characters.  

4.4 Discussion 

 

This  study was  designed with  two  aims  in mind.  Firstly, we  aimed  to  replicate 

findings from previous studies (‘t Hart et al. under review & in prep.); findings that 

suggested  a  multiple‐drivers  model  (simulation  and  evaluation)  for  corrugator 

activity during affective  language processing. Secondly, and more  importantly, we 

aimed to show that it was possible to systematically manipulate the strength of the 

evaluation  driver  in  relation  to  simulation  and  as  such  reduce  the  differential 

valence effect on corrugator activity we found previously. Doing so would provide 

further support for the validity of the multiple‐drivers model. For the replication we 

once more made use of a character manipulation based on morality,  followed by 

an affective episode befalling those same characters. To manipulate the strength of 

the  evaluation  we  contrasted  the  effect  of  the  morality‐based  character 

manipulation with that of a manipulation based on minimal groups.  

 

4.4.1 Morality vs. Minimal Group Manipulation 

 

As predicted, the morality‐based character manipulation evoked a weak differential 

corrugator response with slightly higher activation for descriptions of characters as 

Page 109: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  91

bad  as  opposed  to  good.  However,  this  difference  proved  only  marginally 

significant. Contrary to our predictions, the minimal group‐based manipulation did 

not  evoke  any  differential  corrugator  response,  despite  the  exit  questionnaire 

showing  that participants did  report  feeling more alike  to minimal  ingroup‐  than 

minimal outgroup members. The absence of a differential response to the minimal 

groups manipulation compared  to  the, albeit  trend‐level, differential  response  to 

morality does align with our prediction  that  that  the minimal group manipulation 

would  evoke  a  weaker  evaluative  response  compared  to  the  morality‐based 

manipulation.  

  In  previous  studies we  did  find  large  and  robust  differential  corrugator 

responses to morality‐based character manipulations (‘t Hart et al., under review & 

in  prep.).  However  in  those  previous  studies,  character’s  moral  status  was 

manipulated based on a narrative description of the behaviour by characters  in a 

concrete  situation,  rather  than  with  an  explicit  propositional  statement.  The 

absence of a significant differential response to moral status in this study attests to 

the power of concrete events in narratives to evoke affective responses compared 

to  the  simple  characterisation  of  story  characters  with  canonically  valenced 

descriptors such as “good” or “bad”.  

 

4.4.2 Processing Character Affect 

 

Although  the  effects  observed  during  the  character  manipulation  segment  for 

morality‐based  manipulations  were  only  marginally  significant,  our  predictions 

regarding  the  role  character  morality  would  play  during  the  affective  state 

adjective  were  confirmed.  As  predicted  we  found  that,  in  the  case  of  ‘good’ 

characters experiencing positive and negative emotions, the corrugator responded 

differentially  and  with  a  higher  level  of  activation  for  negative  affective  states 

compared to positive states. For ‘bad’ characters, we predicted that this differential 

valence effect would be  reduced, eliminated, or  reversed. Our  results  confirmed 

Page 110: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

92

this prediction as we  found no  significant difference between  corrugator activity 

when  participants  read  about  ‘bad’  characters  experiencing  positive  or  negative 

emotions. These results are a direct replication of ‘t Hart et al. (in prep.) and once 

more  lend  support  to  an  explanation  of  corrugator  activity  during  affective 

language  processing  in  terms  of  the  multiple‐drivers  model.  According  to  the 

multiple‐drivers model,  language‐driven simulation and evaluation align for  ‘good’ 

characters,  but  represent  opposing  forces  in  the  case  of  ‘bad’  characters.  The 

minimal‐group based manipulation was  intended  to provide a weaker evaluation 

compared to the morality‐based manipulation.  

As predicted, moral ingroup characters experiencing positive and negative 

emotions  once  more  displayed  a  clear  differential  corrugator  response,  with 

significantly higher  activation  for negative  affective  state  adjectives.  For minimal 

outgroup  characters  we  found  an  equally  differential  corrugator  response  to 

positive  and  negative  state  adjectives,  once  again  with  significantly  higher 

activation for negative state adjectives. This constitutes an extreme variant of our 

prediction that the reduction of the differential valence effect would be smaller for 

minimal outgroup  characters  compared  to moral outgroup  characters;  that  is  to 

say,  rather  than a smaller  reduction,  the differential valence effect  is unaffected. 

This suggests that we evaluate minimal‐  in and outgroups characters experiencing 

positive or negative emotions the same.  

 

4.4.3 Processing Reasons for Character Affect 

 

As predicted, we found a differential valence effect on corrugator activity for ‘good’ 

characters. We  also  found  a differential  valence  effect  for  events befalling  ‘bad’ 

characters. Also as predicted,we  found evidence of a reduction of the differential 

valence effect  for  ‘bad’ character,  that  is  to  say a  ‘dampening’ of  the differential 

response compared to ‘good’ characters.  This constitutes conceptual replication of 

our  previous  study  (‘t Hart  et  al.  in  prep.b), where we  also  found  a  differential 

Page 111: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  93

valence  effect  for  both  ‘good’  and  ‘bad’  characters  during  the  affect  reason 

segment. The differential valence effect for  ‘bad’ characters  in the study at hand, 

however,  seems  much  larger  than  what  we  found  previously.  The  difference 

between these two studies might be caused by the weaker evaluative strength of 

the propositional manner in which character morality was manipulated in the study 

at hand, as opposed to the concrete event description in the previous study. 

Turning  to  the  minimal  group  conditions,  we  found  the  predicted 

differential  valence  effect  for  minimal  ingroup  characters.  Minimal  outgroup 

characters  experiencing  positive  and  negative  affect  reasons  also  once  more 

evoked a differential corrugator response. Surprisingly, we found the first evidence 

of any effect of minimal group membership on  the  corrugator  response. Despite 

not  differing  on  average  activation,  the  linear  increase  in  corrugator  activity  for 

minimal ingroup characters experiencing a negative affect reason was significantly 

larger than for minimal outgroup negative affect reasons. We found no difference 

for  positive  events  befalling  minimal  in‐  or  outgroup  members.  These  results 

provide  tentative  support  for  a  reduced  differential  valence  effect  for minimal 

outgroup characters. While we would first like to see such a result replicated, this 

suggests  that a  relatively  ‘empty’, minimal group distinction  is sufficient basis  for 

differential  evaluation  during  online  language  comprehension  and  suggests  that 

participants cared  less about bad things happening to outgroup characters. This  is 

in  line  with  studies  reporting  reduced  empathy  for  outgroup  characters 

experiencing  negative  emotions  (e.g.,  Cikara,  Bruneau, &  Saxe,  2012; Montalan, 

Lelard, Godefroy, & Mouras, 2012) . 

That no  such difference was  found  for morality‐based  conditions during 

the affective reason segment suggests that the influence of evaluation for minimal 

in/outgroup characters and moral  in/outgroup characters  is perhaps qualitatively 

different rather than quantitatively. That is to say, perhaps it is not the strength of 

the  evaluative  driver  that  differs,  but  rather what  is  evaluated.  Based  on  these 

results  alone,  it  seems  moral  group  identity  influences  evaluation  of  language 

Page 112: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

94

describing emotions more, while minimal group identity influenced the evaluation 

language describing events befalling those characters. 

 

4.4.4 General Discussion   

 

In  all,  the  results  support  the multi‐drivers model  for  corrugator  activity  during 

affective  language  comprehension. A  simulation‐only model has once more been 

proven to be incorrect as it should have resulted in the same pattern of corrugator 

activity  in  response  to  characters  experiencing  positive  and  negative  emotions, 

regardless  of  their  moral  group  status.  An  evaluation‐block‐simulation  model, 

where evaluation alone determines corrugator activity, is also unlikely. It has been 

quite well‐established that we experience Schadenfreude in response to disliked or 

considered undeserving characters experiencing something negative (e.g., Feather 

& Nairn, 2005; Leach & Spears, 2009; Singer, et al., 2006) and  this has also been 

shown  to  influence  corrugator  activity  (Cikara  &  Fiske,  Stereotypes  and 

Schadenfreude:  Affective  and  physiological  markers  of  pleasure  at  outgroup 

misfortunes, 2012). Similarly, we might expect a kind of outraged sense of  justice 

to evoke increased corrugator activity when ‘bad’ characters experience something 

good.  In  all,  the  most  parsimonious  explanation  of  the  elimination  of  the 

differential  valence  effect  for moral  outgroup  characters  remains  the multiple‐

drivers model. This model helps guide research exploring the role of simulation  in 

language  comprehension  and  online  affective  responding,  using  more  natural 

language stimuli that engage the kind of complexity our narratives engaged 

This study extends previous results by showing that the conflict between 

evaluation and simulation can also be enacted by a propositional manipulation of a 

character,  rather  than  through concrete event descriptions  in a narrative  format. 

Additionally,  it shows  that an affective  response  to  the character manipulation  is 

not  necessary  to  create  the  opposing  forces  of  the  evaluation  and  simulation 

drivers during subsequent affectively salient segments. The comparison of results 

Page 113: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  95

from  the morality‐based and  the minimal group‐based dimension shows  that  the 

effects of moral  identity are not reducible to  in‐ and outgroup status only. At the 

same  time,  we  saw  that  a  relatively  meaningless  grouping  dimension  such  as 

minimal  groups  is  sufficient  basis  for  a  differential  evaluation  during  online 

language comprehension 

Taken  together,  these  results  once  more  highlight  the  importance  of 

considering  the  complexity of  affective meaning  in  language processing  research 

and the dynamics of online affective responding. This  is especially  important with 

regards  to  the  interpretation of corrugator activity as reflecting neural simulation 

within a grounded  language comprehension  framework. At  the  same  time,  social 

psychologists  using  facial  EMG  or  similar  psychophysiological measures  linguistic 

vignettes  to  investigate  psychological  processes  must  take  into  account  that 

language itself also influences. Although this study has focussed on corrugator EMG 

recordings,  our  findings  also  call  for  consideration  of  this  type  of  affective 

complexity  in  the  interpretation of  EMG  recordings of other  affect‐related  facial 

muscles  (e.g.,  zygomaticus major, orbicularis oculi,  frontalis), psychophysiological 

measures  of  emotion  (e.g.,  heartrate  and  galvanic  skin  response),  but  also 

neuroimaging studies.  

 

 

 

 

 

 

 

 

 

 

 

Page 114: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

96

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Page 115: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  97

5. General Discussion  

The  overall  aim  in  this  dissertation  has  been  to  shed  light  on  the  influence  of 

processes of evaluation and  language‐driven simulation during affective  language 

comprehension. The introduction provided a framework for this question by pulling 

together theories of grounded language processing and emotion. The introduction 

also outlined how  facial EMG and narrative discourse could be used  to study  the 

role  of  evaluation  and  simulation  during  affective  language  comprehension.  The 

next three chapters reported on studies that incrementally provided answers to the 

central  research  question  while  at  the  same  functioning  as  (conceptual) 

replications. 

  In  this  final  chapter,  the  evidence  from  all  three  studies will  be  pulled 

together  in  a  discussion  of  the  three models  formulated  based  on  the  general 

processing  framework  for EMG activity presented  in  figure 1  in  the  Introduction. 

Moving  beyond  a  discussion  in  terms  of  the  focussed  question  posed  in  this 

dissertation, the conclusion will also discuss the results more broadly, including the 

character  manipulation,  other  potential  relevant  factors  and  alternative 

explanations. Throughout,  the  theoretical  implications and possibilities  for  future 

research will be discussed. 

5.1 Facial EMG during online affective language comprehension 

 

The  introduction  presented  a  framework  for  corrugator  EMG  activity  during 

affective  language processing  (see Figure 1) and briefly outlined  three models of 

how  language‐driven  simulation and evaluation might  contribute  to  that activity: 

simulation‐only,  evaluation‐blocks‐simulation,  multiple‐drivers.  The  studies 

reported  in  this dissertation were all designed  to  tests  the validity of  these  three 

models.  

Page 116: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

98

 

5.1.1 Simulation‐only model 

 

The simulation‐only model described a situation where, at least in lab studies such 

as  these,  language‐driven  simulation  alone would  determine  corrugator  activity 

during  affective  language  processing.  Based  on  this  model  no  difference  in 

corrugator activity was expected in relation to whether a character was either good 

or bad or part of a minimal ingroup or outgroup. This model was considered to be 

unlikely, but was  included because  it reflects the way corrugator activity—as well 

as  that  of  other  facial  muscles—has  been  interpreted  in  affective  language 

processing studies within a grounded cognition  framework  (e.g., Fino, Menegatti, 

Avenanti, & Rubini, 2016; Künecke, Sommer, Schacht, & Palazova, 2015; Havas & 

Matheson,  2013;  Foroni &  Semin,  2013; Havas, Glenberg, Gutowski,  Lucarelli, & 

Davidson,  2010;  Foroni  &  Semin,  2009;  Glenberg, Webster, Mouilso,  Havas,  & 

Lindeman, 2009; Niedenthal, Winkielman, Mondillon, & Vermeulen, 2009). None of 

these  studies have,  to my  knowledge,  considered  the potential  conflict between 

language‐driven  simulation  and  evaluation.  Figure  5.1  below  illustrates  the way 

corrugator activity would arise according to the simulation‐only model. 

Page 117: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  99

 

Figure 5.1 Simulation‐only Model 

If language‐driven simulation, either as part of the retrieval of lexical concepts (S1) 

or  as  part  of  the  construction  of  a  situation  model  (S2),  alone  determined 

corrugator activity, the patterns of activity  in response to characters experiencing 

positive or negative  emotions or  events would be  the  same  regardless of moral 

status  or minimal  group membership.  In  other words,  a  character  described  as 

‘happy’  would  always  evoke  less  corrugator  activity  compared  to  a  character 

described as  ‘frustrated’,  regardless of whether  the  character  is good or bad, an 

ingroup member or an outgroup member. 

  The  results  from  study  1  revealed  that  character  morality  did  in  fact 

influence  corrugator  activity  when  reading  about  a  character  experiencing  a 

positive or negative emotion  in  relation  to a valenced event  (see  figure 2.2). For 

moral  characters,  positive  and  negative  affective  events  evoked  the  predicted 

differential corrugator response.  In the case of  immoral characters, however, this 

Page 118: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

100

differential pattern was not found; positive and negative events befalling  immoral 

characters elicited similar levels of corrugator activity and displayed no real change 

in  corrugator  activity  over  time.  The  implication  is  that  evaluation  does  in  fact 

influence corrugator activity during real‐time language comprehension and that in 

experiments such as these, corrugator activity cannot be taken to reflect language‐

driven simulation alone. 

The drawback  in  study 1 was  that  the affective event was presented as one 

sentence and thus there was no fine‐grained control over when exactly participants 

read affectively salient words or phrases. In studies 2 and 3 the design was refined 

to  time‐lock  the  corrugator  signal  to  two  specific affective  segments. The  first of 

these  was  the  affective  state  adjective.  This  segment  described  the  valenced 

affective  state of  the  character with a  single word  (e.g.,  ‘frustrated’  vs.  ‘happy’), 

before  any  additional  information  that  might  influence  the  evaluation  was 

revealed.  As  such,  this  segment  offered  the  cleanest  point  to  measure  the 

interaction of simulation and evaluation. As in study 1, studies 2 and 3 (figures 3.2 

and  4.4)  revealed  a  clear  differential  response  for  moral  characters  (higher 

activation  for  negative‐  than  positive  affective  states),  but  no  differential 

corrugator response for immoral character during the affective state adjective. This 

corroborated  the  findings  in  study  1  and  provided  support  for  rejection  of  the 

simulation‐only model. That  is  to  say, even  in  lab experiments  such as  these  the 

evaluation of an affective linguistic stimulus has an immediate effect on corrugator 

activity.  The  implication  is  that  the  results  of many  of  the  studies  cited  at  the 

beginning of this section should perhaps be reconsidered in terms of evaluation as 

well as  simulation. Explaining  corrugator activity  in experiments  such as  these  in 

terms of language‐driven simulation only is insufficient. This insufficiency becomes 

especially salient when scaling up the stimulus materials to engage with the type of 

natural complexity this thesis illustrated with the example from Nabokov’s Lolita in 

the introduction: would we really simply simulate a paedophile’s happy feelings of 

love?  

Page 119: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  101

 

 

5.1.2 Evaluation‐blocks‐simulation model  

The evaluation‐blocks‐simulation model held that, in line with the role of narrative 

in moral evaluation  (e.g. gossip,  see Dunbar, 2004)  and  the  automatic nature of 

such evaluation  (Greene, 2014),  corrugator activity  in  response  to  reading about 

positive and negative emotions of various characters would be determined entirely 

by  the  evaluation of  that  information, presumably dominated by  fairness. While 

evaluation  is obviously not restricted to fairness, the stimuli used  in these studies 

were designed to foreground this salient moral dimension. The evaluation‐blocks‐

simulation model assumed that, although simulation of somebody else’s emotion, 

or  of  the  lexical  concept  involved,  may  surface  in  corrugator  activity  in  some 

controlled  and  unambiguous  situations,  in  more  complex  situations  online 

corrugator  activity  would  be  captured  by  the  affective  responses  related  to 

evaluation of the situation in terms of fairness. 

Specifically,  both  situations  in  which  a  bad  character  experiences  a 

negative emotion as well as those where a good character experiences a positive 

emotion or event would be evaluated as  fair and would elicit positive corrugator 

activity.  In  the  latter  case,  this  positive  corrugator  activity will  likely  stem  from 

affective resonance or empathy. In the  latter case however, this evaluation as fair 

would  elicit  emotions  such  as  Schadenfreude.  These  expectations  are  based  on 

existing  evidence  for  Schadenfreude  causing  reduced  empathy  for  outgroup 

character  (e.g., Singer, et al., 2006) and  facial EMG evidence of the experience of 

positive affect  in response  to certain outgroup members experiencing misfortune 

(Cikara & Fiske, 2012)11.  

                                                            11 Note: the study in question did not include corrugator supercilii activity, but only zygomaticus major 

activity  and  found  evidence  of  Schadenfreude  effects  for  envied  outgroups,  but  not  for  pitied  or disgusting outgroups. 

Page 120: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

102

Similarly, both situations  in which a bad character experiences a positive 

emotion or event and a good character experiences a negative emotion or event 

would be evaluated as unfair and as such would elicit corrugator activity indicative 

of negative affect. Figure 5.2 below illustrates this driver model where both S1 and 

S2 are blocked and the evaluation driver alone feeds into motor control systems. 

 

Figure 5.2 Evaluation‐blocks‐simulation Model 

None of  the  three studies  revealed  the predicted  reversed differential corrugator 

pattern  for  immoral characters, not  for the affective event segment  in study 1 or 

for either of the two affective segments  in studies 2 and 3. As such, this does not 

support  a processing model where only  fairness‐based  evaluation  contributes  to 

corrugator activity. 

In  previous  chapters  I  argued  that  the many  instances where  there was  no 

differential valence effect  for  immoral  characters at all provided  strong evidence 

against  an  evaluation‐blocks‐simulation  model.  This  argument  hinged  on  the 

Page 121: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  103

observation that the only way evaluation alone could account for the absence of a 

differential valence effect would be by assuming  that readers only evaluate what 

happens  to moral characters and do not evaluate affective  information  regarding 

immoral characters at all. Again, considering the social importance of gossiping, in 

part  for  the  monitoring  and  regulation  of  immoral  behaviour,  it  seems  highly 

unlikely  that  we  do  not  evaluate  affective  information  pertaining  to  immoral 

characters, if anything, these should be of particular interest to us as humans. That 

we are  interested  in  such  cases  seems  intuitively  true given our  fascination with 

immoral characters in stories. Furthermore, the affect reason segments in studies 2 

and  3  did  reveal  a  differential  corrugator  response  to  positive  and  negative 

affectively salient information for both moral and immoral character (figures 3.2 & 

4.5).  

However, there is another explanation that cannot be ruled out entirely. While 

we based our  reasoning on  fairness‐based  evaluation depending on  the  group  a 

character  belongs  to,  it  is  not  unreasonable  to  assume  that  other  kinds  of 

evaluation  play  a  role  and  that  these may  counteract  each  other;  for  example, 

automatic  empathy with  a bad  character  experiencing  something bad  combined 

with  Schadenfreude.  This  possibility  will  be  discussed  further  following  the 

discussion of the third and final model proposed in the introduction. 

 

5.1.3 Multiple‐drivers model 

 

The  third and  final model considered beforehand was the multiple‐drivers model, 

wherein  language‐driven  simulation  and  evaluation would  determine  corrugator 

activity together. The multiple‐drivers model offers an explanation for the absence 

of  a differential pattern of  corrugator  activity  for  immoral  characters during  the 

affective events segment  in study 1. For example, under a multiple‐drivers model 

the corrugator activity increase due to simulation of a frustrated character and/or 

retrieving the associated  lexical semantics could be  levelled out by the corrugator 

Page 122: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

104

activity decrease associated with  the positive emotions  (i.e.,  Schadenfreude or a 

feel‐good sense of  justice) elicited by the evaluation of this particular situation as 

fair when  the  character  in  question  previously  behaved  immorally.  Similarly,  an 

immoral  character  experiencing  happiness  might  elicit  positive  language‐driven 

simulation on the one hand and negative evaluation on the other hand. 

  Studies 2 and 3 were designed  in part  to  further  test  the validity of  the 

multiple‐drivers  model  and  to  explore  whether  there  might  be  traces  of  pure 

simulation before evaluation. This possibility seems pertinent at an  intuitive  level 

where you might expect that simulation in service of understanding would need to 

occur before evaluation can take place. The refined time‐locking of the corrugator 

signal  to specific affective  information was useful  in answering  this question. The 

fact  that  in both  studies  2  and  3 we  found no  trace of  a differential  corrugator 

response to affective states ascribed to immoral characters provided support for a 

truly  simultaneous  multiple‐drivers  model,  specifically  one  wherein  corrugator 

activity is determined by both language‐driven simulation and evaluation from the 

start.  It  remains  possible,  however,  that  a  very  brief  simulation  phase  has  gone 

unnoticed  because  of  the  choice  to  follow  established  optimal  signal  processing 

practices (van Boxtel, 2010) that limit temporal specificity to 100 ms chunks. 

Page 123: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  105

 

Figure 5.3 Multiple‐drivers Model 

Study  3  aimed  to  provide  further  support  for  the  idea  of  multiple  drivers  by 

contrasting a morality‐based character manipulation with one based on a minimal 

group paradigm. The minimal group paradigm was developed  in social psychology 

to  create  in‐  and  outgroups  based  on  a  fairly  meaningless  distinction  (e.g.,  a 

numerical over‐ or under‐estimator). The  reasoning behind  the  choice  to  include 

this paradigm here was that immoral characters could be considered to represent 

an  extreme  outgroup.  As  such,  this  had  a  strong  impact  on  the  evaluation  of 

subsequent language describing such characters experiencing positive and negative 

emotions  and  events.  Minimal  outgroups  are  determined  on  relatively  trivial 

grounds and thus constituted a much weaker outgroup. We predicted that minimal 

outgroups would therefore elicit less group‐dependent evaluation. By manipulating 

the amount of group‐dependent evaluation, we hoped to influence the outcome of 

the  supposed  counteracting  forces  of  simulation  and  evaluation.  In  case  of  the 

Page 124: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

106

outgroup,  the  evaluation  component  counteracting  simulation would  be  smaller 

compared to immoral characters given that the group‐dependent evaluation would 

be weaker and thus more simulation should shine through (see figure 4.2).  

At  the  affective  state  adjective  (see  figure  4.4),  we  saw  no  differential 

corrugator  response  for  positive  and  negative  states  describing  the  emotions  of 

immoral  characters.  This  suggested  that  once  again  simulation  and  evaluation 

cancelled  each  other  out.  For  minimal  group  conditions  we  saw  the  same 

differential corrugator response to positive and negative affective state adjectives 

for both ingroup and outgroup characters. This meant that the down‐regulation of 

group‐dependent evaluation was successful to such an extent that  it disappeared 

altogether. 

At the affect reason segment (see figure 4.5) we saw an attenuated differential 

valence effect  for outgroup members  in both morality‐based and minimal group‐

based conditions. This once more suggested a combined effect of simulation and 

evaluation and supports the multiple‐drivers model. The fact that this attenuation 

was  stronger  for  the  moral  outgroup  conditions  than  for  minimal  outgroup 

members also supports the idea that we can systematically manipulate the amount 

of group‐dependent evaluation compared to simulation and influence the outcome 

of the multiple‐drivers model.  

In all, out of all the models considered a priori, the most parsimonious account 

of  the  results presented  in  this dissertation  is  the multiple‐drivers model. Exactly 

how  and  where  language‐driven  simulation  and  evaluation  come  together  is 

beyond the scope of this thesis, but this is an important next question that the field 

will have to answer in pursuit of a grounded account of language comprehension. 

 

 

 

Page 125: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  107

5.2 Complex evaluation explanation 

 

In  the  discussion  of  the  evaluation‐blocks‐simulation model  above,  I mentioned 

that there was an alternative explanation that could not be ruled out based on the 

evidence presented here. This alternative explanation concerns the possibility that 

the absence or attenuation of a differential corrugator  response  for  immoral and 

outgroup  character  is  the  outcome  of  a  combination  of  group‐dependent 

evaluation based on  fairness and more generic  types of evaluation. This presents 

an alternative to the explanation of the corrugator activity patterns as the outcome 

of  group‐dependent  evaluation  (fairness)  and  language‐driven  simulation,  as 

argued for in the multiple‐drivers model.  

The  absence  or  attenuation  of  the  differential  valence  effect  in  the  case  of 

immoral  characters  could  possibly  be  the  result  of  a  combination  of  group‐

independent  affective  empathy/empathic  concern  and  group‐dependent 

evaluation  based  on  fairness.  Consider  the  case  of  an  immoral  character  being 

described  as  ‘angry’  or  ‘frustrated’  because  of  some  negative  event. We might 

predict  a  corrugator  response  reflecting  negative  affect  through  a  process  of 

automatic  affective  empathy  or  concern,  regardless  of  group  status. 

Simultaneously,  group‐dependent,  fairness‐based  evaluation  might  evoke  a 

positive  corrugator  response.  Both  types  of  evaluation  are  plausible  and  could, 

together offer an alternative explanation  to  the patterns of corrugator activity as 

found  in  studies 1‐3, without  the need  for  language‐driven  simulation. Following 

this  reasoning,  the  patterns  of  activity  observed  in  the moral  conditions, which 

resemble canonical simulation patterns, might then simply be the result of generic 

evaluation.  This  also  opens  the  door  to  the  possibility  that  the  clear  differential 

valence  effect on  corrugator  activity  as  simulation  found  in many of  the  studies 

above, also reflects this generic evaluation. This might be likely given the previously 

stated  care  these  studies  took  to make  sure  the  single words, or  short  sentence 

they used as stimuli were unambiguously positive or negative. 

Page 126: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

108

One potential  line of evidence  that argues against such an explanation  is  the 

literature on reduced or even reversed empathy responses for outgroup‐members.  

(e.g.,  Luo,  et  al.,  2015;  Cikara M.  ,  Bruneau,  Van  Bavel,  &  Saxe,  2014;  Cikara, 

Bruneau,  &  Saxe,  2012;  Montalan,  Lelard,  Godefroy,  &  Mouras,  2012).  These 

studies  suggest  that  group‐dependent  evaluation  has  a  clear  effect  on  group‐

independent evaluation. Nonetheless,  it  remains a possibility  that  the effects we 

see are  the outcome of a complex process  involving an unknown combination of 

different types of evaluation.  

5.3 Simulation: lexical concepts or situation models?  

As  discussed  before,  the  research  presented  in  this  thesis was  not  designed  to 

make any meaningful distinction between the extent to which the corrugator can 

reflect simulation of either  lexical concepts or simulation of situation models built 

up as part of larger discourse comprehension (i.e., ‘angry’ vs. ‘Mark is angry’).  

Nonetheless,  the remarkably stable patterns of corrugator activity during the 

neutral segments separating the two affectively salient segments  in study 2 and 3 

seem to be able to shed some light on this distinction. The neutral segment in both 

study  2  and  3  separated  the  affectively  salient  segments  from  each  other  and 

contained  no  new  affective  information:  “Mark  was  angry  /  when  after  a  few 

minutes / he runs out of petrol. The  level of corrugator activity evoked during the 

affective  state  adjective  remained  stable  throughout  the  neutral  segment  (see 

figure  3.2  and  appendix  3D).  During  the  subsequent  affect  reason  segment  the 

affective  information  contained  therein  evoked  yet  another  phasic  corrugator 

response on top of the stable pattern evoked during the affective state adjective.  

This  stability  in  the  corrugator  signal  found  in  both  studies,  in  combination 

with the arguments above for a multiple‐drivers model, suggests that what we are 

seeing here  is at  least partly  reflective of  the  incremental updating of a situation 

model (in addition to the stable evaluation thereof). If the simulation component of 

Page 127: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  109

the corrugator signal had consisted only of retrieval of lexical concepts, this would 

have arguably evoked a more short‐lived simulation and we would not have found 

such a stable pattern. Further research would be needed to confirm this, but the 

implication would be that at least the S2 driver in our model is relevant, possibly in 

combination with  S1. One way  to  tease  the  two  possible  sources  of  simulation 

apart would be to create a context where the  lexical simulation and the situation 

model simulation do not align.  

5.4 Simulation and language comprehension  

In this thesis I set out to answer the question of how processes of language‐driven 

simulation and evaluation would interact in more ecologically valid contexts where 

affective  meaning  was  not  as  straightforward  as  in  most  affective  language 

processing  studies.  The  outcome  of  this  interaction  was  investigated  using 

corrugator EMG. This measure has  commonly been used as both an  indicator of 

simulation  in  affective  language  processing  research  and  as  an  indicator  of 

evaluation in (social) psychology research. One clear observation that follows from 

the  combined  results  of  studies  1,  2,  and  3  is  that  corrugator  EMG  recordings 

cannot unequivocally be taken to reflect language‐driven simulation in the type of 

complex,  yet  ecologically  valid,  contexts  created  in  the  stimulus materials.  The 

results  presented  here  show  the  clear  dependence  of  the  online  corrugator 

response on  the moral  identity of  the  character  to which  the  stimuli  in question 

pertained.  Importantly,  this dependence was  replicated and  refined across  three 

studies.  As  such,  the  studies  reported  here  offer  clear  evidence  against  a 

simulation‐only  interpretation  of  corrugator  activity  during  language  processing 

and  for  the  role  evaluation  plays  during  real‐time  language  processing.  I  have 

therefore  argued  for  a  multiple‐drivers  model  that  includes  language‐driven 

simulation  and  evaluation.  However,  while  the  evidence  for  the  presence  of 

evaluation  in  the  corrugator  signal  is  clear,  there  is  no  direct  evidence  that 

Page 128: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

110

simulation  impacts  corrugator  activity.  As  mentioned  before,  the  evidence  for 

corrugator,  or  other  facial muscles,  as  indicators  of  language‐driven  simulation 

comes  from  studies where  stimuli were unambiguously positive or negative. The 

facial  EMG  effects  such  studies  reported  could  simply  reflect  default  evaluation 

rather  than  simulation.  Future  research would  have  to  find  a way  to  determine 

whether simulation directly influences corrugator activity.  

One way  researchers have attempted  to  show  that  facial muscle activity 

reflects  simulation  is by  investigating  a  functional or  causal  connection between 

facial muscle  activity  and  comprehension.  One  such  study  (Havas,  Glenberg,  & 

Rinck, 2007) reported that  inhibition or  facilitation of corrugator and zygomaticus 

activity affected the speed of processing of valenced sentences, but not positively 

valenced ones. Another study found similar results using Botox injections to inhibit 

corrugator  activity  (Havas,  Glenberg,  Gutowski,  Lucarelli,  &  Davidson,  2010). 

However, such effects on comprehension are acsribed to process of afferent facial 

feedback, whereby a peripheral process facilitates central processing. The notion of 

such  a  feedback  loop  does  not  speak  to  whether  the  initial  muscle  activation 

reflects  simulation  or  not.  Indeed,  Havas,  Glenberg,  and  Rinck  (2007)  explicitly 

report that manipulating facial muscle activity did not affect initial lexial access and 

Glenberg et al. (2010) suggest that facial feedback contributes to comprehension of 

subsequent  language  stimuli  by  effecting  central  and  autonomic  changes  in 

preparation for likely upcoming stimuli. Once again, even if the periphery could be 

definitely proven to be functionally related to comprehension  in this sense,  it still 

would  not  necessarily  mean  that  facial  muscle  activity  actually  reflects  neural 

simulation. 

As briefly mentioned in section 1.1.4, the status of simulation as a causally 

contributing  component  of  comprehension  is  still  hotly  debated  (for  recent 

discussion  see  Leshinskaya & Caramazza,  2016; Barsalou,  2016).  The uncertainty 

regarding  the status of  language‐driven  simulation  relates  to  the ongoing debate 

on  the  validity  of  a  grounded  account  of  language  processing  in  particular  and 

Page 129: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  111

cognition  in general. One possibility  is that simulation as a constituent process of 

language  processing  is much more  context‐dependent  than much  of  the  extant 

research  allows.  Perhaps  recent  experiences  (i.e.,  learning  about  a  character’s 

moral nature) places  forward  constraints on what and how  subsequent,  relevant 

affective  information  (i.e.,  that  same  character  being  ‘angry’)  is  simulated  (for 

recent discussions see Yee & Thompson‐Schill, 2016 and Zwaan, 2016). Simulation 

conceived  of  in  this  manner  (Figure  5.5)  might  also  further  help  tease  apart 

lexical/conceptual simulation and situation‐model level simulation as the notion of 

context‐dependent,  forward  constraints  on  simulation  imply  the  incremental 

construction of situation‐models. In a sense, such a conceptualisaiton of language‐

drive  simulation  is  by  definition  a  multiple‐drivers  model,  as  it  incorporates 

evaluation as a parameter for language‐driven simulation. 

Future  research might  consider  varying  the  intensity of  the positive  and 

negative affective  states and affect  reasons while keeping  the  level of  the moral 

transgression constant to provide insight into whether evaluation of the character 

places  a  general  forward  constraint  on  language‐driven  simulation  activity  or  if 

evaluation plays a role  in real‐time processing of the relevant affective segments. 

For  example,  someone  who  litters  in  a  public  park  and  subsequently  either 

experiences anger because their phone battery dies or because their car has been 

vandalized.  If evaluation of  the  character enacts a general  forward  constraint on 

the simulation of subsequent affective information pertaining to that character, the 

severity of the affective events that befall this character should make no difference 

to the corrugator pattern.  I would predict that  it does make a difference and that 

the differential valence effect will be much more strongly attenuated at the affect 

reason  segment  for  less  serious  events  than  for  serious  events.  An  alternative 

version of such an experiment might keep the severity of character affect the same 

and vary the strength of the moral transgression. 

Page 130: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

112

 

Figure 5.1: Evaluation places forward constraints on simulation. 

5.5 Character manipulation 

 

In each of the three studies reported in chapters 2‐4, characters were manipulated 

in terms of morality, that  is to say they were either  ‘good’ or  ‘bad’. The recorded 

corrugator EMG showed that bad characters consistently evoked higher corrugator 

activity than good characters did across all three studies. This result was clearest in 

studies 1 and 2  (see  figure 2.1 and 3.1).  In  these  first  two studies  the character’s 

moral status was manipulated with a narrative description of each character either 

behaving morally or immorally in a concrete situation. The morality judgement was 

implicit  insofar  as  the  character was never  labelled  as  good or bad.  In  contrast, 

study 3 manipulated character morality with an explicit statement that they were 

‘good’  or  ‘bad’,  without  any  narrative  framing.  This  propositional  way  of 

Page 131: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  113

establishing  character morality evoked a markedly  smaller  increase  in  corrugator 

activity  that was  only marginally  significantly  higher  for  immoral  characters  (see 

figure 4.3).  

The marginal  difference  in  effectiveness  of  the  character manipulations 

might  be  due  to  the  narrative  vs.  propositional  nature  of  the  manipulation. 

Showing  the  moral  status  by  describing  concrete  situations  and  behaviour  is 

arguably  a  richer  emotionally  competent  stimulus  compared  to  telling  people  a 

character  is  ‘good’  or  ‘bad’.  The  degree  of  explicitness  likely  also  plays  a  role. 

Regardless,  the  aim  of  this manipulation was  to  influence  the way  subsequent 

affective  linguistic  stimuli were  evaluated. Given  the way  patterns  of  corrugator 

activity  during  descriptions  of  affective  states  and  events  befalling  those  same 

characters  were  shown  to  depend  heavily  on  character  morality,  the  morality 

manipulation was successful. 

  In  study  3,  the morality manipulation  was  contrasted with  a  character 

manipulation  based  on  the  minimal  group  paradigm.  This  minimal  group 

manipulation was hypothesised to evoke weaker group‐dependent evaluation. The 

corrugator response confirmed a smaller effect of minimal group status compared 

moral group status insofar as it did not evoke any differential corrugator activity. In 

a future experiment,  it would be  interesting to  investigate the effects of minimal‐

group based  character manipulations using  full narrative description of  concrete 

behaviour as in study 1 and 2. It may well be the case that in such an experiment, 

the minimal group distinction will elicit stronger group‐dependent evaluation than 

we saw in study 3, but we would still expect this group‐dependent evaluation to be 

less strong that for the morality‐based distinction. 

5.6 Concluding Remarks  

In this dissertation I have attempted to shed light on previous evidence suggesting 

that  facial  EMG  activity  during  language  comprehension  reflects  simulation  in 

Page 132: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

114

service  of  affective  language  comprehension.  The  three  studies  presented  here 

provide  clear  evidence  against  an  account  of  corrugator  activity  in  terms  of 

simulation alone. Simulation alone can not account for the patterns that emerge in 

response  targeted  affective  words  and  subclauses  in  naturalistic  stimuli  that 

engage  the  reader  with  the  material  through  evaluation.  Having  said  that,  as 

discussed  in  section  5.4  above,  a  reconceptualisation  of  simulation  processes  as 

more dynamic and subject to context‐based forward constraints might also account 

for  the  patterns  found.  Such  an  account  can  only  be  accepted  if  the  complex 

evaluation explanation can be satisfactorily dicarded. Regardless of the final word 

on  simulation,  future  research  on  affective  language  comprehension  within  a 

grounded  cognition  framework  would  do  well  to  consider  the  complexity  of 

affective meaning in more ecologically valid language stimuli.  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Page 133: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  115

References 

Alves, H., Koch, A., & Unkelbach, C. (2017). Why good is more alike than 

bad: Processing implications. Trends in Cognitive Science. 

Anderson, M. L. (2010). Neural reuse: A fundamental organizational 

principle of the brain. Behavioral and Brain Sciences, 33, 245‐266. 

Aziz‐Zadeh, L., Fiebach, C. J., Naranayan, S., Feldman, J., Dodge, E., & Ivry, R. 

B. (2008). Modulation of the FFA and PPA by language related to 

faces and places. Social Neuroscience, 229‐238. 

Aziz‐Zadeh, L., Wilson, S. M., Rizzolatti, G., & Iacobini, M. (2006). Congruent 

embodied representations for visually presented actions and 

linguistic phrases describing actions. Current Biology, 16, 1818‐

1823. 

Bal, M. (2009). Narratology: Introduction to the theory of narrative (3rd 

ed.). Toronto: University of Toronto Press Incorporated. 

Barsalou, L. W. (1999). Perceptual Symbol Systems. Behavioural and Brain 

Sciences, 577‐660. 

Barsalou, L. W. (2003b). Situated simulation in the human conceptual 

system. Language and Cognitive Processes, 18, 513‐562. 

Barsalou, L. W. (2008). Grounded Cognition. Annual Review of Psychology, 

617‐645. 

Barsalou, L. W. (2016). On staying grounded and avoiding quixotic dead 

ends. Psychonomic Bulletin & Review, 23, 1122‐142. 

Borghi, A. M., & Riggio, L. (2009). Sentence comprehension and simulation 

of objects' temporary, canonical and stable affordances. Brain 

Research, 117‐128. 

Borreggine, K. L., & Kaschak, M. P. (2006). The action‐sentence 

compatibility effect: It's all in the timing. Cognitive Science, 1097‐

1112. 

Page 134: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

116

Cacioppo, J. T., Berntson, G. G., Norris, C. J., & Higgins, T. E. (2012). The 

Evaluative Space Model. In P. M. Van Lange, A. W. Kruglanski, & T. 

E. Higgins (Eds.), Handbook of Theories of Social Psychology (Vol. 1, 

pp. 42‐64). SAGE Publications Ltd. 

doi:http://dx.doi.org/10.4135/9781446249215 

Cacioppo, J. T., Petty, R. E., & Morris, K. J. (1985). Semantic, evaluative, and 

self‐referent processing: memory, cognitive effort, and 

somatovisceral activity. Psychphysiology, 22(4), 371‐384. 

Chen, M., & Bargh, J. A. (1999). Consequences of automatic evaluation: 

Immediate behavioural predisposition to approach ro avoid the 

stimulus. Personality and Social Psychology Bulletin, 215‐224. 

Chory, R. M. (2013). Differences in television viewers' involvement : 

Identification with and attrraction to liked, disliked, and neutral 

characters. Communication Research Reports, 30(4), 293‐305. 

doi:http://dx.doi.org/10.1080/08824096.2013.837041 

Chow, H.‐M., Mar, R. A., Xu, Y., Liu, S., Wagage, S., & Braun, A. R. (2014). 

Embodied comprehension of stories: Interaction between language 

systems and modality‐specific neural systems. Journal of Cognitive 

Neuroscience, 279‐295. 

Cikara, M., & Fiske, S. T. (2012). Stereotypes and Schadenfreude: Affective 

and physiological markers of pleasure at outgroup misfortunes. 

Social Psychological and Personality Science, 3(1), 1‐16. 

Cikara, M., Bruneau, E. G., & Saxe, R. R. (2012). Us and them: intergroup 

failures of empathy. Current Directions in Psychological Science, 

20(3), 149‐153. 

Cikara, M., Bruneau, E., Van Bavel, J. J., & Saxe, R. (2014). Their pain gives us 

pleasure: How intergroup dynamics shape empathic failures and 

counter‐empathic responses. Journal of Experimental Psychology, 

55, 110‐125. 

Page 135: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  117

Cutting, J., & Iricinschi, C. (2015). Re‐presentations of space in Hollywood 

movies: An event‐indexing analysis. Cognitive Science, 39(2), 434‐

456. 

Dal Cin, S., Zanna, M. P., & Fong, G. T. (2004). Narrative persuasion and 

overcoming resistance. In E. S. Knowles, & J. A. Linn, Resistance & 

Persuasion (pp. 175‐193). London: Lawrence Erlbaum Associates 

Publishers. 

Darwin, C. (1872). The expression of emotion in man and animals. London: 

John Murray. 

Darwin, C., Ekman, P., & Prodger, P. (1998). The expression of the emotions 

in man and animals (3rd ed.). London: Harper Collins. 

Davis, M. H. (1983). Measuring individual differences in empathy: Evidence 

for a multidmensional approach. Journal of Personality and Social 

Psychology, 44, 113‐126. 

de Koning, B. B., Wassenburg, S. I., Bos, L. T., & van der Schoot, M. (2016). 

Size does matter: Implied object size is mentally simulated during 

language comprehension. Discourse Processes, 1‐11. 

de Vega, M., Robertson, D. A., Glenberg, A. M., Kaschak, M. P., & Rinck, M. 

(2004). On doing two things at once: Temporal constraints on 

actions in language comprehension. Memory & Cognition, 1033‐

1043. 

Decety, J., & Cowell, J. (2014). The complex relation between morality and 

empathy. Trends in Cognitive Science, 18(7), 337‐339. 

doi:10.1016/j.tics.2014.04.008 

Diehl, M. (1990). The minimal group paradigm: Theoretical explanations 

and empirical findings. European Review of Social Psychology, 1(1), 

263‐292. 

Page 136: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

118

Dimberg, U., Thunberg, M., & Elmehed, K. (2000). Unconscious facial 

reactions to emotional facial expressions. Psychological Science, 86‐

89. 

Ditman, T., Brunyé, T. T., Mahoney, C. R., & Taylor, H. A. (2010). Simulating 

an enactment effect: Pronouns guide action simulation during 

narrative comprehension. Cognition, 172‐178. 

Dunbar, R. I. (2004). Gossip in evolutionary perspective. Review of General 

Psychology, 8(2), 100‐110. doi:10.1037/1089‐2680.8.2.100 

Ekman, P. (1999). Basic Emotions. In T. Dalgleish, & M. J. Power (Eds.), 

Handbook of Cognition and Emotion (pp. 45‐60). New York: John 

Wiley & Sons Ltd. 

Ekman, P., Friesen, W. V., & Ellsworth, P. (1982). What emotion categories 

or dimensions can observers judge from facial behavior? In P. 

Ekman (Ed.), Emotion in the human face (pp. 39‐55). New York: 

Cambridge University Press. 

Ekman, P., Friesen, W. V., & Ellsworth, P. (1982). What emotions categories 

or dimensions can be observers judge from facial behaviour? In P. 

Ekman, Emotion in the human face (pp. 39‐55). New York: 

Cambridge University Press. 

Enfield, N. (2013). Relationship Thinking. New York City: Oxford University 

Press. 

Feather, N. T., & Nairn, K. (2005). Resentment, envy, schadenfreude, and 

sympathy: Effects of own and other's deserved or undeserved 

status. Australian journal of Psychology, 57(2), 87‐102. 

Fincher‐Kiefer, R., & D'Agostino, P. R. (2004). The role of visuospatial 

resources in generating predictive and bridging inferences. 

Discourse Processes, 205‐224. 

Page 137: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  119

Fino, E., Menegatti, M., Avenanti, A., & Rubini, M. (2016). Enjoying vs. 

Smiling: Facial muscular activation in response to emotional 

language. Biological Psychology, 118, 126‐135. 

Fludernik, M. (1996). Towards a 'natural' narratology. London: Routledge. 

Fludernik, M. (2003). Natural narratology and cognitive paramters. In D. 

Herman, Narrative Theory and the Cognitive Sciences (pp. 243‐267). 

Stanford: CSLI Publications. 

Foroni, F., & Semin, G. R. (2009). Language that puts you in touch with your 

bodily feelings: The multimodal responsiveness of affective 

expressions. Psychological Science, 974‐980. 

Foroni, F., & Semin, G. R. (2013). Comprehension of action negation inolves 

inhibitory simulation. Frontiers in Human Neuroscience, 1‐7. 

doi:10.3389/fnhum.2013.00209 

Gibbs, R. W. (2006). Embodiment and cognitive science. New York: 

Cambridge University Press. 

Gibbs, R. W. (2012). Walking the walk while talking the talk: Embodied 

interpretation of metaphorical narratives. Journal of 

Psycholinguistic Research, 363‐378. 

Glenberg, A. M. (1997). What memory is for. Behavioral and Brain Sciences, 

1‐55. 

Glenberg, A. M., & Kaschak, M. P. (2002). Grounding language in action. 

Psychonomic Bulletin & Review, 558‐565. 

Glenberg, A. M., Sato, M., Cattaneo, L., Riggio, L., Palumbo, D., & Buccino, 

G. (2008). Procesisng asbtract language modulates motor system 

activity. Quarterly JOurnal of Experimental Psychology, 901‐919. 

Glenberg, A. M., Webster, B. J., Mouilso, E., Havas, D., & Lindeman, L. M. 

(2009). Gender, emotion, and the embodiment of language 

comprehension. Emotion Review, 151‐161. 

Page 138: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

120

González, J., Barros‐Loscertales, A., Pulvermüller, F., Meseguer, V., Sanjuán, 

A., Belloch, V., & Ávila, C. (2006). Reading cinnamon activates 

olfactory brain regions. NeuroImage, 32, 906‐912. 

Gothard, K. M. (2014). The amygdalo‐motor pathways and the control of 

facial expressions. Frontier in Neuroscience, 1‐7. 

Graesser, A. C., Singer, M., & Trabasso, T. (1994). Constructing inferences 

during narrative text comprehension. Psychological Review, 33‐50. 

Graham, J., Nosek, B. A., Haidt, J., Iyer, R., Koleva, S., & Ditto, P. H. (2011). 

Mapping the moral domain. Journal of Personality and Social 

Psychology, 101(2), 366‐385. 

Green, M. C., & Carpenter, J. M. (2011). Transporting into narrative worlds: 

New directions for the scientific study of literature. Scientific Study 

of Literature, 113‐122. 

Green, M. C., Brock, T. C., & Kaufman, G. F. (2004). Understanding media 

enjoyment: the role fo transportation into narrative worlds. 

Communication Theory, 311‐327. 

Greene, J. D. (2014). The cognitive neuroscience of moral judgment and 

decision‐making. In M. S. Gazzaniga (Ed.), The Cognitive 

Neuroscience V (pp. 1013‐1024). Cambridge, Massachusetts, USA: 

MIT Press. 

Haidt, J. (2012). The Righteous Mind: Why good people are divided by 

politicis and religion. London, United Kingdom: Penguin Books Ltd. 

Harnad, S. (1990). The symbol grounding problem. Physica D: Nonlinear 

Phenomena, 42(1‐3), 335‐346. 

Hauk, O., Johnsrude, I., & Pulvermuller, F. (2004). Somatotopic 

representation of action words in human motor and premotor 

cortex. Neuron, 301‐307. 

Page 139: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  121

Havas, D. A., & Matheson, J. (2013). The functional role of the periphery in 

emotional language processing. Frontiers in Psychology, 1‐16. 

Havas, D. A., Glenberg, A. M., & Rinck, M. (2007). Emotion simulation 

during language comprehension. Psychonomic Bulletin & Review, 

14(3), 436‐441. 

Havas, D. A., Glenberg, A. M., Gutowski, K. A., Lucarelli, M. J., & Davidson, R. 

J. (2010). Cosmetic use of botulinum toxin‐a affects processing of 

emotional language. Psychological Science, 895‐900. 

Heider, F., & Simmel, M. (1944). An experimental study of apparent 

behavior. The American Journal of Psychology, 57(2), 243‐259. 

Hennenlotter, A., Dresel, C., Castrop, F., Ceballos, A. O., Wohlschläger, A. 

M., & Haslinger, B. (2009). The link between facial feedback and 

neural activity within central circuitries of emotion: New insights of 

botulinum toxin‐induced denervation of frown muscles. Cerebral 

Cortex, 19, 537‐542. 

Herman, D. (2009). Basic elements of narrative. Chichester: Wiley‐Blackwell. 

Hoeken, H., & Sinkeldam, J. (2014). The role of identification and perception 

of just outcome in evoking emotions in narrative persuasion. 

Journal of Communication, 64(5), 935‐955. doi:10.1111/jcom.12114 

Hofman, D., Bos, P. A., Schutter, D. J., & van Honk, J. (2012). Fairness 

modulates non conscious facial mimicry in women. Proceedings of 

the Royal Society B, 3535‐3539. 

Horchak, O. V., & Giger, J.‐C. (2014). Simulation of metaphorical actions and 

discourse comprehension. Metaphor and Symbol, 1‐22. 

Horchak, O. V., Giger, J.‐C., & Pochwatko, G. (2014). Discourse 

comprehension and simulation of positive emotions. Psicológica, 

17‐37. 

Page 140: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

122

Horchak, O. V., Giger, J.‐C., Cabral, M., & Pochwatko, G. (in press). From 

demonstration to theory in embodied language comprehension: A 

review. Cognitive Systems Research, xxx‐xxx. 

Isenberg, N., Silbersweg, D., Engelien, A., Emmerich, S., Malavade, K., 

Beattie, B., & Leon, A. C. (1999). Linguistic threat activates the 

human amygdala. Proceedings of the National Academy of Sciences, 

10456‐10459. 

Kaschak, M. P., Madden, C. J., Therriault, D. J., Yaxley, R. H., Aveyard, M., & 

Blanchard, A. A. (2005). Perceptions of motion affects language 

processing. Cognition, 79‐89. 

Kaschak, M. P., Zwaan, R. A., Aveyard, M., & Yaxley, R. H. (2006). Perception 

of auditory motion affects language processing. Cognitive Science, 

733‐744. 

Keltner, D., & Ekman, P. (2000). Facial expression of emotion. In M. Lewis, & 

J. Haviland‐Jones (Eds.), Handbook of Emotions (pp. 236‐249). New 

York: Guildford Publications, Inc. 

Kiefer, M., & Pulvermüller, F. (2012). Conceptual representations in mind 

and brain: Theoretical developments, current evidence and future 

directions. Cortex, 805‐825. 

Kiefer, M., Sim, E.‐J., Herrnberger, B., Grothe, J., & Hoenig, K. (2008). The 

sound of concepts:four markers for a link between auditory and 

conceptual brain systems. The Journal of Neuroscience, 28(47), 

12224‐12230. 

Kintsch, W., & van Dijk, T. A. (1978). Toward a model of comprehension and 

production. Psychological Review, 363‐394. 

Künecke, J., Sommer, W., Schacht, A., & Palazova, M. (2015). Embodied 

simulation of emotional valence: Facial muscle responses to 

abstract and concrete words. Psychophysiology, 1590‐1598. 

Page 141: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  123

Lakoff, G., & Johnson, M. (1980). Metaphors we live by. Chicago: Chicago 

University Press. 

Landau, A. N., Aziz‐Zadeh, L., & Ivry, R. B. (2010). The influence of language 

processing on perception: listening to sentences about faces affects 

the perception of faces. Journal of Neuroscience, 15254‐15261. 

Larsen, J. T., Norris, C. J., & Cacioppo, J. T. (2003, September). Effects of 

positive and negative affect on electromyographic activity over 

zygomaticus major and corrugator supercilii. Psychophysiology, 

776‐785. 

Leach, C. W., & Spears, R. (2009). Dejection at in‐group defeat and 

schadenfreude toward second‐ and third‐party out‐groups. 

Emotion, 9(5), 659‐665. 

LeDoux, J. (1996). The emotional brain. New York: Simon & Schuster. 

Leshinskaya, A., & Caramazza, A. (2016). For cognitive neuroscience of 

concepts: Moving beyod the grounding issues. Psychonomic Bulletin 

& Review, 23(4), 991‐1001. 

Leuthold, H., Kunkel, A., Mackenzie, I. G., & Filik, R. (2015). Online 

processing of moral transgressions: ERP evidence for spontaneous 

evaluation. Social and Cognitive Affective Neuroscience, 10(8), 

1021‐1029. 

Luo, S., Li, B., Ma, Y., Zhang, W., Yi, R., & Han, S. (2015). Oxytocin receptor 

gene and racial ingroup bias in empathy‐related brain activity. 

NeuroImage, 110, 22‐31. 

Mahon, B. Z., & Caramazza, A. (2008). A critical look at the embodied 

cognition hypthesis and a new proposal for grounding conceptual 

content. Journal of Physiology‐Paris, 59‐70. 

Mahon, B. Z., & Hickok, G. (2016). Arguments about the nature of concepts: 

Symbols, embodiment, and beyond. Psychonomic Bulletin & 

Review, 23(4), 941‐958. 

Page 142: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

124

Masson, M. E., Bub, D. N., & Warren, C. M. (2008b). Kicking calculators: 

Contribution of embodied representations to sentence 

comprehension. Journal of Memory and Language, 256‐265. 

Mirman, D. (2015, January 6). Growth curve analysis. Retrieved from 

Language & Cognitive Dynamics Laboratory: www.danmirman.org 

Montalan, B., Lelard, T., Godefroy, O., & Mouras, H. (2012). Behavioral 

investigation of the influence of social categorization on empathy 

for pain: a minimal group paradigm study. Frontiers in Psychology: 

Cognitive Science, 1‐5. 

Montoro, P. R., Contreras, M. J., & Elosúa, M. R. (2015). Cross‐modal 

metaphorical mapping of spoken emotion words onto vertical 

space. Frontiers in Psychology, 6, 1‐13. 

Morrison, S., Decety, J., & Molenberghs, P. (2012). The neuroscience of 

group membership. Neuropsychologica, 50, 2114‐2120. 

Moscoso del Prado Martin, F., Hauk, O., & Pulvermuller, F. (2006). Category 

specificity in the processing of color‐related and form‐related 

words: an ERP study. Neuroimage, 29‐37. 

Moseley, R., Carota, F., Hauk, O., Mohr, B., & Pulvermüller, F. (2012). A role 

for the motor system in binding abstract emotional meaning. 

Cerebral Cortex, 1634‐1647. 

Moyer‐Gusé, E. (2008). Toward a theory of entertainment persuasion: 

Explaining the persuasive effects of entertainment‐education 

messages. Communication Theory, 407‐425. 

Moyer‐Gusé, E., & Nabi, R. L. (2010). Explaining the effects of narrative in an 

entertainment television program: Overcoming resistance to 

persuasion. Human Communication Research, 26‐52. 

Myachykov, A., Ellis, R., Cangelosi, A., & Fischer, M. (2013). Visual and 

linguistic cues to graspable objects. Experimental brain Research, 

549‐559. 

Page 143: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  125

Niedenthal, P. M., Winkielman, P., Mondillon, L., & Vermeulen, N. (2009). 

Embodiment of emotion concepts. Journal of Personality and Social 

Psychology, 1120‐1136. 

Oatley, K. (1995). A taxonomy of the emotions of literary response and a 

theory of identification in fictional narrative. Poetics, 23(1), 53‐74. 

doi:http://dx.doi.org/10.1016/0304‐422X(94)P4296‐S 

Oatley, K. (1999). Meeting of minds: Dialogue, sympathy, and 

identificationin reading fiction. Poetics, 28(5‐6), 439‐454. 

Oberman, L. M., Winkielman, P., & Ramachandran, V. S. (2007). Face to 

face: Blocking expression‐specific muscles can selectively impair 

recognition of emotional faces. Social Neuroscience, 167‐178. 

Ortony, A., & Turner, T. J. (1990). What's basic about basic emotions. 

Psychological Review, 97(3), 315‐331. 

Pecher, D., Zeelenberg, R., & Barsalou, L. W. (2003). Verifying different 

modality properties for concepts produces switching costs. 

Psychological Science, 119‐124. 

Peck, R., & Devore, J. (2008). Statistics: The Exploration and Analysis of Data 

(6th ed.). London, United Kingdom: Thomson Higher Learning. 

Porter Abbott, H. (2008). The cambridge introduction to narrative. New 

York: Cambridge University Press. 

Posner, J., Russell, J. A., & Peterson, B. S. (2005). The circumplex model of 

affect: An integrative approach to affective neuroscience, cognitive, 

development, and psychopathology. Development & 

Psychopathology, 17(3), 715‐734. 

Pulvermüller, F. (2005). Brain mechanisms linking language and action. 

Nature Reviews Neuroscience, 6, 576‐582. 

Rapp, D. N., & Taylor, H. A. (2004). Interactive dimensions in the 

construction of mental representations for text. Journal of 

Page 144: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

126

Experimental Psychology; Learning, memory, and Cognition, 988‐

1001. 

Ratner, K. G., & Amodio, D. M. (2012). Seeing "us vs. them": Minimal group 

effects on the neural encoding of faces. Journal of Experimental 

Social Psychology, 49, 298‐301. 

Rubin, D. C. (2006). The basic‐systems model of episodic memory. 

Perspectives on Psychological Science, 277‐311. 

Rueschemeyer, S. A., van Rooij, D., Lindemann, O., Willems, R. M., & 

Bekkering, H. (2010). The function of words: Distinct neural 

correlates for words denoting differently manipulable objects. 

Journal of Cognitive Neuroscience, 1844‐1851. 

Ryan, M. L. (2007). Toward a definition of narrative. In D. Herman, The 

Cambridge Companion to Narrative (pp. 22‐35). Cambridge: 

Cambridge University Press. 

Samur, D., Lai, V. T., Hagoort, P., & Willems, R. M. (2015). Emotional context 

modulates embodied metaphor comprehension. Neuropsychologia, 

108‐114. doi:10.1016/j.neuropsychologia.2015.10.003 

Sanford, A. J., & Emmott, C. (2012). Mind, brain, and narrative. New York: 

Cambridge University Press. 

Santana, E., & de Vega, M. (2011). Metaphors are embodied, and so are 

their literal counterparts. Frontiers in Cognition, 2‐90. 

Schenk, C. H. (2015). REM sleep behaviour disorder. In S. Chokroverty, & M. 

Billiard (Eds.), Sleep Medicine (pp. 391‐405). New York: Springer 

Science + Business Media LLC. 

Schuil, K. D., Smits, M., & Zwaan, R. A. (2013). Sentential context modulates 

the involvement of the motor cortex in action language processing: 

an fMRI study. Frontiers in Human Neuroscience, 1‐13. 

doi:10.3389/fnhum.2013.00100 

Page 145: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  127

Sell, A. J., & Kaschak, M. P. (2011). Processing time shift affects the 

execution of motor responses. Brain and Language, 39‐44. 

Sell, A. J., & Kaschak, M. P. (2012). The comprehension of sentences 

involving quantity information affects responses on the up‐down 

axis. Psychonomic Bulletin and Review, 708‐714. 

Shiota, M. N., & Kalat, J. W. (2012). Emotion. Wadsworth, Cengage 

Learning. 

Simmons, W. K., Ramjee, V., Beauchamp, M. S., McRae, K., Martin, A., & 

Barsalou, L. W. (2007). A common neural substrate for perceiving 

and knowing about colour. Neuropsychologia, 2802‐2810. 

Singer, T., Seymour, B., O'Doherty, J. P., Stephan, K. E., Dolan, R. J., & Frith, 

C. D. (2006). Empathic neural responses are modulated by the 

perceived fairness of others. Nature, 439, 466‐469. 

Slater, M. D., & Rouner, D. (2002). Enterainment‐education and elaboration 

likelihood: Understanding the processing of narrative persuasion. 

Communication Theory, 173‐191. 

Speer, N. K., Reynolds, J. R., Swallow, K. M., & Zacks, J. M. (2009). Reading 

stories activates neural representations of visual and motor 

experiences. Psychological Science, 20(8), 989‐999. 

Speer, N. K., Zacks, J. M., & Reynolds, J. R. (2007). Human brain activity 

time‐locked to narrative event boundaries. Psychological Science, 

18(5), 449‐455. 

Spivey, M. J., & Geng, J. J. (2001). Oculomotor mechanisms activated by 

imagery and memory: Eye movement to absent objects. 

Psychological Research, 235‐241. 

Strack, F., Martin, L. L., & Stepper, S. (1988). Inhibiting and facilitating 

conditions of the human smile: A nonobtrusive test fo the facial 

feedback hypothesis. Journal of Personality and Social Psychology, 

54, 768‐777. 

Page 146: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

128

't Hart, B., Struiksma, M. E., van Boxtel, A., & Van Berkum, J. J. A. (in 

preparation a). Emotion in stories: A facial EMG study on simulation 

vs. moral evaluation. 

't Hart, B., Struiksma, M. E., van Boxtel, A., & Van Berkum, J. J. A. (in 

preparation b). Simulation and evaluation of emotions in stories: 

Online processing of character affect. 

Tajfel, H., Billig, M., Bundy, R., & Flament, C. (1971). Social categorization 

and intergroup behaviour. European Journal of Social Psychology, 1, 

149‐178. 

Tappin, B. M., & McKay, R. T. (2016). The illusion of moral superiority. Social 

Psychological and Personality Science, 1‐9. 

Tassinary, L. G., & Cacioppo, J. T. (1992). Unobservable facial actions and 

emotion. Psychological Science, 28‐33. 

Tassinary, L. G., Cacioppo, J. T., & Vanman, E. J. (2000). The skeletomotor 

system: Surface electromyography. In J. T. Cacioppo, L. G. Tassinary, 

& G. G. Berntson, Handbook of Psychophysiology (pp. 267‐299). 

Cambridge: Cambridge University Press. 

Taylor, L. J., & Zwaan, R. A. (2008). Motor resonance and linguistic focus. 

Quarterly Journal of Expperimental Psychology Section A‐HUman 

Experimental P, 896‐904. 

Tettamanti, M., Buccino, G., Saccuman, M. C., Gallese, V., Danna, M., Scifo, 

P., . . . Perani, D. (2005). Listening to action‐related sentences 

activates fronto‐parietal motor circuits. Journal of Cognitive 

Neuroscience, 273‐281. 

Tian, Q., & Hoffner, C. A. (2010). Parasocial interaction with liked, disliked, 

and neutral characters on a popular TV series. Mass 

Communication and Society, 13(3), 250‐269. 

doi:http://dx.doi.org/10.1080/15205430903296051 

Page 147: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  129

Topolinski, S., Likowski, K. U., Weyers, P., & Strack, F. (2009). The face of 

fluency: Semantic coherence automatically elicits a specific pattern 

of facial muscle reactions. Cognition & Emotion, 23(2), 260‐271. 

Topolinsky, S., & Strack, F. (2015). Corrugator activity confirms immediate 

negative affect in surprise. Frontiers in Psychology, 6, 1‐8. 

Turing, A. M. (1950). Computing machinery and intelligence. Mind, 433‐460. 

Turner, T. J., & Ortony, A. (1992). Basic emotions: Can conflicting criteria 

converge. Psychological Review, 99(3), 566‐571. 

Van Berkum, J. J. A. (2008). Understanding sentences in context: What brain 

waves can tell us. Current Directions in Psychological Science, 17(6), 

376‐380. doi:10.1111/j.1467‐8721.2008.00609.x 

Van Berkum, J. J. A. (2016a). Language comprehension and emotion: Where 

are the interfaces, and who cares? In G. de Zubicaray, & N. O. 

Schiller (Eds.), Oxford Handbook of Neurolinguistics. Oxford 

University Press. 

Van Berkum, J. J. A.(in press). Language comprehension, emotion and 

sociality: Aren't we missing something? In Rueschemeyer, & Gaskell 

(Eds.), Oxford Handbook of Psycholinguistics. Oxford: OUP. 

Van Berkum, J. J. A., Holleman, B., Nieuwland, M., Otten, M., & Murre, J. 

(2009). Right or wrong? The brain's fast response to moralliy 

objectionable statements. Psychological Science, 20(9), 1092‐1099. 

doi:10.1111/j.1467‐9280.2009.02411.x 

van Boxtel, A. (2010). Facial EMG as a tool for inferring affective states. 

Proceedings of Measuring Behaviour 2010 (pp. 104‐108). 

Eindhoven: Measuring Behaviour 2010. 

Vermeulen, N., Niedenthal, P. M., & Luminet, O. (2007). Switching between 

sensory and affective systems incurs processing costs. Cognitive 

Science, 183‐192. 

Page 148: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

130

Vigliocco, G., Meteyard, L., Andrews, M., & Kousta, S. (2009). Toward a 

theory of semantic representation. Language and Cognition, 219‐

247. 

Vossen, H. G., Piotrowski, J. T., & Valkenburg, P. M. (2015). Development of 

the Adolescent Measure of Empathy and Sympathy (AMES). 

Personality and Individual Differences, 66‐71. 

Wagenmakers, E.‐J., Beek, T., Dijkhoff, L., Gronau, Q. F., Acosta, A., Adams, 

R. B., . . . Chasten, K. T. (2016). Registered Replication Report: 

Strack, Martin, & Stepper (1988). Perspective on Psychological 

Science, 11(6), 917‐928. 

Whitney, C., Huber, W., Klann, J., Weiss, S., Krach, S., & Kircher, T. (2009). 

Neural correlates of narrative shifts during auditory story 

comprehension. NeuroImage, 47(1), 360‐366. 

Wicker, B., Keysers, C., Plailly, J., Royet, J. P., Gallese, V., & Rizzolatti, G. 

(2003). Both of us disgusted in my insula: The common neural basis 

of seeing and feeling disgust. Neuron, 655‐664. 

Willems, R. M., & Cassanto, D. (2011). Flexibility in embodied language 

understanding. Frontiers in Psychology, 1‐11. 

Willems, R. M., Hagoort, P., & Cassanto, D. (2010b). Body‐specific 

representation of action verbs: Neural evidence form right‐ and 

left‐handers. Psychological Science, 67‐74. 

Wundt, W. (1977 (1907)). Lectures on human and animal psychology. 

Washington, D.C.: University Publications of America. 

Yee, E., & Thompson‐Schill, S. L. (2016). Putting concepts into context. 

Psychonomic Bulletin & Review, 23, 1015‐1027. 

Zacks, J. M., Speer, N. K., Swallow, K. M., & Maley, C. J. (2010). The brain’s 

cutting‐room floor: Segmentation of narrative cinema. Frontiers in 

HUman Neuroscience, 4, 1‐15. 

Page 149: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  131

Zwaan, R. A. (2004). The Immersed Experiencer: Toward an embodied 

theory of language comprehension. The Psychology of Learning and 

Motivation, 35‐62. 

Zwaan, R. A. (2009). Mental simulation in language comprehension and 

social cognition. European Journal of Social Psychology, 1142‐1150. 

Zwaan, R. A. (2014). Embodiment and language comprehension: Reframing 

the discussion. Trends in Cognitive Sciences, 1‐6. 

doi:10.1016/j.tics.2014.02.008 

Zwaan, R. A. (2016). Situation models, mental simulations, and abstract 

concepts in discourse comprehension. Psychonomic Bulletin & 

Review, 23(4), 1028‐1034. 

Zwaan, R. A., & Kaschak, M. P. (2008). Language in the brain, body, and 

world. In P. Robbins, & M. Aydede (Eds.), The Cambridge Handbook 

of Situated Cognition (pp. 368‐381). Cambridge University Press. 

Zwaan, R. A., & Madden, C. J. (2005). Embodied sentence comprehension. 

In D. P. Pecher, & R. A. Zwaan (Eds.), Grounding Cognition: The role 

of perception and action in memory, language, and thinking (pp. 

224‐245). New York: Cambridge University Press. 

Zwaan, R. A., & Pecher, D. (2005). Introduction to grounding cognition. In 

Various, R. A. Zwaan, & D. Pecher (Eds.), Grounding Cognition (pp. 

1‐7). Cambridge, New York, United States of America: Cambridge 

University Press. 

Zwaan, R. A., & Pecher, D. (2012). Revisiting mental simulation in language 

comprehension: Six replication attempts. PLoS ONE. 

Zwaan, R. A., & Radvansky, G. A. (1998). Situation models in language 

comprehension and memory. Psychological Bulletin, 162‐185. 

Zwaan, R. A., & Taylor, L. J. (2006). Seeing, acting, understanding: Motor 

resonance in language comprehension. Journal of Experimental 

Psychology‐General, 1‐11. 

Page 150: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

132

Zwaan, R. A., Madden, C. J., Yaxley, R. H., & Aveyard, M. (2004). Moving 

words: Dynamic mental representations in language 

comprehension. Cognitive Science, 611‐619. 

Zwaan, R. A., Stanfield, R. A., & Yaxley, R. H. (2002). Language 

comprehenders mentally represent the shapes of objects. 

Psychological Science, 168‐171. 

Zwaan, R. A., Taylor, L. J., & de Boer, M. M. (2010). Motor resonance as a 

function of narrative time: Further tests of linguistic‐focus theory. 

Brain & Language, 143‐149. 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Page 151: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  133

Supplementary Information A  

A1: Study 1 

Sandra heeft al een tijdje een conflict met haar buren. Ze zet haar auto vaak op de parkeerplek voor de deur van haar buren. Haar buurman en buurvrouw beweren echter dat die plek speciaal voor hun auto is. Op een dag hoort Sandra van de andere buren dat haar buurman verongelukt is. Sandra aarzelt niet en loopt direct naar het huis van haar buren. Ze belt aan en haar buurvrouw doet de deur open.

Sandra bijt haar toe dat haar man toch een vervelende vent was en het waarschijnlijk verdiende om dood te gaan.

Sandra loopt weer naar huis en gaat verder met koken. Die avond pakt Sandra haar tablet en leest het financiële nieuws. Sandra heeft kort geleden veel van haar spaargeld in aandelen gestoken. Ze houdt sindsdien de markt goed in de gaten en nu maakt ze zich zorgen. Ze heeft slechte berichten gehoord en checkt de koersen van de aandelen in haar portfolio.

… Sandra  is   dolblij 

or 

woedend  als ze de gegevens doorleest 

en haar aandelen in waarde verdubbbeld zijn 

or 

en haar aandelen niks meer waard blijken te zijn 

De afdeling waar Wesley werkt heeft het heel erg druk. De opdrachten blijven maar binnenstromen. Daarom is er kort geleden een nieuwe medewerker aangenomen om het team te versterken. De nieuwe medewerker is een jong en knap meisje dat pas afgestudeerd is. Op een dag komt Wesley haar

Wesley gaat achter haar staan, vraagt wat er is, en streelt zogenaamd per ongeluk de billen van het meisje.

Grijnzend werkt Wesley die middag verder en gaat om vijf uur naar huis. Thuis aangekomen parkeert hij zijn auto en loopt naar de voordeur van zijn huis. Wesley hoopt dat bij de post de dvd zit die hij besteld had. Hij had de hele avond vrijgehoud

… Wesley  is   blij 

or 

geërgerd  wanneer hij de post doorbladert 

en de dvd erbij zit en hij dus door kan kijken 

or 

de dvd er niet bijzit, maar wel een boete 

Page 152: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

134

alleen tegen in het kopieerhok. Ze staat bij het kopieerapparaat en heeft duidelijk ruzie met het apparaat.

en om het nieuwe seizoen van de tv serie te kijken. Wesley doet de deur open en ziet een stapel post op de deurmat.

Jeffrey komt na een dag hard werken thuis. Net op het moment dat hij de voordeur achter zich dicht trekt begint het te onweren. Het bliksemt en begint hard te regenen. Dan ziet Jeffrey dat er die dag post is bezorgd bij hem. Tussen de folders en rekeningen die zijn bezorgd ziet Jeffrey een rouwkaart liggen. De kaart blijkt verkeerd bezorgd te zijn en eigenlijk bestemd voor zijn overburen.

Jeffrey heeft geen zin om zich nat te laten regenen en verscheurt de rouwkaart en gooit hem in de prullenbak.

Het noodweer blijft die dag aanhouden. Jeffrey hoort dat het KNMI code rood afgeeft en aanraadt binnen te blijven. Het begint hard te hagelen en Jeffrey ziet buiten enorme hagelstenen uit de lucht vallen. Een hagelsteen zo groot als een golfbal landt in Jeffreys tuin en Jeffrey vreest voor zijn nieuwe auto. Zodra het droog is gaat Jeffrey de schade opnemen.

… Jeffrey  voelt 

opluchting 

or 

frustratie  wanneer hij bij de auto aan komt lopen 

en deze geen beschadigingen blijkt te hebben 

or 

en die onder de kleine deuken zit van de hagelstenen 

Emma loopt over de Dam richting de Kalverstraat. Ze moet een verjaardagscadeautje halen voor een vriend. Het is gelukkig niet heel druk, maar het loopt al tegen sluitingstijd. Op de hoek van de Kalverstraat zit een blinde straatmuzikant. Hij speelt de sterren

Emma heeft alleen een tientje, maar de muzikant is zo goed dat ze het hem gunt, hij kan het vast gebruiken.

Later die week is de verjaardag waarvoor ze op pad was. Er zijn al gauw 25 mensen en het feestje is in volle gang. Emma kent echter niet veel van de mensen die er zijn, en bekenden zijn er nog niet. Ze probeert zich in het gesprek

… Emma  voelt 

blijdschap 

or 

woede  opkomen wanneer het groepje 

haar gelijk welkom doet voelen 

or 

haar aanstaart en vervolgens negeert 

Page 153: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  135

van de hemel en zingt met een doorleefde stem. Op de gitaarhoes voor hem ligt al heel wat kleingeld en zelfs een paar briefjes.

van een groepje naast zich te mengen. Emma gaat erbij staan en wanneer een stilte valt doet ze ook een duit in het zakje.

Ilse staat te wachten bij de pinautomaat. Er staat één man voor haar en niemand achter haar. Terwijl ze wacht kijkt Ilse wat op haar telefoon en bedenkt hoeveel geld ze op zal nemen. Vanuit haar ooghoek ziet Ilse dat de man voor haar bijna klaar is. Ilse stopt haar telefoon weg en pakt haar portemonnee. Als de man wegloopt, ziet Ilse een briefje van 50 vallen maar de man heeft niks door.

Ilse roept de man gauw na en pakt het briefje van 50 op om terug te geven, de man bedankt Ilse uitvoerig.

Later die avond is Ilse onderweg naar huis. Ze bedenkt zich ineens dat ze niks meer voor het ontbijt in huis heeft. Ze kijkt hoe laat het is en gaat meteen wat sneller lopen. Er is gelukkig een Albert Heijn vlakbij, maar die gaat al bijna dicht. Als Ilse de hoek om loopt ziet ze hoe een medewerker een bord binnenhaalt en ze gaat nog sneller lopen.

… Ilse  is   dankbaar 

or 

pissig  wanneer de medewerker haar ziet 

en toch nog even snel binnenlaat  

or 

haar vuil aankijkt en de deur snel sluit 

Martijn fietst door de stad naar de sportschool. Hij heeft een lange dag achter de rug en heeft zin om intensief te sporten. Martijn is halverwege wanneer hij door een erg smal steegje fietst. Een bejaarde man loopt langzaam in dezelfde richting door het steegje. In het voorbijgaan schampt Martijn met zijn fiets de

Martijn beseft dat hij fout zat, maar doet alsof er niks gebeurd is en fietst door, laat een ander die ouwe helpen.

De volgende dag staat Martijn vroeg op. Hij heeft een sollicitatiegesprek bij een bedrijf voor een leidinggevende functie. Het bedrijf is gevestigd in een nabijgelegen stad, 20 kilometer verderop. Omdat Martijn geen rijbewijs heeft reist hij met openbaar 

… Martijn  is   euforisch 

or 

kwaad  wanneer hij op het perron komt en 

op tijd blijkt te zijn en de juiste trein haalt 

or 

hoort omroepen dat er geen treinen rijden 

Page 154: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

136

oude man. De man komt ten val en Martijn hoort hem kermen van de pijn.

vervoer. Hij wil voor de zekerheid een trein eerder nemen en zorgt dat hij op tijd op het station is. 

Maria loopt met een ingepakt cadeau over straat. Ze is onderweg naar een kraamvisite bij een collega. Maria heeft niks met baby's en gelukkig heeft iemand anders het cadeau uitgezocht. Maria belt aan en het duurt even voordat de deur opengaat. De kamer zit vol met familie en vrienden die ze niet kent. De baby wordt uiteraard meteen getoond en Maria vindt het maar een lelijke baby.

Maria zegt desgevraagd dat het een mormel is en dat ze sowieso niet snapt wat er mooi is aan baby's.

Wanneer Maria bij de kraamvisite vandaan komt loopt ze het centrum in. Ze heeft honger en gaat op zoek naar iets warms voor de lunch. Ze schiet een döner tent binnen en bestelt een broodje döner. Ze gaat zitten en valt meteen aan wanneer het broodje klaar is. Bij de eerste hap valt er gelijk een enorme klodder saus uit de zijkant van het broodje. 

… Maria  is   nijdig 

or 

opgelucht  als de klodder gemorste saus 

op haar nieuwe blouse valt en dus verpest is 

or 

op tafel valt en niet op haar nieuwe blouse 

Stefan zit achter de computer op het werk. Hij is bezig concertkaartjes te bestellen voor hem en drie collega's in zijn team. Ze gaan wel vaker met z'n allen iets doen buiten het werk om. Het is ondertussen meer een vriendengroep dan collega's. Er is een nieuw teamlid dat er nog niet echt bij hoort. Dat

Stefan nodigt hem uit om mee te gaan, zodat hij zich meer thuis gaat voelen als nieuweling binnen een hecht team.

Tegen half vijf besluit Stefan dat het leuk is geweest voor die week. Hij sluit zijn computer af en pakt zijn spullen bij elkaar. Voor vijven is hij op het station en wacht hij op de trein. Het nadeel van op tijd weggaan op vrijdag is dat hij niet de enige is. Het is hartstikke 

… Stefan  is   boos 

or 

opgetogen 

wanneer in het gedrang voor de inagng 

iemand hem zonder pardon omver duwt 

or 

iemand hem vriendelijk voor laat gaan 

Page 155: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  137

nieuwe teamlid komt even later binnen en zegt ook fan te zijn van die band.

druk op het perron en hij ziet dat de binnenkomende trein ook al goed vol zit. 

Sanne zit naar een voorstelling onder regie van een vriend te kijken. Het stuk is ongeveer halverwege en Sanne is al volledig uitgecheckt. De acteurs zijn niet bijster goed en het decor is amateuristisch. Ook het verhaal zelf kan niet echt boeien. Sanne heeft sterk de neiging om halverwege naar huis te gaan. Maar ze blijft toch tot de receptie en komt daar haar vriend, de regisseur, tegen.

Sanne schudt hem de hand en steekt vervolgens van wal en vertelt keihard hoe slecht ze het stuk vond.

Na de receptie loopt Sanne richting het dichtstbijzijnde grote plein. De trams rijden al niet meer en het begint steeds harder te regenen. Eenmaal bij het plein aangekomen wil ze een taxi aanhouden. Er zijn echter weinig taxi's en veel mensen die een taxi willen vanwege de regen. Eindelijk weet ze een taxi aan te houden en deze stopt vlakbij haar. 

… Sanne  is   verontwaardigd 

or 

opgetogen 

wanneer de taxi vlak voor haar stopt 

en iemand haar opzij duwt en gauw instapt 

or 

en ze in kan stappen voor ze doorweekt is 

10 

Lieke zit met een vriendin op het terras. Het is donderdagmiddag en ze hebben allebei lekker vakantie. Haar vriendin moet naar het toilet, waar het waarschijnlijk stervensdruk zal zijn. Terwijl Lieke alleen zit komt een vriend van haar langsfietsen. Hij vertelt Lieke over

Lieke vertelt eerlijk over het feestje en vraagt of de vriendin het leuk zou vinden om daarheen te gaan.

Later die middag springt Lieke gauw onder de douche thuis. Onder het afdrogen bedenkt ze zich dat ze cash geld nodig zal hebben. Dat herinnert haar eraan dat haar salaris één dezer dagen binnen moet komen. Nadat ze zich heeft aangekleed rommelt ze 

… Lieke  constateert 

nors 

or 

opgetogen 

dat de salarisadminstratie  

weer eens heeft gefaald, nog geen geld 

or 

heeft gezorgd dat haar salaris op tijd is dit keer 

Page 156: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

138

een feestje vanavond en moet gelijk verder. Lieke wil wel heen, maar ze heeft eigenlijk al plannen gemaakt met die andere vriendin.

in de la om de random reader te vinden. Eenmaal gevonden logt ze gauw in om haar saldo te checken. 

11 

Sarah heeft de nachtdienst op de verpleegafdeling. Het is tijd om een ronde te lopen en haar collega en zij doen elk de helft. Sarah controleert alle infusen en kijkt of iedereen goed slaapt. Ze gaat stilletjes van kamer tot kamer. Op één van de laatste kamers ziet ze een portemonnee liggen. Hij is van de oudere man die vanmiddag zijn kleinkinderen met hun rapporten op bezoek had.

Sarah kijkt snel om zich heen, haalt er 50 euro uit en vervolgt haar ronde, de man heeft toch niet lang meer.

Aan het einde van haar dienst gaat Sarah gauw richting huis. Eenmaal thuis zet ze een kop thee en zet haar laptop aan. Met de laptop in één hand en de thee in de andere loopt ze richting de woonkamer. Ze ziet door het voorraam dat de zon ondertussen op is gekomen. Dan struikelt ze ineens over de drempel en laat de laptop vallen en morst thee. 

… Sarah  constateert 

pissig 

or 

opgelucht  dat de laptop als ze hem weer aanzet 

helemaal niks meer doet, compleet kapot 

or 

het weer gewoon blijkt te doen, gelukkig! 

12 

Danny is aan het werk in de werkplaats van zijn fietsenzaak. Hij is bezig een achterwiel te vervangen. Het is halverwege de ochtend en nog lekker rustig. Wanneer de bel gaat maakt Danny snel af wat hij aan het doen was. Hij veegt zijn handen schoon en loopt dan snel naar

Danny schudt meewarig het hoofd, negeert de vrouw straal en gaat weer verder in de werkplaats, domme allochtonen.

Later die dag, na de lunch, worden er onderdelen geleverd. Danny tekent voor ontvangst en begint de pakketjes te sorteren. Er is één bepaald onderdeel waar hij al een hele tijd op zit te wachten. Het is een heel speciaal onderdeel voor een luxe 

… Danny  voelt 

frustratie 

or 

opluchting  dat het binnengekomen onderdeel  

weer het verkeerde blijkt, dit kost hem geld 

or 

nu wel het goede blijkt te zijn, eindelijk! 

Page 157: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  139

voren. Er staat een vrouw met een hoofddoek te wachten en het blijkt al gauw dat haar Nederlands niet heel goed is.

mountainbike. Het onderdeel is al twee keer verkeerd geleverd en de klant begint ongeduldig te worden. 

13 

Kirsten hangt wat rond met haar vrienden in het park. Ze drinken biertjes en zijn wat aangeschoten en baldadig. Een van Kirstens vrienden die meedrinkt begint opmerkingen te maken over mensen die langslopen. Eerst zachtjes, maar later steeds harder. Plotseling loopt een donkere jongen langs het groepje vrienden. Kirstens vriend roept een racistische opmerking naar de jongen en daagt hem uit.

Kirsten lacht lekker mee en doet er een schepje bovenop door de jongen ook uit te schelden en hem te bespugen.

De volgende dag gaat Kirsten naar de elektronicazaak. Ze heeft al een tijd een Ultra HD‐tv op het oog en vandaag wil ze hem kopen. De tv is erg duur en Kirsten heeft er lang voor gespaard. Ze heeft de achterbank van haar auto vast naar beneden geklapt om ruimte te maken. Aangekomen bij de winkel vraagt Kirsten direct een medewerker naar de tv die ze wil. 

… Kirsten  voelt 

blijdschap 

or 

boosheid  wanneer in de winkel blijkt dat 

de tv zelfs in de aanbieding is en ze geld overhoudt 

or 

de tv die ze wil niet meer op voorraad blijkt te zijn 

14 

Judith zit op haar fiets voor de supermarkt. Ze is met een groepje van drie vrienden en ze hangen maar wat. Terwijl ze wat dom ouwehoeren ziet Judith een hardloper aankomen. De loper is hevig bezweet en het is hem aan te zien dat hij tot het

Judith stapt snel van haar fiets af en tilt haar fiets aan de kant zodat de loper ongehinderd door kan lopen.

Later die dag loopt Judith van een terrasje door de stad naar huis. Het is nog redelijk vroeg, maar het begint al te schemeren. De zomer loopt ten einde, maar de temperatuur is nog lekker. Judith steekt de 

… Judith  voelt 

woede 

or 

opluchting  als ze zich omdraait en 

ziet hoe een man wegrent met haar portemonnee 

or 

een man haar portemonnee teruggeeft 

Page 158: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

140

uiterste gaat. Judith en haar vrienden staan pal in het pad van de hardloper. Judith haar vrienden doen een paar stappen opzij om plaats te maken.

brug over en merkt ineens dat haar portemonnee niet in haar zak zit. Ze zou zweren dat ze hem net nog had en draait zich om om te kijken of hij ergens ligt. 

15 

Adriana loopt door het bos op een zondagochtend. Het is vroeg in de herfst en de bladeren beginnen net te verkleuren. Ze heeft onderweg koffie gehaald bij de enige koffiezaak die op een zondagochtend open is. Terwijl ze wandelt, neemt ze af en toe een slokje. Ze loopt graag in dit bos, het is redelijk groot en ze komt doordeweeks niet veel buiten. Halverwege haar gewone route heeft ze haar koffie op.

Adriana gooit het bekertje in de bosjes en loopt rustig verder, iemand anders raapt het vast wel weer op.

Een uur later loopt Adriana nog steeds in het bos. Ze is ondertussen een heel eind bij de auto vandaan, maar ze is nog lang niet moe. Dan komt haar voet ineens in een gat terecht en verzwikt ze haar enkel. Ze voelt een scherpe pijn en valt om omdat ze niet meer op dat been kan staan. De pijn bonst stug door in haar enkel en ze kan niet anders dan langs het pad blijven zitten. 

… Adriana  voelt 

blijdschap 

or 

boosheid  als er even later iemand langskomt 

die haar vriendelijk naar de auto helpt 

or 

en diegene haar vraag om hulp compleet negeert 

16 

Kelly loopt door het park op weg naar een feestje. Het schemert al, maar het is nog redelijk licht. Het is een warme dag geweest en er liggen nog mensen op handdoeken op het gras. Kelly pakt haar telefoon om op te zoeken waar ze precies moet

Kelly haalt alle cash eruit, 100 euro, en gooit de portemonnee weer terug op de grond, dat is mooi meegenomen.

Kelly vervolgt haar weg naar het feestje en gaat daarna nog even de kroeg in. De volgende ochtend komt ze redelijk op tijd uit bed. Gelukkig heeft ze geen kater want ze moet nog voor haar studie aan de slag 

… Kelly  is   furieus 

or 

dolblij  als ze in de email leest dat ze 

niet mag herkansen en niet kan afstuderen 

or 

een herkansing mag doen en kan afstuderen 

Page 159: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  141

zijn. Dan ziet ze vanuit haar ooghoek een portemonnee liggen. Er is niemand te bekennen en Kelly pakt de portemonnee op die vol geld blijkt te zitten.

vandaag. Ze zet de laptop aan en gaat dan eerst koffie maken. Als ze terug komt opent ze haar mail en ziet een mailtje van de studieadviseur. 

17 

Kim stapt ’s middags in de tram naar huis. Ze checkt in met haar pas en loopt door naar achter om een plaatsje te zoeken. Achter Kim stapt ook nog een vrouw in, ze loopt achter haar aan. Ze is hoogzwanger en volgt Kim verder de tram in. Kim ziet achterin nog één vrije zitplaats en stevent er op af. Voordat Kim de zitplaats bereikt begint de tram schokkend weer te rijden.

Kim aarzelt niet en stapt opzij zodat de zwangere vrouw rustig kan gaan zitten in de slingerende tram.

Eenmaal thuis neemt Kim de stapel post door. Er zit een zoveelste brief bij van de belastingdienst. Ze is al maanden bezig om haar aanslag gecorrigeerd te krijgen. De belastingdienst heeft een fout gemaakt en weigert die te herstellen. Ze hoopt dat het eindelijk is opgelost, ze heeft er genoeg van. 

… Kim  is   opgewekt 

or 

gefrustreerd 

wanneer blijkt dat haar aanslag 

nu eindelijk wel klopt 

or 

nog steeds niet klopt 

18 

David staat op de steiger op het punt om te beginnen te schuren. Het is halverwege de ochtend en het is al flink heet. Het is de derde week van deze klus en ze zijn met het laatste stuk bezig. Hij is alleen aan het werk aan deze kant, zijn collega's zijn achter bezig. Hij ziet door het raam een vrouw achter

David wil haar niet storen en wacht even tot ze klaar is en waarschuwt dan dat hij lawaai gaat maken.

Na de lunch klimt David weer de steiger op. Hij gaat verder met het schuurwerk, ondertussen is hij bij het laatste raam. Het werk is goed opgeschoten ondanks de hitte. David werkt gestaag door en al gauw is ook het laatste kozijn geschuurd. David zet de 

… David  is   chagrijnig 

or 

opgelucht  als hij ziet hoe het apparaat 

van de steiger valt en op de tegels kapot gaat 

or 

niet van de steiger valt en nog heel is 

Page 160: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

142

een bureau zitten. Haar telefoon gaat en ze neemt aan en begint een heel gesprek.

machine uit en terwijl hij zijn bezwete voorhoofd afveegt glipt de schuurmachine uit zijn vingers. 

19 

Michael gaat met zijn vrienden naar een voetbalwedstrijd. Hun club speelt uit tegen de aartsrivaal. De sfeer is gespannen, want de winnaar heeft grote kans kampioen te worden. Ze komen in een vak met medesupporters te zitten. Voor aanvang wordt er om een minuut stilte gevraagd voor een overleden speler van de tegenpartij. Het is rumoerig in het vak en ook Michaels vrienden praten en lachen.

Michael heeft weinig respect voor de tegenstander en zet luidkeels het clublied in, en de rest zingt mee.

Een week later gaat Michael op vakantie. Hij vliegt 's ochtends vroeg naar Cyprus, waar hij een week in de zon wil liggen. Op internet heeft hij een goedkoop appartementje geboekt. De foto's van het appartement waren wat onduidelijk, maar Michael kon de aanbieding niet laten gaan. Eenmaal geland op Cyprus huurt Michael een auto en rijdt naar het appartement. 

… Michael  is   verheugd 

or 

furieus  wanneer bij aankomst blijkt dat het 

nog mooier is dan gedacht en het weer schitterend is 

or 

appartement niet bestaat en hij nergens heen kan 

20 

Wendy komt wat laat aan bij een feestje van haar broer. Het is een soort housewarming. Haar broer heeft zowel vrienden en familie als collega’s uitgenodigd. Het is een flink groot feest, maar Wendy haar broer had geen zin om drie keer iets te organiseren.

Wendy schudt de man de hand alsof ze het niet doorheeft en groet hem vriendelijk, ze wil de man niet beledigen.

Later op de avond staat Wendy met wat familieleden te kletsen. Een aantal neven en een tante zijn ook aanwezig. Wendy heeft ze al een poos niet gezien en ze praat ze bij over haar leven. Wanneer Wendy even naar de wc gaat en weer 

… Wendy  is   kwaad 

or 

vrolijk  wanneer ze even later 

merkt dat ze haar belachelijk maakten 

or 

ook bij de grap wordt betrokken en meelacht 

Page 161: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  143

Wendy wordt gespot door haar broer en her en der voorgesteld. Dan stelt haar broer haar voor aan een collega die een mismaakte hand heeft.

terugkomt, treft ze iedereen lachend aan. Ze stoppen abrupt als ze er weer bij komt staan en Wendy kijkt ze vragend aan. 

21 

Laura komt pas om een uur of acht uit een vergadering. Ze is moe, maar tevreden over de uitkomst. Ze besluit naar huis te lopen omdat het een mooie zomeravond is. Eenmaal uit de drukte van het centrum is het heerlijk rustig op straat. Een paar straten van haar huis ziet Laura het portier van een auto op een kier staan. Ze kijkt rond of er iemand in de buurt is, maar er is niemand.

Laura denkt na en besluit dat ze het beste gewoon het portier kan sluiten zodat niemand de auto leeg kan halen.

De volgende ochtend staat Laura vroeg op en gaat naar haar werk. Ze is nieuwsgierig naar de uitkomst van een subsidieaanvraag die ze heeft ingediend. Bij de vergadering van gisteren heeft ze geprobeerd de laatste twijfelaars over te halen. Het leek erop dat de aanvraag ingewilligd ging worden. Laura probeert gewoon te werken terwijl ze op nieuws wacht. 

… Laura  is   trots 

or 

woedend  wanneer blijkt dat haar aanvraag 

is goedgekeurd en haar project kan starten 

or 

is afgekeurd om een enorm domme reden 

22 

Leonie gaat naar de schouwburg voor een toneelvoorstelling. Het is druk, want het is een mooi stuk en er spelen veel bekende acteurs mee. Voor de kassa staat een enorme rij, waar Leonie achter aansluit. Plots hoort Leonie iemand verderop

Leonie loopt naar voren en sluit bij haar vriend aan, een vrouw die er wat van zegt scheldt ze uit voor hoer.

Na de voorstelling loopt Leonie naar de garderobe. Ze had een jas en een paraplu meegenomen, omdat er stevige buien waren voorspeld. Bij de garderobe staat personeel dat de jassen en dergelijk ophaalt. 

… Leonie  voelt 

blijdschap 

or 

irritatie  wanneer het garderobepersoneel 

haar spullen snel vindt en ze droog thuiskomt 

or 

pas na tien minuten haar spullen vindt en ze zeiknat wordt 

Page 162: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

144

haar naam roepen. Verderop in de rij staat een vriend van Leonie naar haar te zwaaien. Hij wenkt Leonie en gebaart dat ze bij hem in de rij moet komen staan.

Leonie haalt het garderobenummer tevoorschijn dat ze had gekregen. Ze geeft het nummer aan het garderobepersoneel, dat op zoek gaat naar haar spullen. 

23 

Thomas zit in de kroeg met vrienden. Het is een mannenavondje en ze drinken er lustig op los. Thomas heeft vakantie en zijn vriendin is een week bij haar ouders. Hij mist haar wel, maar aan de andere kant is wat vrijheid ook wel fijn. Als iedereen besluit naar huis te gaan blijft Thomas nog even hangen. Hij raakt aan de praat met een mooie vrouw aan de bar die hem wel ziet zitten.

Thomas maakt een praatje met haar en merkt terloops op dat hij een vriendin heeft, en gaat later alleen naar huis.

De volgende dag sleept Thomas zich rond twee uur naar de supermarkt. Hij heeft niks meer in huis en ondanks een lichte kater toch honger. Wanneer hij uit de supermarkt komt zet hij de tassen even neer. Hij heeft gelijk maar grote boodschappen gedaan en het weegt heel wat. Wanneer hij bij zijn flat aankomt, ziet hij iemand vlak voor zich de deur openen. 

… Thomas  is   furieus 

or 

verheugd  als de man omkijkt, even wacht en 

dan de deur in zijn gezicht dicht laat vallen 

or 

de deur vriendelijk glimlachend open houdt 

24 

Nina staat 's ochtends vroeg op en komt gelijk in actie. Ze gaat vandaag weer naar huis en ze wil nog winkelen voor ze vliegt. Ze heeft in het huis van vrienden van vrienden gezeten. Ze kent ze verder niet, maar ze hebben haar gratis laten logeren.

Nina besluit dat winkelen minder belangrijk is en laat een electricien komen die ze vervolgens zelf betaalt.

Later die dag rent Nina beladen met al haar bagage naar de trein. Ze springt net op tijd in de trein richting het vliegveld. De trein vertrekt op tijd maar tien minuten later staan ze ineens stil tussen de weilanden. 

… Nina  is   opgelucht 

or 

verbolgen  als ze aankomt op het vliegveld en 

blijkt dat haar vlucht ook vertraagd is 

or 

blijkt dat ze te laat is om nog te boarden 

Page 163: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  145

Nina komt de keuken binnen en trekt de koelkast open. Het lampje springt niet aan en Nina komt er achter dat er een stop is gesprongen.

Nina begint zich zorgen te maken dat ze te laat gaat komen. Een uur later dan gepland komt de trein eindelijk aan op Schiphol. 

25 

Koen rijdt met de auto door de binnenstad. Het is druk op de weg en er komt een onoverzichtelijke kruising aan. Fietsers en auto's moeten hier de trambaan over vanwege werkzaamheden. Een oudere man op de fiets wankelt onzeker de trambaan op. Het is duidelijk dat de man in de war is en niet goed weet wat hij moet doen. De man komt bijna volledig tot stilstand recht voor Koen zijn auto.

Koen stapt uit om de man veilig naar de overkant te loodsen, terwijl hij de toeterende auto's tot stilte maant.

Drie straten verder slaat Koen rechstaf richting zijn appartement. Hij parkeert een straat verderop waar bijna altijd wel plaats is. Koen zet de motor af en graait zijn tas van de achterbank. Nadat Koen de auto op slot heeft gedaan zwaait hij zijn tas over zijn schouder. Bij de entree van zijn gebouw ziet hij vanuit zijn ooghoek iemand aan komen lopen. 

… Koen  is   uitzinnnig 

or 

laaiend  wanneer de jongen op hem afloopt 

en zijn sleutels gevonden blijkt te hebben 

or 

ineens Koens tas grijpt en hard wegrent 

26 

Cynthia is op het werk de penningmeester van de personeelsvereniging. Het is een initiatief van en voor werknemers en ze organiseren af en toe gezellige uitjes. Daarnaast verwelkomen ze nieuwe collega's met een cadeautje. Eén keer per jaar innen ze daarvoor vrijwillig contributie van

Cynthia koopt zich die middag een nieuwe winterjas van het geld, er is toch niemand die haar controleert.

De week daarop moet Cynthia naar de dokter. Ze is al een poosje erg vermoeid en heeft weinig eetlust. Ze heeft daarom vorige week bij de dokter bloed laten prikken. De doktersassistente belde gisteren dat ze de volgende ochtend 

… Cynthia  is   kwaad 

or 

opgelucht  als uiteindelijk blijkt dat 

de resultaten zoek zijn en ze opnieuw moet  

or 

de resultaten goed zijn, ze is kerngezond 

Page 164: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

146

iedereen. Cynthia heeft vorige week een mailtje uitgestuurd met het verzoek te betalen. Ondertussen heeft bijna iedereen het geld overgemaakt.

langs moest komen. Het is standaard procedure dit soort nieuws niet aan de telefoon te vertellen, maar ze is toch nerveus. 

27 

Frank loopt richting de ingang van het strandpaviljoen. Hij heeft met vrienden afgesproken, maar is aan de vroege kant. Frank loopt blootsvoets over het zand door de branding. Ter hoogte van het paviljoen begint hij aan de klim het strand op. De eerste trede van de trap naar boven is vrij hoog boven het zand. De stap is zo groot dat een jochie van een jaar of vier de trede niet op komt.

Frank hurkt bij het kind neer en helpt hem de trede op en neemt rustig de tijd om hem verder omhoog te helpen.

Frank zoekt binnen een tafel waar iedereen kan zitten en bestelt alvast wat te drinken. Een half uurtje later is iedereen aanwezig en bestellen ze wat te eten. Frank bestelt een biefstuk, medium rare met friet. Wanneer de biefstuk arriveert, blijkt hij bijna well‐done te zijn. Frank roept de ober terug om het probleem uit te leggen en laat de biefstuk zien. 

… Frank  is   ziedend 

or 

blij  als de ober reageert op een 

boze manier en net doet of hij zeurt 

or 

vriendelijke en correcte manier 

28 

Remco zit in de auto, op weg naar zijn moeder. Hij is de stad nog niet uit en het spoelt van de regen. Het regent onophoudelijk sinds gistermiddag en er hebben zich flinke plassen gevormd. Op sommige plekken staat de straat volledig blank. Er zijn weinig auto's

Remco geeft extra gas om een zo groot mogelijke golf water te creëren, de wandelaar wordt zeiknat gespetterd.

Eenmaal buiten de stad schiet het lekker op op de snelweg. Het blijft rustig op de weg en Remco geniet van het landschap en de rit. Hij heeft de radio hard aan staan en zingt luidkeels mee. Wanneer hij naar het dashboard kijkt om de 

… Remco  is   gefrustreerd 

or 

verheugd  als hij na een paar minuten rijden 

geen bezine meer heeft en stil komt te staan 

or 

een bezinestation ziet en hij kan tanken 

Page 165: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  147

en al helemaal weinig fietsers en voetgangers op straat. Remco stevent op een gigantische plas af en ziet iemand op de stoep lopen.

zender bij te stellen ziet hij een lampje. Hij is vergeten te tanken en de benzine was al heel lang echt bijna op. 

29 

Maarten is als enige van zijn team op werkbezoek in het buitenland. De bedoeling is om een kijkje te nemen bij een vergelijkbaar team op het hoofdkantoor. Maarten weet dat dit team op hun projecten uit is. Ze willen maar wat graag dat Maartens afdeling moet sluiten. De teamleider van het rivaliserende team wil een één op één gesprek met Maarten. Hij nodigt Maarten uit om bij hen te komen werken als hij zijn team saboteert.

Maarten denkt alleen maar aan zichzelf en stemt meteen toe, hij hoort toch liever bij het winnende team.

Later die week vliegt Maarten terug naar huis. Het is een lange vlucht en hij heeft onderweg veel om over na te denken. Als het vliegtuig eindelijk landt wacht hij ongeduldig op zijn bagage. Het is hartstikke vroeg en hij wil zijn vrouw verrassen met een ontbijt op bed. Onderweg naar huis koopt hij allerlei lekkere dingen en gaat dan snel door naar huis. 

… Maarten   voelt 

razernij 

or 

blijdschap  als hij eenmaal thuiskomt 

en zijn vrouw met ander in bed aantreft 

or 

en ze samen een romantische ochtend hebben 

30 

Jordy loopt over het strand terug naar zijn handdoek. Onderweg komt hij langs een kraampje dat friet en dergelijke verkoopt. Het is er niet druk, het is überhaupt niet druk vandaag. Ondanks dat het een mooie dag is, is er maar een tiental mensen.

Jordy blijft staan, lacht haar vierkant uit om haar gestuntel en loopt dan nog steeds geamuseerd door.

Jordy gaat nog een stukje zwemmen in de aanzienlijke golfslag. Daarna gaat hij liggen drogen in de zon en leest zijn boek. Hij gaat helemaal op in het verhaal en de tijd verstrijkt. Op een gegeven 

… Jordy  is   pissig 

or 

blij  als de buschauffeur hem ziet 

en gewoon doorrijdt en hem daar laat staan 

or 

en vriendelijk even wacht zodat hij mee kan 

Page 166: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

148

Jordy loopt voorbij een meisje met een mitella dat probeert een flesje cola te openen. Het wil niet echt lukken met één hand en ze kijkt gefrustreerd.

moment bedenkt hij zich dat de laatste bus vrij vroeg gaat op zondag. Hij checkt hoe laat het is en bedenkt zich dat hij zal moeten opschieten om de bus te halen. 

31 

Ruben zit op de bank met zijn laptop op schoot wanneer de bel gaat. Hij zet de laptop op de bank naast zich en staat op. Het is een pakketje voor iemand anders in het gebouw. Ruben neemt het aan en ziet op de pakbon staan dat het een geluidsinstallatie is. Ruben gaat weer verder met waar hij mee bezig was. Later die dag gaat de deurbel en het is de buurvrouw die haar pakketje komt halen.

Ruben doet net of hij geen pakje heeft en houdt stug vol tot ze weg gaat, de stereo zet hij in zijn slaapkamer.

De volgende dag is Ruben onderweg naar huis van de supermarkt. Hij heeft twee volle en zware tassen boodschappen. Bij de stoplichten zet hij de tassen naast zich neer en wacht op groen. Wanneer het groen wordt pakt hij de tassen op en haast zich naar de overkant. Bijna aan de overkant struikelt Ruben over de stoeprand en valt tegen de man voor hem aan. 

… Ruben  wordt 

witheet 

or 

vrolijk  wanneer de man voor hem 

hem een duw geeft en hij dus keihard valt 

or 

hem vriendelijk helpt overeind te blijven 

32 

Dennis stapt de lift in in het ziekenhuis. De vrouw van zijn broer is gisteren bevallen en hij gaat op kraamvisite. Hij heeft een grote knuffel onder zijn arm en een bos bloemen. Hij stapt op de begane grond in en moet op de vijfde verdieping

Dennis groet haar vriendelijk en maakt een praatje met haar voordat hij op de vijfde verdieping uitstapt.

Wanneer hij eenmaal zijn jongste neefje heeft bekeken gaat Dennis weer. Hij is met de bus, die stopt vlak bij hem voor de deur. Hij is binnen een half uurtje thuis en maakt wat te eten. In de keuken ziet hij op het bord zijn to‐do 

… Dennis  is   kwaad 

or 

dankbaar  als hij de tuin inkijkt en ziet dat 

de buren hun tuinafval in zijn tuin hebben gegooid 

or 

de buurman al het werk voor hem heeft gedaan 

Page 167: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  149

zijn. Op de derde verdieping stopt de lift en stapt een vrouw in. De vrouw is kaal en mager, ze heeft wallen onder haar ogen en een grauwe huid.

lijstje en herinnert zich dat de tuin een wildernis is. Hij werpt een snelle blik naar buiten om te zien hoe erg het is. 

33 

Saskia is vrijwilliger bij een grote manege en vandaag hebben ze open dag. Vanuit de hele omgeving komen ouders en vooral kinderen naar de manege. Er worden rijlessen en workshops over paardenverzorging gegeven. Saskia heeft de hele ochtend workshops gegeven.‘s Middags laat ze jonge kinderen ritjes maken in de bak. Wanneer Saskia zich omdraait naar het volgende kind ziet ze meteen dat het downsyndroom heeft.

Saskia doet extra haar best om het meisje een mooie tijd te geven en ze straalt van geluk op het paard.

De volgende ochtend is Saskia vroeg op haar normale werk. Ze werkt bij een groot accountantsbedrijf. Ze moet om 9:00 bij de baas komen en ze weet niet precies waarvoor. Ze heeft er slecht van geslapen vannacht terwijl ze probeerde te verzinnen waar het over zal gaan. Wanneer het eenmaal negen uur is en Saskia bij de baas zit, steekt hij gelijk van wal. 

… Saskia  is   laaiend 

or 

uitzinnig  wanneer de baas in het gesprek 

haar onterecht dingen aanrekent en ontslaat 

or 

vertelt dat ze promotie krijgt en opslag 

34 

Tim loopt 's middags door de supermarkt. Op zijn lijstje staat van alles om zelf een verjaardagstaart te maken. Wanneer hij alles heeft gevonden gaat hij naar de kassa. Voor hem in het gangpad loopt een oudere vrouw. Ze is duidelijk ook

Tim houdt netjes zijn pas in en laat de oude dame voor gaan in de rij, hij heeft tenslotte geen haast.

Later die dag is hij bezig de taart te bakken, hij staat in de oven. Hij viert vandaag zijn verjaardag en heeft iedereen eigengemaakte taart beloofd. Tim staat niet bepaald bekend om zijn 

… Tim  is   blij 

or 

geïrriteerd  wanneer de cake uiteindelijk 

perfect uit de oven komt 

or 

aangebrand uit de oven komt 

Page 168: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

150

onderweg naar de kassa, maar ze loopt minder snel dan Tim. Het gangpad is niet zo heel breed en er komt iemand van de andere kant aanlopen.

culinaire hoogstandjes. Een aantal van zijn vrienden en familie reageerde dan ook nogal sceptisch. Het is nu een kwestie van eer geworden dat deze taart goed lukt. 

35 

Joris loopt 's ochtend over de markt richting station. Hij heeft zijn oordopjes in en luistert naar muziek. De marktkooplui zijn in de weer met het opbouwen van hun kramen. De klinkers zijn wit uitgeslagen van de vorst van vannacht. Een man passeert voor Joris met een stapel kisten vol mandarijnen in zijn armen. De bovenste wankelt wat en even later ligt de straat bezaaid met mandarijnen.

Joris stopt en helpt de man gauw met het oprapen van de mandarijnen en maakt ondertussen een praatje.

Later die ochtend komt Joris terug van de lunch. Hij gaat weer achter zijn bureau zitten en kijkt naar zijn lijstje met taken voor vandaag. Hij is lekker opgeschoten vanochtend, maar kan nu eigenlijk niet verder. Hij wacht op bericht van een afdeling in het buitenland. Hij heeft ze gemaild of ze op willen schieten omdat hij niet verder kan zonder de info. 

… Joris  is   woest 

or 

blij  als hij een mailtje krijgt met daarin 

informatie die hij 3 maanden geleden nodig had 

or 

eindelijk het verlossende woord 

36 

Mark rent snel terug richting het eigen doel na de gefaalde aanval. De tegenstander heeft net de bal terugveroverd. Zijn team heeft moeite met terugschakelen naar verdedigen. Over de flank krijgt de spits van de

Mark trekt zijn been gauw in omdat hij niemand wil verwonden, ook al kan daardoor de aanval wel doorgaan.

De bal komt bij de keeper terecht en die speelt Mark aan. Mark neemt de bal aan en begint een soloactie langs de lijn. Hij passeert twee man en een derde komt veel te laat aanrennen. Mark trekt naar binnen 

… Mark  is   trots 

or 

boos  als hij aanlegt om te schieten 

en de keeper passeert en scoort 

or 

en hij keihard onderuit wordt gehaald 

Page 169: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  151

tegenstander een geweldige lange pass. Mark sprint om hem af te snijden op weg naar het doel. Mark zet een tackle in en beseft zich meteen dat hij veel te hard in heeft gezet.

richting de zestien meter van de tegenstander. Zijn teamgenoten zijn nog niet mee naar voren en dus legt Mark zelf aan om uit te halen. 

37 

Myrthe krijgt haar schoonouders vanavond op bezoek en ze blijven eten. Ze wil indruk op hen maken met haar kookkunsten. Ze heeft alleen nog niks in huis en rijdt daarom naar de supermarkt. Myrthe parkeert haar auto op de parkeerplaats en loopt naar de ingang van de supermarkt. Bij de ingang staat een man die overduidelijk dakloos is. De man loopt op Myrthe af en vraagt om wat kleingeld.

Myrthe spuugt naar de man, geeft hem een duw, en sist hem toe 'kruip terug in een hoekje vieze mongool'.

Wanneer Myrthe de boodschappen heeft gekocht, rijdt ze weer naar huis. Thuis aangekomen loopt ze met haar boodschappen naar de voordeur. Myrthe kan haar voordeursleutel niet vinden. Op dat moment bedenkt ze zich dat ze zonder sleutel de deur achter zich dicht heeft gedaan. Snel loopt ze naar het huis van haar buren, die een reservesleutel hebben. 

… Myrthe  is   opgelucht 

or 

getergd  als ze bij de buren aanbelt en 

die thuis blijken te zijn in ze dus haar huis in kan 

or 

die op vakantie zijn en ze een slotenmaker moet bellen 

38 

Bram is op stap met een groepje vrienden. Ze kennen elkaar nog van hun studietijd en spreken af en toe af. Bram heeft al een aantal biertjes op en de rest heeft hem ook aardig zitten. Op een gegeven moment besluiten ze naar de volgende kroeg te

Bram blijft kalm en springt er tussen, hij dwingt zijn vriend excuus te maken voordat de boel kan escaleren.

Daarna is de avond snel afgelopen en gaat Bram naar zijn fiets. Zijn fiets staat helemaal aan de andere kant van het centrum. Het is ondertussen drie uur geweest en hij wil niets liever dan slapen. Het schiet Bram 

… Bram  is   gelukkig 

or 

razend  als hij aankomt waar hij zijn fiets had staan 

en ziet dat deze er gewoon nog staat 

or 

en hij echt gejat is en hij naar huis kan lopen 

Page 170: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

152

gaan. Voor de ingang van de kroeg staat een groepje kerels te roken. Één van Bram zijn vrienden loopt op ze af en begint ruzie te zoeken.

ineens te binnen dat hij zijn fiets helemaal niet op slot heeft gezet. Hij graaft in zijn zakken en kan de sleutel nergens vinden. 

39 

Kevin loopt 's avonds naar het huis van zijn ouders. Hij is bij een vriend geweest die hij niet had gezien sinds hij is verhuisd. Het is schemerig en het is een eind lopen, maar dat vindt Kevin niet erg. Het is fijn om weer door bekende straten te slenteren. Verderop ziet Kevin een gedaante op vier poten uit de bosjes komen. Het is een gewonde hond die zacht jankt en naar hem toe loopt.

Kevin belt gauw de dierenambulance en aait het beestje en stelt hem gerust terwijl hij op de ambulance wacht.

Eenmaal thuis na het incident met de hond gaat Kevin direct naar bed. De volgende dag staat hij vroeg op om nog wat mensen op te zoeken. Hij leent de auto van zijn ouders omdat sommigen buiten de stad wonen. Halverwege, midden tussen de weilanden, houdt de motor er mee op. Na 20 minuten wachten langs de weg komt er eindelijk een andere auto aan. 

… Kevin  is   uitgelaten 

or 

pissig  wanneer de andere automobilist 

stopt en zijn auto kan repareren 

or 

wel langzamer gaat rijden, maar niet stopt 

40 

Anouk zit alvast in de vergaderruimte waar ze straks overleg heeft. Ze neemt de documenten die ze heeft voorbereid nog eens door. In de excel sheets van de begroting spot ze ineens een grove fout. Deze fout betekent dat het project veel meer gaat kosten dan ze had gezegd. Anouk heeft weinig zin

Anouk besluit de schuld te geven aan een medewerker onder haar die waarschijnlijk toch ontslagen gaat worden.

De vergadering verloopt verder prima en Anouk gaat door met haar dag. Tegen een uur of acht is ze thuis en haalt de post op. Eenmaal binnen ziet ze een brief van het elektriciteitsbedrijf. Het is de jaarafrekening en dat was vorig jaar een dure grap. Anouk heeft 

… Anouk  is   driftig 

or 

opgetogen 

als uit de brief blijkt dat ze 

wederom een groot bedrag moet bijbetalen 

or 

dit jaar zelf een fiks bedrag terugkrijgt 

Page 171: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  153

om dit op te moeten biechten. Voordat ze echt na heeft kunnen denken komen haar bazen binnen.

toen het voorschot bij laten stellen en hopelijk hoeft ze nu niet bij te betalen. 

41 

Jesse komt 's middags rond half vier aanrijden bij de school. Hij parkeert in de rij wachtende ouders. Er zijn nog geen kinderen op het plein en hij wacht rustig. Hij is zo verzonken in gedachten dat hij niet merkt dat de kinderen naar buiten komen. Hij is dan ook verrast wanneer zijn dochtertje plots achterin klimt. Ze heeft een tekening gemaakt die ze vol trots laat zien en aan hem wil geven.

Jesse wijst haar erop dat ze nog steeds slordig en buiten de lijntjes kleurt en dat ze beter haar best moet doen.

Later die avond als zijn dochtertje al op bed ligt kijkt Jesse voetbal. Hij heeft geld gezet op de uitkomst van deze wedstrijd. Het was een flink bedrag en hij wil graag winnen, want hij kon het geld eigenlijk niet missen. Vlak voor tijd staat het 1‐1 en hij heeft geld gezet op 2‐1 winst. Hij kijkt gespannen toe hoe zijn team een laatste aanval inzet. 

… Jesse  is   woest 

or 

uitgelaten  wanneer vlak voor het einde 

de tegenpartij scoort en hij zijn geld kwijt is 

or 

zijn team scoort en hij dus 300 euro wint 

42 

Inge zit 's middags in de trein op weg naar Groningen. Het is ontzettend rustig in de trein sinds Zwolle. Er zitten naast Inge maar vier mensen in de hele coupé. Er zit een man in de vierzits aan de overzijde van het gangpad een boek te lezen. Wanneer de trein weer

Inge springt gauw overeind en weet de man nog net voordat de deuren sluiten zijn tas te overhandigen.

Eenmaal in Groningen aangekomen pakt Inge de bus richting Oranjewijk. Ze logeert bij een vriendin en ze gaan naar een concert in de Oosterpoort vandaag. De bus doet er iets langer over dan normaal, maar Inge heeft geen haast. Ze stapt uit en 

… Inge  voelt 

vreugde 

or 

woede  wanneer ze te horen krijgt  

dat haar bod op een huis is geaccepteerd 

or 

dat er bij haar is ingebroken en alles weg is 

Page 172: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

154

stopt staat de man op om uit te stappen. Ineens ziet Inge dat de man een tas onder de bank heeft laten staan.

loopt de laatste vijf minuten naar haar huis. Vlak voor ze aanbelt, gaat haar telefoon en ze neemt op. 

43 

Julia zit op haar plek achter de receptie, de telefoon staat roodgloeiend. Ze handelt het ene na het andere telefoontje af. Voordat Julia het weet is de ochtend alweer voorbij. Na de lunch is het iets minder druk. Dan gaat de telefoon weer, het is iemand voor de man van accounting. De accountant heeft de laatste tijd steken laten vallen en ook nu belt er iemand met een probleem.

Julia geeft de boodschap lekker niet door en geniet wanneer de man daardoor in problemen komt en ontslagen wordt.

Later die week is Julia aan het winkelen. Ze zoekt een specifiek computerspelletje voor de verjaardag van haar broertje. Ze heeft hem beloofd dat hij deze morgen voor zijn verjaardag krijgt. Julia heeft echter weinig tijd gehad om te winkelen de laatste tijd. Eindelijk vind ze één kopie van het spelletje, maar een andere klant ziet hem tegelijkertijd. 

… Julia  is   geïrriteerd 

or 

vrolijk  als de andere klant het spelletje 

snel afrekent en haar compleet negeert 

or 

aan haar geeft zodat ze haar cadeau heeft 

44 

Larissa is lerares op een basisschool. Ze geeft les aan de bovenbouw, groep vijf en zes. Op een woensdagochtend heeft ze pleinwacht tijdens de pauze. Ze loopt grote rondes over het plein en houdt alles goed in de gaten. Af en toe spreekt ze een leerling aan, maar verder

Larissa wil ze tot de orde roepen, maar ziet dan dat het een moslimvrouw is en laat ze lekker hun gang gaan.

Later die week gaat Larissa naar de bank voor een afspraak. Ze wil haar hypotheek oversluiten en snapt niet veel van financiën, dus wil ze persoonlijk advies. Ze loopt de bank binnen en gaat naar de balie om zich te melden. De receptionist

… Larissa  is   gerustgesteld 

or 

laaiend   als ze twee uur later naar buiten loopt 

met een nieuwe en zeer gunstige hypotheek 

or 

zonder resultaat omdat ze haar afspraak waren vergeten 

Page 173: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  155

is het rustig. Dan ziet ze een stel leerlingen uit groep 8 aan de rand van het plein rommel staan gooien naar een vrouw die langsloopt.

e zegt haar plaats te nemen, ze komen haar zo halen. Larissa gaat zitten en leest een tijdschrift terwijl ze rustig wacht. 

45 

Hendrik zit 's ochtends al vroeg op het kantoor. Hij is druk bezig met het tentamen schrijven dat zijn studenten volgende week moeten maken. Terwijl hij daar mee bezig is wordt er op de deur geklopt. Het is één van de studentes uit zijn werkgroep, een knappe verschijning. Het is al gauw duidelijk dat ze probeert Hendrik te verleiden om haar het tentamen in te laten zien. Ze zinspeelt op hoe dankbaar ze zou zijn.

Hendrik maakt misbruik van de situatie en belooft haar het tentamen als ze vanavond bij hem thuis komt.

Later die dag moet Hendrik college geven in een gebouw buiten de binnenstad. Hij pakt de fiets daarheen en trapt stevig door. Op een gegeven moment fietst hij op een drukke kruising af en stopt hij voor het licht. Even later springt het op groen en Hendrik steekt over. Halverwege de kruising vliegt de ketting er ineens af en staat hij midden op de kruising stil. 

… Hendrik  is   dankbaar 

or 

getergd  als de auto's die nu groen hebben 

rustig wachten en hem vriendelijk de tijd geven 

or 

ongeduldig beginnen te toeteren en optrekken 

46 

Eva loopt snel over het plein richting het station. Ze gaat vandaag naar Haarlem voor een sollicitatiegesprek. Ze heeft zich goed voorbereid en is ruim op tijd van huis gegaan. Vlakbij de ingang naar de stationshal staat een zwerver te bedelen.

Eva vist wat muntgeld op en gooit dit in het bekertje van de zwerver, ze geeft altijd wat ze kan missen.

Ze loopt snel door en kijkt op het bord welk spoor ze moet hebben. Ze ziet dat er over 2 minuten een trein gaat en zet het op een rennen. Als ze deze trein kan halen, dan komt ze sowieso op tijd. Het is druk in de tunnel naar de sporen 

… Eva  is   dankbaar 

or 

woedend  als de conducteur haar ziet rennen 

en vriendelijk even op haar wacht 

or 

de deuren expres voor haar neus sluit 

Page 174: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

156

Wanneer Eva langsloopt, houdt hij een papieren bekertje omhoog met wat kleingeld erin. De man kijkt hoopvol hoe Eva in haar broekzak graaft.

en Eva moet steeds uitwijken. Eindelijk bereikt ze de trap en sprint met drie treden per keer naar boven.  

47 

Wouter werkt op de marketingafdeling van een groot bedrijf. Op dezelfde afdeling werkt zijn beste vriend. Ze werken al jaren heel veel samen en ze zijn een hecht team. Op een ochtend wordt Wouters vriend naar het kantoor van de baas geroepen. Wouter weet niet waar het over gaat, maar hij is wel nieuwsgierig. Later die dag hoort Wouter dat zijn vriend een promotie heeft gekregen en hij niet.

Wouter besluit de vriendschap te beëindigen en verspreidt een roddel dat hij geld zou hebben gestolen.

Later die week heeft Wouter een zeldzame vrije dag. Hij besluit de meubelzaken bij langs te gaan voor nieuwe meubels. Bij IKEA ziet hij een leuke garderobekast, die perfect past in zijn slaapkamer. Wouter aarzelt geen moment en koopt de kast meteen en gaat weer richting huis. Wouter begint thuis meteen enthousiast het bouwpakket in elkaar te zetten. 

… Wouter  is   tevreden 

or 

woedend  als bij het monteren blijkt 

dat de kast perfect past waar hij hem wilde 

or 

dat de planken scheef zijn en er dingen ontbreken 

48 

Elise zit in de bus op weg naar de film. Ze heeft haar oordopjes in en zoekt de filmtijden nog eens op. De bus is halverwege en ze sms't haar vrienden dat ze eraan komt. Elise verandert de muziek naar iets stevigers en zet het harder. Er zitten weinig mensen in de bus behalve

Elise verontschuldigt zich en zet haar muziek meteen zachter, vervolgens wenst ze de dames nog een fijne dag.

Twee haltes verder stapt Elise uit en loopt richting bioscoop. Bij de ingang ontmoet ze haar vrienden en ze gaan gauw naar de zaal. Na de film gaan ze nog even gezellig wat drinken. Elise bestelt een biertje, maar bedenkt zich later en loopt naar 

… Elise  wordt 

chagrijnig 

or 

vrolijk  als de serveerster reageert 

op een norse manier en haar boos aankijkt 

or 

op een vriendelijke manier en ze kletsen wat 

Page 175: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  157

twee oudere dames voor haar. Eén van hen draait zich om om te zeggen dat haar muziek wel heel hard staat.

de bar om iets anders te bestellen. Ze zegt tegen de serveerster dat ze toch liever een witte wijn heeft. 

49 

Tom loopt naar huis van de supermarkt aan de overkant van de straat. Hij heeft één tas met boodschappen, maar die weegt niet zoveel. Met zijn vrije hand opent hij de zware portiekdeur van de flat. Achter hem loopt een vrouw met twee tassen, ze heeft moeite met het gewicht. Tom herkent haar en weet dat ze ook de flat in moet. Hij stopt even in de deuropening en denkt na wat te doen.

Hij wacht rustig tot ze er is en houdt de deur vriendelijk voor haar open, wat ze zichtbaar op prijs stelt.

Later die dag wil Tom een afspraak maken bij de dokter. Hij zoekt het nummer op en pakt de telefoon. Hij wil al een hele tijd een afspraak maken vanwege een zere knie. Tom is echter zo druk dat hij vaak geen zin heeft om te bellen, het wachten duurt altijd zo lang. Hij moet eigenlijk al weer de deur uit, maar wil toch even snel bellen. 

… Tom  is   verrast 

or 

pissig  wanneer de telefoon over gaat 

en hij gelijk de assistente krijgt 

or 

en hij de 15de wachtende blijkt te zijn 

50 

Niels is 's ochtends vroeg als eerste op kantoor. Het is verder muisstil op de afdeling. Na een half uurtje heeft Niels al flink wat werk verzet, dit is zijn favoriete deel van de dag. Hij legt de laatste hand aan een document en streept hem van zijn lijstje. Vervolgens gaat hij koffie halen en komt de eerste

Niels zegt goedemorgen en merkt op dat het dieet niet lijkt te helpen, misschien minder suiker in de koffie?

Niels werkt rustig door tot de lunch en daarna heeft hij een vergadering. Zijn team presenteert vandaag de resultaten van een project. Het project is een enorm succes geworden voor het bedrijf. Niels presenteert vandaag zelf niet, maar hij weet dat hij een integraal onderdeel 

… Niels  voelt  

razernij 

or 

blijdschap  wanneer zijn manager in de meeting 

liegt en alle eer voorzichzelf opstrijkt 

or 

hem prijst voor zijn originaliteit en inzet 

Page 176: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

158

collega tegen. Niels kent haar vaag en weet toevallig dat ze sinds kort op dieet is.

van dit succes is. De belangrijkste ideeën voor het nieuwe programma kwamen van hem. 

51 

Mike is op weg naar de sportschool op een doordeweekse avond. Het begint net wat te schemeren en het regent gestaag. Hij steekt over bij de stoplichten en gaat de hoek om. Aan het eind van de straat ziet hij mensen in en uit lopen bij de sportschool. Aan de overkant van de straat fietst een oudere vrouw de andere kant op. Mike ziet hoe ze plots begint te slingeren en met fiets en al omvalt.

Mike bedenkt zich niet en rent er naar toe en helpt haar overeind, ze mankeert niks maar is blij met de hulp.

Eenmaal in de sportschool kleedt Mike zich om. Dan loopt hij snel naar de loopbanden, waar het altijd druk is. De loopbanden staan boven en halverwege de trap ziet hij dat zijn veter los zit. Hij bukt zich om deze te strikken en haast zich dan verder naar boven. Hij ziet dat er nog eentje vrij is, maar een andere man loopt ook op de band af. 

… Mike  is   dankbaar 

or 

gepikeerd  wanneer de man die ook wil rennen 

hem vriendelijk voor laat gaan 

or 

net voor hem op de band springt 

52 

Rianne loopt door het bos met de hond. Het is zaterdagmiddag en er schijnt een waterig zonnetje. Terwijl de hond druk bezig is met snuffelen belt Rianne met een vriendin. Ze hebben elkaar al een poosje niet gesproken en praten bij. Rianne doet een verhaal uit de doeken over een dronken avond op zakenreis.

Rianne gaat gelijk zachter praten en hangt snel op, ze knikt de rouwers toe bij wijze van groet en excuus.

Later die dag bedenkt Rianne zich dat ze wel zin heeft om wat te doen die avond. Ze is al een hele poos niet meer op stap geweest. Ze stuurt een berichtje op de groepsapp van een groep vrienden van het volleyballen. Ondertussen gaat Rianne 

… Rianne  wordt 

woest 

or 

vrolijk  als ze leest dat iedereen 

zegt niet te kunnen terwijl ze weet dat ze wel uitgaan 

or 

enthousiast is en ze een leuke avond heeft 

Page 177: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  159

Rianne merkt ineens dat ze langs het kerkhof loopt en dat een groep rouwers bij een nieuw graf staat.

alvast iets te eten klaar maken. Tijdens het eten checkt ze haar telefoon en leest de reacties van iedereen. 

53 

Bart stapt uit de auto en loopt richting het uitvaartcentrum. Hij is hier met een paar andere mensen van het werk voor de uitvaart van een collega. Hij kende de man niet goed, maar sommigen van zijn collega's waren wel close. Hij zoekt samen met zijn collega's een plekje achterin. De dienst begint en na het eerste nummer spreekt zijn vrouw. Een collega van Bart begint zachtjes te huilen.

Bart slaat een arm om haar heen om haar te troosten en haar steun te bieden, wat ze duidelijk op prijs stelt.

Een week later heeft Bart een belangrijke afspraak met zijn manager.Het is een vervroegd kwartaalgesprek om zijn functioneren te evalueren. Bart heeft geen redenen om te denken dat zijn manager iets te klagen zou hebben. Maar zo'n gesprek is toch altijd spannend en stressvol. Als ze eenmaal zitten en de beleefdheden hebben gehad, steekt zijn manager van wal. 

… Bart  is   opgelucht 

or 

furieus  wanneer zijn manager hem vertelt 

dat hij een promotie en opslag krijgt 

or 

dat hij per direct ontslag krijgt 

54 

Sander werkt bij een groot softwarebedrijf. De directeur van het bedrijf is kort geleden met pensioen gegaan. Sander zit in de sollicitatiecommissie om een geschikte nieuwe directeur te vinden. De eerste brieven en cv's van kandidaten

Sander denkt dat het goed zou zijn om een vrouw aan het roer te hebben, en hij zet de vrouwelijke kandidaten gewoon op de lijst.

Wanneer Sander klaar is met werken rijdt hij het half uurtje naar huis. Eenmaal thuis besluit hij een eindje te gaan hardlopen. Hij trekt zijn hardloopkleding aan en loopt zijn huis uit. Na wat warming‐up en rekken en strekken gaat hij op 

… Sander  wordt 

boos 

or 

blij  als het groepje jongeren 

expres de weg blijft blokkeren en lacht 

or 

gauw aan de kant gaat zodat hij door kan lopen 

Page 178: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

160

zijn binnengekomen. Sander print de documenten uit en maakt een overzicht van alle kandidaten. Het valt hem op dat er veel vrouwelijke kandidaten zijn.

pad. Na een half uurtje stevig lopen komt Sander bij een smalle straat waar een groepje jongeren de weg blokkeert. 

55 

Tamara is eigenaar van een koffiezaak. Ze heeft vandaag een aantal sollicitatiegesprekken. Het gaat voornamelijk om tijdelijke krachten die in de vakantieperiode bijspringen. Toch moet ze ook die zorgvuldig selecteren. De eerste drie kandidaten zijn niet super geschikt op het eerste gezicht. Tamara is verbaasd als de volgende een enigszins ruig uitziende Turkse jongen blijkt te zijn.

Tamara interviewt de jongen en uiteindelijk blijkt hij de meest geschikte kandidaat en krijgt de baan.

Aan het einde van de dag is Tamara met het schoonmaakwerk bezig. De balie is schoon en de vloer is geveegd, maar nog niet gedweild. Er zit nog één klant in de hoek en ze zijn officieel nog open. Tamara wacht daarom met dweilen en vult de suikerpotten bij. Tamara loopt met een zwaar dienblad vol suikerpotten als de laatste klant vol tegen haar op botst. 

… Tamara  wordt 

furieus 

or 

blij  als de klant die haar aanstootte 

geen sorry zegt en zelfs geamuseerd omkijkt 

or 

aardig blijkt te zijn en helpt op te ruimen 

56 

Thijs stapt snel op de fiets om nog iets te halen in de stad. Hij fietst de straat uit en richting centrum. Hij zet zijn fiets op slot tegen een paal bij het gemeentehuis. Hij hoeft maar één ding te halen en neemt verder niet de tijd om rond te kijken. Hij

Thijs duwt haar zowat omver wanneer hij zich langs haar wurmt, 'aan de kant, lelijke mongool' bijt hij haar toe.

Thijs vervolgt zijn weg naar de winkel en koopt snel wat hij nodig heeft. Daarna baant hij zich zo snel mogelijk een weg terug door de binnenstad. Halverwege voelt hij ineens een zachte aanraking. Hij voelt in 

… Thijs  is   ziedend 

or 

blij  als hij ziet hoe de omstanders 

domweg opzij gaan en de dief ontsnapt 

or 

de dief grijpen voordat deze weg kan komen 

Page 179: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  161

slalomt door de mensenmassa heen en schiet lekker op. Ineens staat hij vlak voor een gehandicapte jonge vrouw met een rollator.

zijn zak, merkt dat zijn portemonnee weg is en ziet ineens iemand snel weglopen. Thijs schreeuwt dat hij bestolen is en de dief zet het op een hollen. 

57 

Jeroen is twee weken op vakantie in Italië. Hij heeft een groot deel van de eerste week aan het strand doorgebracht. De tweede week wil hij iets meer cultuur opsnuiven. Vandaag heeft hij de trein genomen naar een oud stadje vlakbij. Er schijnt een heel mooie en oude kerk te staan. Wanneer hij in zijn hemd de kerk wil binnenlopen, wijst iemand hem op een bord met kledingvoorschriften.

Jeroen verontschuldigt zich uitvoerig en haalt een shirt met lange mouwen uit zijn tas en trekt dit snel aan.

Jeroen gaat op het terras zitten bij het enige restaurant dat hij heeft gezien. Hij spreekt geen Italiaans en hoopt dat ze Engels spreken. Hij probeert uit te puzzelen wat er op de kaart staat, hij is vegetariër. Het is een warme dag en Jeroen is blij met de schaduw terwijl hij op de ober wacht. Als de ober langskomt, vraagt Jeroen of hij Engels spreekt. 

… Jeroen  is   witheet 

or 

vergenoegd 

als de ober vervolgens  

zonder wat te zeggen omdraait en hem negeert 

or 

geduldig zijn best doet om Engels te spreken 

58 

Patrick heeft sinds een jaar een eigen bedrijf. Het bedrijf is zo gegroeid dat Patrick een secretaresse nodig heeft. Hij heeft heel veel reacties gehad. Eén sollicitante steekt boven alle anderen uit door haar ervaring en opleiding. Patrick nodigt haar uit en is tijdens het gesprek erg enthousiast.

Patrick denkt nog eens na en besluit inderdaad dat hij liever een lekker ding heeft en neemt een ander aan.

Later die dag werkt Patrick aan een verslag voor een klant van  zijn bedrijf. Het is een eindrapportage van alle werkzaamheden. Het is een groot document geworden dat Patrick veel kostbare tijd heeft gekost. Wanneer Patrick de laatste punt neerzet, 

… Patrick  is   opgelucht 

or 

ziedend  wanneer na het opnieuw opstarten blijkt 

dat er een automatische back‐up beschikbaar is 

or 

dat het document verloren is en het opnieuw moet 

Page 180: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

162

Zijn zakenpartner wijst hem er later op dat ze wel wat ouder is en andere kandidaten er leuker uitzagen.

valt ineens de stroom uit. Patrick bedenkt zich dat hij tussendoor niet heeft gesaved en start de computer weer op. 

59 

Anna staat aan de kassa bij de supermarkt. Terwijl de kassière de laatste boodschappen scant, pakt ze zoveel mogelijk in. Nadat ze het laatste artikel heeft gescand noemt ze het bedrag. Anna betaalt met 50 euro en de kassière geeft haar wisselgeld terug. Anna ziet meteen dat ze haar veel te veel wisselgeld geeft. Ze weet dat kassières flink problemen kunnen krijgen bij een kasverschil.

Anna wijst haar er dan ook vriendelijk op dat ze een fout heeft gemaakt, ze wil niet dat ze ontslagen wordt.

Na de supermarkt gaat ze ook nog even naar de boekwinkel. Ze moet echter opschieten want haar parkeerkaartje verloopt zo. Bij de boekwinkel kan ze niet gelijk vinden wat ze zoekt. Ze vraagt het de eigenaar en die helpt haar het boek te vinden. Anna rekent af en loopt, zo snel als ze kan met alle tassen, naar de parkeerplaats, ze is nu echt te laat. 

… Anna  wordt 

vrolijk 

or 

kwaad  als de parkeerwachter haar ziet  

en besluit de boete te verscheuren 

or 

en toch alsnog de boete uitschrijft 

60 

Nienke loopt door het park op een zondagochtend. Ze is op weg naar de winkel om brood te halen. In de verte ziet ze een oud mannetje met een rollator lopen. Nienke loopt rustig door, maar heeft de man uiteraard al gauw bijna ingehaald. De man stopt even en graaft een zakdoek uit zijn

Nienke roept de man snel na dat hij iets verliest en raapt het voor hem op zodat de man niet hoeft te bukken.

Later die week loopt Nienke met een laptop onder de arm. Ze is onderweg naar de winkel waar ze hem de dag daarvoor heeft gekocht. Toen ze hem gisteravond probeerde te installeren bleek hij het niet te doen. Ze is helaas het bonnetje 

… Nienke  is   gepikeerd 

or 

gelukkig  als de man vervolgens zegt dat 

ze zonder bonnetje naar haar geld kan fluiten 

or 

ze ook zonder bonnetje haar geld terugkrijgt 

Page 181: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  163

broekzak. Nienke ziet hoe tegelijk met de zakdoek ook een pasje op de grond valt, maar de man merkt niks.

kwijt, maar hoopt dat ze haar nog herkennen. De man in de winkel herkent haar inderdaad en vraagt om het bonnetje. 

61 

Marloes is alweer een tijdje vrijgezel. Sinds kort is er bij Marloes op het werk een jongen die verliefd is op Marloes. Marloes weet dit, maar heeft absoluut geen gevoelens voor hem. Toch vindt Marloes de aandacht wel leuk en ze flirt er lustig op los. Na een avond uit met collega's zijn Marloes en de jongen alleen overgebleven. De jongen vraagt Marloes ineens blozend om met hem mee naar huis te gaan.

Marloes denkt even na en gaat lekker met hem mee naar huis en besluit hem de volgende ochtend te dumpen.

Later die week gaat Marloes naar de boekhandel. Het nieuwste deel van Marloes haar favoriete boekenserie is namelijk uit. Bovendien heeft de boekhandel vandaag een actie: de eerste 100 klanten krijgen het boek gratis. De winkel staat op het punt open te gaan en er staat al een grote menigte voor de deur. Marloes sluit achter aan en schat haar kansen in. 

… Marloes  is   dolblij 

or 

verbolgen  wanneer ze na een uur wachten 

de 100ste klant is en het boek gratis krijgt 

or 

de 101ste klant is en de volle prijs moet betalen 

62 

Tessa loopt na de film naar de tramhalte twee straten verderop. Onderweg komt ze langs de Febo en ze beseft ineens dat ze honger heeft. Ze trekt een kroket uit de muur en loopt verder. Aan het einde van de straat slaat ze rechtsaf naar het plein. Ze steekt het

Tessa gooit achteloos het laatste stukje kroket naar het stel, raakt de ene vol en roept 'vieze homo's'.

Een korte tramrit later is Tessa bijna thuis. Ze neemt de lift naar haar appartement op de vijfde etage. In de lift ziet ze dat één van haar veters los is en ze bukt om die te strikken. Als ze de lift uitkomt en de galerij op loopt ziet ze haar voordeur open staan. 

… Tessa  is   laaiend 

or 

uitgelaten  als ze naar binnen rent en ziet dat 

alles overhoop ligt en dure dingen zijn gejat 

or 

er niks weg is, wat een geluk! 

Page 182: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

164

plein schuin over naar de halte. Op het plein passeert ze twee mannen die hand in hand lopen en heel gelukkig lijken.

Ze herinnert zich in een flits dat ze de deur zelf niet goed dicht heeft gedaan. 

63 

Jasper fietst 's avonds na een etentje bij vrienden naar huis. Op een gegeven moment nadert Jasper een kruispunt. Van links komt een meisje ook op het kruispunt af, ze is zichtbaar gehaast. Jasper heeft voorrang en steekt dus het kruispunt over. Het meisje ziet Jasper niet aankomen en rijdt ook door. Ze schrikt wanneer ze pas op het laatste moment Jasper ziet en valt met haar fiets op straat.

Jasper fietst door en roept in het voorbijgaan dat ze dan maar de verkeersregels had moeten leren, domme trut.

Jasper fietst verder en ziet in de verte een kruispunt met verkeerslichten. Hij stopt wanneer hij er aankomt, omdat het licht nog steeds op rood staat. Het licht blijft maar op rood staan, en Jasper wordt ongeduldig. Er komt niks aan en het kruispunt lijkt verlaten. Hij rijdt door het rode licht, maar ziet plots aan de overkant een politieagent staan. 

… Jasper  is   opgelucht 

or 

chagrijnig  wanneer hij op de agent affietst 

en deze knipoogt en zegt dat hij door mag rijden 

or 

en deze hem toch een fikse boete geeft 

64 

Claudia heeft boodschappen gedaan en loopt naar de auto. Ze laadt haar boodschappen in en stapt in. Claudia start de auto, zet de radio aan en geeft gas. Claudia heeft echter niet door dat de auto in zijn achteruit staat. De auto schiet naar achteren en knalt tegen de auto die

Claudia kijkt om zich heen, ziet dat gelukkig niemand het incident gezien heeft, stapt in en rijdt snel weg.

Die avond staat Claudia bij bioscoop Tuschinski in Amsterdam. Er is een grote internationale filmpremière met veel beroemde acteurs. Claudia hoopt bij de rode loper een glimp van de sterren op te vangen. Tot de aanwezige sterren 

… Claudia  is   uitzinnig 

or 

teleurgesteld 

als Johnny Depp vervolgens 

rustig de tijd neemt om met haar te kletsen 

or 

haar nors negeert en ze zelfs geen handtekening krijgt 

Page 183: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  165

erachter geparkeerd staat. Claudia stapt uit en ziet dat de auto achter haar erg beschadigd is, maar haar eigen auto niet

behoort ook Johnny Depp, een acteur die Claudia erg bewondert. Op een gegeven moment ziet Claudia hem op de rode loper verschijnen. 

 

A2: Study 2 & 3 

  Character Manipulation 

Segment 4 

Segment 5 

Affective State Adjective 

      Neutral Segment  Affect Reason 

Sandra is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Sandra  is   dolblij 

or 

woedend  als ze de gegevens doorleest 

en haar aandelen in waarde verdubbbeld zijn 

or 

en haar aandelen niks meer waard blijken te zijn 

Wesley is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Wesley  is   blij 

or 

geërgerd  wanneer hij de post doorbladert 

en de dvd erbij zit en hij dus door kan kijken  or 

de dvd er niet bijzit, maar wel een boete 

Jeffrey is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Jeffrey  voelt  opluchting 

or 

frustratie  wanneer hij bij de auto aan komt lopen 

en deze geen beschadigingen blijkt te hebben 

or 

en die onder de kleine deuken zit van de hagelstenen 

Emma is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Emma  voelt  blijdschap 

or 

woede  opkomen wanneer het groepje 

haar gelijk welkom doet voelen 

or 

haar aanstaart en vervolgens negeert 

Ilse is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Ilse  is   dankbaar 

or 

pissig  wanneer de medewerker haar ziet 

en toch nog even snel binnenlaat  

or 

haar vuil aankijkt en de deur snel sluit 

Martijn is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Martijn  is   euforisch 

or 

kwaad  wanneer hij op het perron komt en 

op tijd blijkt te zijn en de juiste trein haalt  or 

hoort omroepen dat er geen treinen rijden 

Maria is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed 

Maria  is   nijdig 

or 

opgelucht  als de klodder gemorste saus 

op haar nieuwe blouse valt en dus verpest is 

or 

op tafel valt en niet op haar nieuwe 

Page 184: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

166

mens OR echt een slecht mens 

blouse 

Stefan is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Stefan  is   boos 

or 

opgetogen 

wanneer in het gedrang voor de inagng 

iemand hem zonder pardon omver duwt  or 

iemand hem vriendelijk voor laat gaan 

Sanne is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Sanne  is   verontwaardigd 

or 

opgetogen 

wanneer de taxi vlak voor haar stopt 

en iemand haar opzij duwt en gauw instapt  or 

en ze in kan stappen voor ze doorweekt is 

10 

Lieke is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Lieke  constateert 

nors 

or 

opgetogen 

dat de salarisadminstratie  

weer eens heeft gefaald, nog geen geld  or 

heeft gezorgd dat haar salaris op tijd is dit keer 

11 

Sarah is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Sarah  constateert 

pissig 

or 

opgelucht  dat de laptop als ze hem weer aanzet 

helemaal niks meer doet, compleet kapot 

or 

het weer gewoon blijkt te doen, gelukkig! 

12 

Danny is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Danny  voelt  frustratie 

or 

opluchting 

dat het binnengekomen onderdeel  

weer het verkeerde blijkt, dit kost hem geld 

or 

nu wel het goede blijkt te zijn, eindelijk! 

13 

Kirsten is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Kirsten  voelt  blijdschap 

or 

boosheid  wanneer in de winkel blijkt dat 

de tv zelfs in de aanbieding is en ze geld overhoudt 

or 

de tv die ze wil niet meer op voorraad blijkt te zijn 

14 

Judith is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Judith  voelt  woede 

or 

opluchting 

als ze zich omdraait en 

ziet hoe een man wegrent met haar portemonnee 

or 

een man haar portemonnee teruggeeft 

15 

Adriana is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Adriana  voelt  blijdschap 

or 

boosheid  als er even later iemand langskomt 

die haar vriendelijk naar de auto helpt  or 

en diegene haar vraag om hulp compleet negeert 

16 

Kelly is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Kelly  is   furieus 

or 

dolblij  als ze in de email leest dat ze 

niet mag herkansen en niet kan afstuderen  or 

een herkansing mag doen en kan afstuderen 

17 

Kim is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een 

Kim  is   opgewekt 

or 

gefrustreerd 

wanneer blijkt dat haar aanslag 

nu eindelijk wel klopt 

or 

nog steeds niet klopt 

Page 185: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  167

slecht mens 

18 

David is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

David  is   chagrijnig 

or 

opgelucht  als hij ziet hoe het apparaat 

van de steiger valt en op de tegels kapot gaat 

or 

niet van de steiger valt en nog heel is 

19 

Michael is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Michael  is   verheugd 

or 

furieus  wanneer bij aankomst blijkt dat het 

nog mooier is dan gedacht en het weer schitterend is 

or 

appartement niet bestaat en hij nergens heen kan 

20 

Wendy is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Wendy  is   kwaad 

or 

vrolijk  wanneer ze even later 

merkt dat ze haar belachelijk maakten  or 

ook bij de grap wordt betrokken en meelacht 

21 

Laura is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Laura  is   trots 

or 

woedend  wanneer blijkt dat haar aanvraag 

is goedgekeurd en haar project kan starten 

or 

is afgekeurd om een enorm domme reden 

22 

Leonie is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Leonie  voelt  blijdschap 

or 

irritatie  wanneer het garderobepersoneel 

haar spullen snel vindt en ze droog thuiskomt 

or 

pas na tien minuten haar spullen vindt en ze zeiknat wordt 

23 

Thomas is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Thomas  is   furieus 

or 

verheugd  als de man omkijkt, even wacht en 

dan de deur in zijn gezicht dicht laat vallen  or 

de deur vriendelijk glimlachend open houdt 

24 

Nina is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Nina  is   opgelucht 

or 

verbolgen  als ze aankomt op het vliegveld en 

blijkt dat haar vlucht ook vertraagd is  or 

blijkt dat ze te laat is om nog te boarden 

25 

Koen is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Koen  is   uitzinnnig 

or 

laaiend  wanneer de jongen op hem afloopt 

en zijn sleutels gevonden blijkt te hebben 

or 

ineens Koens tas grijpt en hard wegrent 

26 

Cynthia is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Cynthia  is   kwaad 

or 

opgelucht  als uiteindelijk blijkt dat 

de resultaten zoek zijn en ze opnieuw moet  

or 

de resultaten goed zijn, ze is kerngezond 

27 

Frank is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed 

Frank  is   ziedend 

or 

blij  als de ober reageert op een 

boze manier en net doet of hij zeurt  or 

vriendelijke en correcte manier 

Page 186: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

168

mens OR echt een slecht mens 

28 

Remco is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Remco  is   gefrustreerd 

or 

verheugd  als hij na een paar minuten rijden 

geen bezine meer heeft en stil komt te staan  or 

een bezinestation ziet en hij kan tanken 

29 

Maarten is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Maarten   voelt  razernij 

or 

blijdschap  als hij eenmaal thuiskomt 

en zijn vrouw met ander in bed aantreft 

or 

en ze samen een romantische ochtend hebben 

30 

Jordy is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Jordy  is   pissig 

or 

blij  als de buschauffeur hem ziet 

en gewoon doorrijdt en hem daar laat staan  or 

en vriendelijk even wacht zodat hij mee kan 

31 

Ruben is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Ruben  wordt  witheet 

or 

vrolijk  wanneer de man voor hem 

hem een duw geeft en hij dus keihard valt  or 

hem vriendelijk helpt overeind te blijven 

32 

Dennis is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Dennis  is   kwaad 

or 

dankbaar  als hij de tuin inkijkt en ziet dat 

de buren hun tuinafval in zijn tuin hebben gegooid 

or 

de buurman al het werk voor hem heeft gedaan 

33 

Saskia is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Saskia  is   laaiend 

or 

uitzinnig  wanneer de baas in het gesprek 

haar onterecht dingen aanrekent en ontslaat 

or 

vertelt dat ze promotie krijgt en opslag 

34 

Tim is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Tim  is   blij 

or 

geïrriteerd 

wanneer de cake uiteindelijk 

perfect uit de oven komt 

or 

aangebrand uit de oven komt 

35 

Joris is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Joris  is   woest 

or 

blij  als hij een mailtje krijgt met daarin 

informatie die hij 3 maanden geleden nodig had 

or 

eindelijk het verlossende woord 

36 

Mark is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Mark  is   trots 

or 

boos  als hij aanlegt om te schieten 

en de keeper passeert en scoort 

or 

en hij keihard onderuit wordt gehaald 

37 

Myrthe is een type P persoonlijkheid OR type O persoonlijkheid OR 

Myrthe  is   opgelucht 

or 

getergd  als ze bij de buren aanbelt en 

die thuis blijken te zijn in ze dus haar huis in 

or 

die op vakantie zijn en ze een 

Page 187: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  169

echt een goed mens OR echt een slecht mens 

kan  slotenmaker moet bellen 

38 

Bram is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Bram  is   gelukkig 

or 

razend  als hij aankomt waar hij zijn fiets had staan 

en ziet dat deze er gewoon nog staat  or 

en hij echt gejat is en hij naar huis kan lopen 

39 

Kevin is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Kevin  is   uitgelaten 

or 

pissig  wanneer de andere automobilist 

stopt en zijn auto kan repareren 

or 

wel langzamer gaat rijden, maar niet stopt 

40 

Anouk is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Anouk  is   driftig 

or 

opgetogen 

als uit de brief blijkt dat ze 

wederom een groot bedrag moet bijbetalen  or 

dit jaar zelf een fiks bedrag terugkrijgt 

41 

Jesse is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Jesse  is   woest 

or 

uitgelaten  wanneer vlak voor het einde 

de tegenpartij scoort en hij zijn geld kwijt is 

or 

zijn team scoort en hij dus 300 euro wint 

42 

Inge is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Inge  voelt  vreugde 

or 

woede  wanneer ze te horen krijgt  

dat haar bod op een huis is geaccepteerd 

or 

dat er bij haar is ingebroken en alles weg is 

43 

Julia is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Julia  is   geïrriteerd 

or 

vrolijk  als de andere klant het spelletje 

snel afrekent en haar compleet negeert  or 

aan haar geeft zodat ze haar cadeau heeft 

44 

Larissa is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Larissa  is   gerustgesteld 

or 

laaiend   als ze twee uur later naar buiten loopt 

met een nieuwe en zeer gunstige hypotheek 

or 

zonder resultaat omdat ze haar afspraak waren vergeten 

45 

Hendrik is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Hendrik  is   dankbaar 

or 

getergd  als de auto's die nu groen hebben 

rustig wachten en hem vriendelijk de tijd geven 

or 

ongeduldig beginnen te toeteren en optrekken 

46 

Eva is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Eva  is   dankbaar 

or 

woedend  als de conducteur haar ziet rennen 

en vriendelijk even op haar wacht  or 

de deuren expres voor haar neus sluit 

47 

Wouter is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed 

Wouter  is   tevreden 

or 

woedend  als bij het monteren blijkt 

dat de kast perfect past waar hij hem wilde 

or 

dat de planken scheef zijn en er dingen 

Page 188: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

170

mens OR echt een slecht mens 

ontbreken 

48 

Elise is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Elise  wordt  chagrijnig 

or 

vrolijk  als de serveerster reageert 

op een norse manier en haar boos aankijkt  or 

op een vriendelijke manier en ze kletsen wat 

49 

Tom is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Tom  is   verrast 

or 

pissig  wanneer de telefoon over gaat 

en hij gelijk de assistente krijgt 

or 

en hij de 15de wachtende blijkt te zijn 

50 

Niels is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Niels  voelt   razernij 

or 

blijdschap  wanneer zijn manager in de meeting 

liegt en alle eer voorzichzelf opstrijkt  or 

hem prijst voor zijn originaliteit en inzet 

51 

Mike is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Mike  is   dankbaar 

or 

gepikeerd  wanneer de man die ook wil rennen 

hem vriendelijk voor laat gaan  or 

net voor hem op de band springt 

52 

Rianne is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Rianne  wordt  woest 

or 

vrolijk  als ze leest dat iedereen  

zegt niet te kunnen terwijl ze weet dat ze wel uitgaan 

or 

enthousiast is en ze een leuke avond heeft 

53 

Bart is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Bart  is   opgelucht 

or 

furieus  wanneer zijn manager hem vertelt 

dat hij een promotie en opslag krijgt 

or 

dat hij per direct ontslag krijgt 

54 

Sander is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Sander  wordt  boos 

or 

blij  als het groepje jongeren 

expres de weg blijft blokkeren en lacht  or 

gauw aan de kant gaat zodat hij door kan lopen 

55 

Tamara is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Tamara  wordt  furieus 

or 

blij  als de klant die haar aanstootte 

geen sorry zegt en zelfs geamuseerd omkijkt  or 

aardig blijkt te zijn en helpt op te ruimen 

56 

Thijs is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Thijs  is   ziedend 

or 

blij  als hij ziet hoe de omstanders 

domweg opzij gaan en de dief ontsnapt  or 

de dief grijpen voordat deze weg kan komen 

57 

Jeroen is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een 

Jeroen  is   witheet 

or 

vergenoegd 

als de ober vervolgens  

zonder wat te zeggen omdraait en hem negeert 

or 

geduldig zijn best doet om Engels te spreken 

Page 189: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  171

slecht mens 

58 

Patrick is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Patrick  is   opgelucht 

or 

ziedend  wanneer na het opnieuw opstarten blijkt 

dat er een automatische back‐up beschikbaar is 

or 

dat het document verloren is en het opnieuw moet 

59 

Anna is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Anna  wordt  vrolijk 

or 

kwaad  als de parkeerwachter haar ziet  

en besluit de boete te verscheuren 

or 

en toch alsnog de boete uitschrijft 

60 

Nienke is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Nienke  is   gepikeerd 

or 

gelukkig  als de man vervolgens zegt dat 

ze zonder bonnetje naar haar geld kan fluiten 

or 

ze ook zonder bonnetje haar geld terugkrijgt 

61 

Marloes is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Marloes  is   dolblij 

or 

verbolgen  wanneer ze na een uur wachten 

de 100ste klant is en het boek gratis krijgt 

or 

de 101ste klant is en de volle prijs moet betalen 

62 

Tessa is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Tessa  is   laaiend 

or 

uitgelaten  als ze naar binnen rent en ziet dat 

alles overhoop ligt en dure dingen zijn gejat 

or 

er niks weg is, wat een geluk! 

63 

Jasper is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Jasper  is   opgelucht 

or 

chagrijnig  wanneer hij op de agent affietst 

en deze knipoogt en zegt dat hij door mag rijden 

or 

en deze hem toch een fikse boete geeft 

64 

Claudia is een type P persoonlijkheid OR type O persoonlijkheid OR echt een goed mens OR echt een slecht mens 

Claudia  is   uitzinnig 

or 

teleurgesteld 

als Johnny Depp vervolgens 

rustig de tijd neemt om met haar te kletsen 

or 

haar nors negeert en ze zelfs geen handtekening krijgt 

 

 

Page 190: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

172

Supplementary Information B 

B1: Study 1 

 

Page 191: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  173

 

B2: Study 2 

 

Page 192: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

174

 

B3 ‐ Morality Manipulation: Study 3 

 

 

Page 193: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  175

 

B3 – Minimal Group Manipulation: Study 3 

 

 

Page 194: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

176

Supplementary Information C 

C1.1  

Model summary Character Manipulation: Study 1 

Character Morality Corrugator 

total cases  cases after baseline rejection 

data loss       

  191900  190950  0.50%       

Iterative model report for Character Morality Manipulation. Each line reports the assessment of improved model fit after adding a single predictor.   

 

Nr.  ‐2 LL  nr of parameters 

p model fit (chisquare distribution) 

model compa‐rision 

predictor added  action 

             Model 0  2297839.064  2      empty model  ‐ 

Model 1  2288296.555  3  0.000  better  Subject Random Intercept 

keep 

Model 2  2279588.985  4  0.000  better  Item Random Intercept 

keep 

Model 3  2279517.602  5  0.000  better  Moral Linear Time Fixed 

keep 

Model 4  2277709.547  6  0.000  better  Immoral Linear Time Fixed 

keep 

Model 5  2277553.13  8  0.000  better  Moral Linear Time Random Slope (Subject UN) 

keep 

Model 6  2272924.031  11  0.000  better  Immoral Linear Time Random Slope (Subject UN) 

keep 

  

           

Model 7  2272922.516  12  0.218  not better 

Moral Quadratic Time Fixed 

remove 

Model 8  2272791.796  12  0.000  better  Immoral Quadratic Time Fixed 

keep 

Model 9  2272789.978  13  0.178  not better 

Moral Cubic Fixed  remove 

Model 10  2272633.675  13  0.000  better  Immoral Cubic Time Fixed 

keep 

Model 11  2272502.391  14  0.000  better  Character Morality Conditie 

keep 

Model 12  2270884.847  18  0.000  better  Immoral Quadratic Time Random Slope (Subject UN) 

keep 

Model 13  2270262.398  23  0.000  better  Immoral Cubic Time Random Slope (Subject UN) 

keep 

Model 14  2270261.652  24  0.388  not better 

Partcipant Gender  remove 

 

 

 

 

Page 195: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  177

C1.2  

Parameter Estimates Character Manipulation: Study 1 

Estimates of Fixed Effects Character Moralitya Parameter  Estimate  Std. Error  df  t  Sig.  95% Confidence Interval 

Lower Bound 

Upper Bound 

Linear Moral  ‐1.795  0.446  59.986  ‐4.021  0.000  ‐2.688  ‐0.902 Linear Immoral  15.140  3.330  59.969  4.547  0.000  8.480  21.800 Quadratic Immoral  ‐2.020  0.698  62.428  ‐2.895  0.005  ‐3.415  ‐0.626 Cubic Immoral  ‐1.623  0.448  59.877  ‐3.620  0.001  ‐2.520  ‐0.726 Immoral  138.173  3.007  108.982  45.949  0.000  132.213  144.133 Moral  108.717  2.989  106.320  36.378  0.000  102.792  114.642 a. Dependent Variable: Character Morality Corrugator Response. 

Pairwise Comparisons Main Effect of Character Moralitya 

(I) likeability manipulation 

Mean Difference (I‐J)  Std. Error  df  Sig.c 

95% Confidence Interval for Differencec Lower Bound 

Upper Bound 

moral  immoral  ‐29,456*  2.262  264.421  0.000  ‐33.909  ‐25.003 Based on estimated marginal means *. The mean difference is significant at the ,05 level. a. Dependent Variable: Character Morality Corrugator Response. c. Adjustment for multiple comparisons: Bonferroni.        Pairwise Comparison between Linear Estimates Moral & Immoral

a,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 95% Confidence Interval 

Lower Bound 

Upper Bound 

Linear Moral vs. Linear Immoral  ‐16.928  3.230  62.122  0.000  ‐5.241  0.000  ‐23.385  ‐10.472 a. linear moral vs immoral b. Dependent Variable: Character Morality Corrugator Response.                                                    

 

 

 

 

 

 

Page 196: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

178

C1.3   

Model Summary Critical Event: Study 1 

Critical Event Corrugator 

total cases  cases after baseline rejection 

data loss       

  191900.000  190950.000  0.005       

Iterative model report for Critical Event Manipulation. Each line reports the assessment of improved model fit after adding a single predictor.   

 

Nr.  ‐2 LL  nr of parameters  p model fit (chisquare distribution) 

model comparision 

predictor added  action 

Model 0  2194785.534  2.000      empty model   

Model 1  2183526.383  3.000  0.000  better  Subject Random Intercept 

keep 

Model 2  2176247.842  4.000  0.000  better  Item Random Intercept 

keep 

Model 3  2176121.731  5.000  0.000  better  Linear Time Moral Positive Fixed 

keep 

Model 4  2176116.686  6.000  0.025  better  Linear Time Immoral Positive Fixed 

keep 

   

           

Model 5  2176103.552  7.000  0.000  better  Linear Time Immoral Negative Fixed 

keep 

Model 6  2176011.053  8.000  0.000  better  Linear Time Moral Negative Fixed 

keep 

Model 7  2175796.515  10.000  0.000  better  Linear Time Moral Positive Random Slope (Subject UN) 

keep 

Model 8  2175386.242  13.000  0.000  better  Linear Time Immoral Positive Random Slope (Subject UN) 

keep 

Model 9  2174903.380  17.000  0.000  better  Linear Time Immoral Negative Random Slope (Subject UN) 

keep 

Model 10  2173945.400  22.000  0.000  better  Linear Time Moral Negative Random Slope (Subject UN) 

keep 

   

           

Model 11  2173915.017  23.000  0.000  better  Quadratic Time Moral Positive Fixed 

keep 

Model 12  2173903.890  24.000  0.001  better  Quadratic Time Immoral Positive Fixed 

keep 

Model 13  2173899.692  25.000  0.040  better  Quadratic Time Immoral Negative Fixed 

keep 

Model 14  2173855.657  26.000  0.000  better  Quadratic Time Moral Negative Fixed 

keep 

Model 15  2172900.165  32.000  0.000  better  Quadratic Time  keep 

Page 197: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  179

Moral Positive Random (Subject UN) 

Model 16  2172408.175  39.000  0.000  better  Quadratic Time Immoral Positive Random (Subject UN) 

keep 

Model 17  2171607.151  47.000  0.000  better  Quadratic Time Immoral Negative Random (Subject UN) 

keep 

   

           

Model 18  2171061.953  56.000  0.000  better  Quadratic Moral Negative Random (Subject UN) 

keep 

Model 19  2171061.828  57.000  0.724  not better  Cubic  Time Moral Positive Fixed 

remove 

Model 20  2171061.634  57.000  0.572  not better  Cubic Time Immoral Positive Fixed 

remove 

Model 21  2171061.656  57.000  0.586  not better  Cubic Time Immoral Negative Fixed 

remove 

Model 22  2171054.394  57.000  0.006  better  Cubic Time  Moral Negative Fixed 

keep 

Model 23  0.000  0.000  0.000  no convergence  Cubic Time Moral Negative Random (Subject UN) 

remove 

Model 24  2171054.349  58.000  0.832  not better  Character Morality 

keep for interaction 

Model 25  2171029.814  59.000  0.000  better  Event Valence  keep 

Model 26  2170994.271  60.000  0.000  better  Character Morality * Event Valence 

keep 

Model 27  2170993.277  61.000  0.319  not better  Participant Gender 

remove 

 

C1.4  

Parameter Estimates Critical Event: Study 1 

Estimates of Fixed Effects Critical Eventa Parameter  Estimate  Std. Error  df  t  Sig.  95% Confidence Interval 

Lower Bound 

Upper Bound 

Linear Moral Pos  ‐2.578  0.568  59.742  ‐4.542  0.000  ‐3.713  ‐1.442 Linear Immoral Pos  ‐0.491  0.714  59.897  ‐0.687  0.495  ‐1.920  0.938 Linear Immoral Neg  ‐0.850  0.764  59.999  ‐1.112  0.271  ‐2.379  0.679 Linear Moral Neg  3.603  1.126  95.842  3.199  0.002  1.367  5.839 Quadratic Moral Pos  1.109  0.568  64.893  1.954  0.055  ‐0.024  2.242 Quadratic Immoral Pos  0.555  0.439  68.251  1.263  0.211  ‐0.322  1.431 Quadratic Immoral Neg  0.335  0.524  65.818  0.638  0.525  ‐0.712  1.381 Quadratic Moral Neg  ‐1.319  0.484  66.479  ‐2.723  0.008  ‐2.285  ‐0.352 Cubic Moral Neg  ‐0.378  0.137  190155.593  ‐2.749  0.006  ‐0.647  ‐0.108 Immoral Neg  115.331  3.195  122.173  36.102  0.000  109.007  121.655 Immoral Pos  116.696  3.195  122.174  36.530  0.000  110.372  123.020 Moral Neg  126.133  3.194  122.148  39.486  0.000  119.809  132.456 Moral Pos  105.027  3.195  122.180  32.876  0.000  98.703  111.351 

Page 198: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

180

a. Dependent Variable: Critical Event Corrugator Response. 

 

  Pairwise Comparisons Character Morality*EventValence

(I) reference like‐pos 

Mean Difference (I‐J) 

Std. Error  df  Sig.

c 95% Confidence Interval for Differencec Lower Bound 

Upper Bound 

immoralneg immoralpos  ‐1.365  2.578  272.395  1.000  ‐8.217  5.487 moralneg  ‐10.802  2.578  272.311  0.000  ‐17.653  ‐3.950 moralpos  10.304  2.578  272.414  0.000  3.452  17.156 

immoralpos  moralneg  ‐9.437  2.578  272.313  0.002  ‐16.289  ‐2.585 moralpos  11.669  2.578  272.418  0.000  4.817  18.521 

moralneg  moralpos  21.106  2.578  272.333  0.000  14.254  27.958 Based on estimated marginal means *. The mean difference is significant at the ,05 level. a. Dependent Variable: Critical Event Corrugator Response. c. Adjustment for multiple comparisons: Bonferroni. 

Pairwise Comparison between Linear Moral Pos & Linear Moral Nega,b 

Contrast  Estimate Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval Lower Bound 

Upper Bound 

Linear Moral Pos vs. Linear Moral Neg  ‐6.182  1.262  136.663  0.000  ‐4.899  0.000  ‐8.677  ‐3.687 

 

C2.1  

Model Summary Character Manipulation: Study 2 

Character Morality Manipulation Corrugator 

    total cases  cases after baseline 

data loss   

      192000.000  190050.000  0.010   

Nr.  ‐2 LL  nr of parameters  p model fit (chi‐square distribution 

model comparison 

predictor added 

action 

Model 0  2529242.959  2.000      empty model   

Model 1  2511977.094  3.000  0.000  better  Subject Random 

keep 

Model 2  2501228.524  4.000  0.000  better  Item Random 

keep 

Model 3  2501225.912  5.000  0.106  not better  Moral Linear Fixed 

remove 

Model 4  2498686.196  5.000  0.000  better  Immoral Linear Fixed 

keep 

Model 5  2491340.511  7.000  0.000  better  Immoral Linear Random (Subject Unstructured) 

keep 

Model 6  2491339.829  8.000  0.409  not better  Moral Quad Fixed 

remove 

Page 199: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  181

   

           

Model 7  2490601.343  8.000  0.000  better  Immoral Quad Fixed 

keep 

Model 8  2488946.375  11.000  0.000  better  Immoral Quad Random  (Subject Unstructured) 

keep 

Model 9  2488944.278  12.000  0.148  not better  Moral Cube Fixed 

remove 

Model 10  2488818.493  12.000  0.000  better  Immoral Cube Fixed 

keep 

Model 11  2488122.473  16.000  0.000  better  Immoral Cube Random (Subject Unstructured) 

keep 

Model 12  2487937.942  17.000  0.000  better  Character Morality 

keep 

 

C2.2  

Parameter Estimates Character Manipulation: Study 2 

Type III Tests of Fixed Effectsa                 

Source  Numerator df  Denominator df  F  Sig.         

linear immoral  1.000  60.004  17.364  0.000         

quadratic immoral  1.000  61.843  38.949  0.000         

cubic immoral  1.000  60.030  9.505  0.003         

Character Morality  2.000  111.913  369.144  0.000         

a. Dependent Variable: Corrugator Response Character Morality 

           

                 

Estimates of Fixed Effectsa                 

Parameter  Estimate  Std. Error  df  t  Sig.  95% Confidence Interval   

            Lower Bound 

Upper Bound 

 

Intercept (moral)  114.061  7.288  86.138  15.651  0.000  99.574  128.548   

linear immoral  29.549  7.091  60.004  4.167  0.000  15.364  43.733   

quadratic immoral  ‐8.306  1.331  61.843  ‐6.241  0.000  ‐10.966  ‐5.645   

cubic immoral  ‐2.628  0.852  60.030  ‐3.083  0.003  ‐4.333  ‐0.923   

immoral  74.022  4.513  261.865  16.402  0.000  65.135  82.908   

moral  0b  0.000             

a. Dependent Variable: Corrugator Response Character Morality. 

           

b. This parameter is set to zero because it is redundant. 

             

Iterative model report for Affective State Adjective ‐ Corrugator. Each line reports the assessment of model fit after adding a single predictor 

 

Page 200: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

182

C2.3  

Model Summary Affective State Adjective: Study 2 

Affective State Adjective Corrugator      total cases  cases after baseline  data loss         38400.000  38010.000  0.010   

Nr.  ‐2 LL  nr of parameters 

p model fit (chi‐square distribution 

model comparison  predictor added  action 

Model 0  429997.771  2.000      empty model   

Model 1  427395.692  3.000  0.000  better  Subject Random  keep 

Model 2  425245.687  4.000  0.000  better  Item Random  keep 

Model 3  425219.406  5.000  0.000  better  Linear moral‐positive 

keep 

Model 4  425217.467  6.000  0.164  not better  Linear immoral‐positive 

remove 

Model 5  425209.653  6.000  0.002  better  Linear immoral‐negative 

keep 

Model 6  425183.699  7.000  0.000  better  Linear moral‐negative 

keep 

     

           

Model 7  0.000  0.000  0.000  no convergence  Linear moral‐positive random (Subject Unstructured) 

remove 

Model 8  425167.467  9.000  0.000  better  Linear immoral negative random (Subject Unstructured) 

keep 

Model 9  424963.589  12.000  0.000  better  Linear moral‐negative random (Subject Unstructured) 

keep 

Model 10  424963.420  13.000  0.681  not better  Quadratic moral‐positive 

remove 

Model 11  424963.462  13.000  0.722  not better  Quadratic immoral‐positive 

remove 

Model 12  424963.516  13.000  0.787  not better  Quadratic immoral‐negative 

remove 

Model 13  424963.582  13.000  0.933  not better  Quadratic moral‐negative 

remove 

Model 14  424960.124  13.000  0.063  not better  Cubic moral‐positive 

remove 

Model 15  424962.323  13.000  0.261  not better  Cubic immoral‐positive 

remove 

Model 16  424963.567  13.000  0.882  not better  Cubic immoral‐negative 

remove 

Model 17  424959.308  13.000  0.039  better  Cubic moral‐negative 

keep 

Model 18  0.000  0.000  0.000  no convergence  Cubic moral‐negative random (Subject Unstructured) 

remove 

Model 19  424957.396  14.000  0.167  not better  Character Morality  keep for interaction  

Model 19a  424948.906  15.000  0.004  beter  Affective State Adjective Valence 

keep 

Model 19b  424947.957  16.000  0.330  niet beter  Character Morality * Affective State Adjective Valence 

remove 

Model 20  424950.883  14.000  0.004  beter  Valence  keep 

 

Page 201: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  183

C2.4  

Parameter Estimates Affective State Adjective: Study 2 

Type III Tests of Fixed Effectsa                 Source  Numerator df  Denominator df  F  Sig.         linear moral‐positive  1.000  37578.694  26.543  0.000         linear moral‐negative  1.000  244.524  9.146  0.003         linear immoral‐negative  1.000  60.641  5.082  0.028         cubic moral‐negative  1.000  37578.694  4.281  0.039         Affective State Adjective Valence  2.000  125.800  1080.456  0.000         a. Dependent Variable: Corrugator Response Affective State Adjective             

Estimates of Fixed Effectsa                 Parameter  Estimate  Std. Error  df  t  Sig.  95% Confidence Interval               Lower 

Bound Upper Bound 

 

Intercept  118.742  2.869  115.118  41.382  0.000  113.059  124.426   linear moral‐positive  ‐11.746  2.280  37578.694  ‐5.152  0.000  ‐16.215  ‐7.277   linear moral‐negative  23.247  7.687  244.524  3.024  0.003  8.106  38.389   linear immoral‐negative  ‐7.176  3.183  60.641  ‐2.254  0.028  ‐13.542  ‐0.810   cubic moral‐negative  ‐77.340  37.378  37578.694  ‐2.069  0.039  ‐150.603  ‐4.078   Affective State Adjective Negative 

6.697  2.288  252.702  2.927  0.004  2.191  11.204   

Affective State Adjective Positive 

0b  0.000             

a. Dependent Variable: Corrugator Response Affective State Adjective 

           

b. This parameter is set to zero because it is redundant. 

             

     

               

Custom Hypothesis a,b                 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig.  95% Confidence Interval               Lower 

Bound Upper Bound 

L1  ‐34.993  8.018  289.254  0.000  ‐4.364  0.000  ‐50.775  ‐19.212 a. linear moral‐positive vs. linear moral‐neg 

               

b. Dependent Variable: Corrugator Response Affective State Adjective 

           

Custom Hypothesis a,b                 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig.  95% Confidence Interval               Lower 

Bound Upper Bound 

L1  ‐4.570  3.915  138.756  0.000  ‐1.167  0.245  ‐12.312  3.171 a. linear moral‐positive vs. linear immoral‐negative 

             

b. Dependent Variable: Corrugator Response Affective State Adjective 

           

Custom Hypothesis a,b                 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig.  95% Confidence Interval               Lower 

Bound Upper Bound 

L1  30.423  7.539  266.338  0.000  4.035  0.000  15.580  45.267 a. linear moral‐negative vs. linear immoral‐negative 

             

b. Dependent Variable: Corrugator Response Affective State Adjective 

           

 

 

Page 202: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

184

 

C2.5  

Model Summary Affect Reason: Study 2 

Affect Reason Corrugator 

    total cases  cases after baseline  data loss   

      96000.000  95025.000  0.010   

Nr.  ‐2 LL  nr of parameters 

p model fit (chi‐square distribution 

model comparison  predictor added 

action 

Model 0  1180252.740  2.000      empty model   

Model 1  1175596.403  3.000  0.000  better  Subject Random 

keep 

Model 2  1170435.975  4.000  0.000  better  Item Random  keep 

Model 3  1170424.193  5.000  0.001  better  Linear moral‐positive 

keep 

Model 4  1170417.344  6.000  0.009  better  Linear immoral‐positive 

keep 

Model 5  1170416.625  7.000  0.396  not better  Linear immoral‐negative 

remove 

Model 6  1170273.289  7.000  0.000  better  Linear moral‐negative 

keep 

Model 7  1170272.627  9.000  0.718  not better  Linear moral‐positive random (Subject Unstructured) 

remove 

Model 8  0.000  0.000  0.000  no convergence  Linear immoral‐positive random (Subject Unstructured) 

remove 

Model 9  1169292.229  9.000  0.000  better  Linear moral‐negative random (Subject Unstructured) 

keep 

Model 10  1169292.000  10.000  0.632  not better  Quadratic moral‐positive 

remove 

Model 11  1169292.164  10.000  0.799  not better  Quadratic immoral‐positive 

remove 

Model 12  1169292.085  10.000  0.704  not better  Quadratic immoral‐negative 

remove 

Model 13  1169275.080  10.000  0.000  not better  Quadratic moral‐negative 

keep 

   

           

Model 14  1168366.221  13.000  0.000  better  Quadratic moral‐negative random (Subject Unstructured) 

keep 

Model 15  1168365.266  14.000  0.328  not better  Cubic moral‐positive 

remove 

Model 16  1168366.217  14.000  0.950  not better  Cubic  remove 

Page 203: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  185

immoral‐positive 

Model 17  1168363.831  14.000  0.122  not better  Cubic immoral‐negative 

remove 

Model 18  1168358.216  14.000  0.005  better  Cubic moral‐negative 

keep 

Model 19  1168306.203  18.000  0.000  better  Cubic moral‐negative random (Subject Unstructured) 

keep 

Model 20  1168302.547  19.000  0.056  marginally better  Character Morality 

keep for interaction 

Model 21  1168257.624  20.000  0.000  better  Affect Reason Valence 

keep 

Model 22  1168233.039  21.000  0.000  better  Character Morality * Affect Reason Valence 

keep 

 

C2.6  

Parameter Estimates Affect Reason: Study 2 

Type III Tests of Fixed Effectsa                 Source  Numerator df  Denominator df  F  Sig.         linear moral‐positive  1.000  94530.935  12.092  0.001         linear immoral‐positive  1.000  94530.935  7.028  0.008         linear moral‐negative  1.000  60.001  8.176  0.006         quadratic moral‐negative  1.000  66.281  3.025  0.087         cubic moral‐negative  1.000  60.073  2.831  0.098         Character Morality * Affect Reason Valence 

4.000  178.902  362.775  0.000         

a. Dependent Variable: Corrugator Response Affect Reason 

             

       

               

Estimates of Fixed Effectsa                 Parameter  Estimate  Std. Error  df  t  Sig.  95% Confidence Interval               Lower 

Bound Upper Bound 

 

linear moral‐positive  ‐3.506  1.008  94530.935  ‐3.477  0.001  ‐5.481  ‐1.530   linear immoral‐positive  ‐2.673  1.008  94530.935  ‐2.651  0.008  ‐4.649  ‐0.697   linear moral‐negative  18.907  6.612  60.001  2.859  0.006  5.681  32.133   quadratic moral‐negative  ‐8.590  4.939  66.281  ‐1.739  0.087  ‐18.449  1.270   cubic moral‐negative  ‐7.095  4.217  60.073  ‐1.682  0.098  ‐15.530  1.340   immoral‐negative  129.905  4.528  205.263  28.688  0.000  120.978  138.833   moral‐negative  154.699  4.601  218.813  33.621  0.000  145.631  163.767   immoral‐positive  122.120  4.528  205.150  26.972  0.000  113.193  131.046   moral‐positive  112.942  4.528  205.150  24.945  0.000  104.015  121.868   a. Dependent Variable: Corrugator Response Affect Reason 

             

Custom Hypothesis a,b                 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig.  95% Confidence Interval               Lower 

Bound Upper Bound 

L1  ‐22.413  6.689  62.823  0.000  ‐3.351  0.001  ‐35.779  ‐9.046 a. linear moral‐positive vs linear moral‐negative‐neg 

             

Page 204: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

186

b. Dependent Variable: Corrugator Response Affect Reason 

             

Custom Hypothesis 

a,b                

Contrast  Estimate  Std. Error  df  Test Value  t  Sig.  95% Confidence Interval               Lower 

Bound Upper Bound 

L1  ‐0.833  1.426  94530.935  0.000  ‐0.584  0.559  ‐3.627  1.961 a. linear moral‐positive vs linear immoral‐positive 

             

b. Dependent Variable: Corrugator Response Affect Reason 

             

Custom Hypothesis a,b 

               

Contrast  Estimate  Std. Error  df  Test Value  t  Sig.  95% Confidence Interval               Lower 

Bound Upper Bound 

L1  ‐21.580  6.689  62.823  0.000  ‐3.226  0.002  ‐34.947  ‐8.213 a. linear moral‐negative vs linear immoral‐positive 

             

b. Dependent Variable: Corrugator Response Affect Reason 

             

Custom Hypothesis 

a,b                

Contrast  Estimate  Std. Error  df  Test Value  t  Sig.  95% Confidence Interval               Lower 

Bound Upper Bound 

L1  41.757  4.765  265.686  0.000  8.764  0.000  32.376  51.139 a. moral‐positive vs moral‐negative 

               

b. Dependent Variable: Corrugator Response Affect Reason 

             

Custom Hypothesis 

a,b                

Contrast  Estimate  Std. Error  df  Test Value  t  Sig.  95% Confidence Interval               Lower 

Bound Upper Bound 

L1  7.786  4.694  250.326  0.000  1.659  0.098  ‐1.459  17.031 a. immoral‐positive vs immoral‐negative 

               

b. Dependent Variable: Corrugator Response Affect Reason 

             

Custom Hypothesis 

a,b                

Contrast  Estimate  Std. Error  df  Test Value  t  Sig.  95% Confidence Interval               Lower 

Bound Upper Bound 

L1  9.178  4.694  250.197  0.000  1.955  0.052  ‐0.066  18.422 a. moral‐positive vs immoral‐positive 

               

b. Dependent Variable: Corrugator Response Affect Reason 

             

Iterative model report for Neutral Segment ‐ Corrugator. Each line reports the assessment of model fit after adding a single predictor 

 

 

 

 

Page 205: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  187

C2.6  

Neutral Segment: Study 2 

Neutral Segment Corrugator 

    total cases  cases after baseline 

data loss       

      115200.000  114030.000  0.010       

Nr.  ‐2 LL  nr of parameters 

p model fit (chi‐square distribution 

model comparison 

predictor added 

action     

Model 0  1330985.759  2.000      leeg model       

Model 1  1322707.229  3.000  0.000  better  Subject Random 

keep     

Model 2  1315978.492  4.000  0.000  better  Item Random  keep     

Model 3  1315978.459  5.000  0.856  not better  Character Morality 

keep     

Model 4  1315965.427  6.000  0.000  better  Valence  keep     

Model 5  1315950.014  7.000  0.000  better  Character Morality * Valence 

keep     

Model 6  1310801.532  8.000  0.000  better  Like Conditie * Event Valence Random (Subject VC) 

keep     

   

               

Type III Tests of Fixed Effectsa                 Source  Numerator df  Denominator df  F  Sig.         like_by_valence  4.000  195.094  408.613  0.000         a. Dependent Variable: valence_response. 

               

Estimates of Fixed Effectsa                 Parameter  Estimate  Std. Error  df  t  Sig.  95% Confidence Interval               Lower 

Bound Upper Bound 

 

immoral‐negative  124.154  4.378  255.531  28.358  0.000  115.532  132.775   moral‐negative  134.484  4.378  255.509  30.719  0.000  125.863  143.106   immoral‐positive  124.635  4.378  255.473  28.470  0.000  116.014  133.256   moral‐positive  115.312  4.378  255.473  26.340  0.000  106.691  123.933   a. Dependent Variable: Corrugator Response Neutral Segment. 

           

Custom Hypothesis Test 1 (immoral‐pos vs. immoral‐neg) 

             

Contrast Estimatesa,b                 Contrast  Estimate  Std. 

Error df  Test Value  t  Sig.  95% Confidence Interval 

              Lower Bound 

Upper Bound 

L1  ‐0.481  5.053  382.366  0.000  ‐0.095  0.924  ‐10.417  9.454 a. immoral‐pos vs. immoral‐neg 

               

b. Dependent Variable: valence_response 

               

     

               

Custom Hypothesis Test 2 (moral‐pos vs. moral‐neg) 

             

Contrast Estimatesa,b                 Contrast  Estimate  Std. 

Error df  Test Value  t  Sig.  95% Confidence Interval 

              Lower Bound 

Upper Bound 

L1  19.173  5.053  382.340  0.000  3.794  0.000  9.237  29.108 

Page 206: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

188

a. moral‐pos vs. moral‐neg 

               

b. Dependent Variable: valence_response 

               

 

C3.1  

Model Summary Character Manipulation: Study 3 

    total cases  cases after baseline  data loss     Character Manipulation Corrugator  277760.000  268170.000  0.035 

‐2 LL  nr of parameters 

p model fit (chi‐square distribution 

model comparision 

predictor added  action 

  Model 0  2908526.089  2.000  Intercept Only    

  Model 1  2902559.555  3.000  0.000  better  Subject Random  keep 

  Model 2  2897409.341  4.000  0.000  better  Item Random  keep 

  Model 3  2897381.986  7.000  0.000  better  Like Conditie Fixed  keep 

  Model 4  2887639.735  16.000  0.000  better  Like Conditie Random  keep 

  Model 4  2887638.017  17.000  0.190  not better  Moral Linear Fixed  remove 

  Model 4  2887518.662  17.000  0.000  better  Immoral Linear Fixed  keep 

  Model 5  2887483.288  18.000  0.000  better  Ingroup Linear Fixed  keep 

  Model 6  2887460.261  19.000  0.000  better  Outgroup Linear Fixed  keep 

  Model 7  2885750.824  24.000  0.000  better  Immoral Linear Random  keep 

  Model 8  2885292.822  30.000  0.000  better  Ingroup Linear Random  keep 

  Model 9  2885113.681  37.000  0.000  better  Outgroup Linear Random  keep 

  Model 10  2885110.117  38.000  0.059  not better  Moral Quadratic Fixed  remove 

  Model 11  2884947.628  38.000  0.000  better  Immoral Quadratic Fixed  keep 

  Model 12  2884942.294  39.000  0.021  better  Ingroup Quadratic Fixed  remove 

  Model 13  2884942.177  40.000  0.732  not better  Outgroup Quadratic Fixed  keep 

  Model 14  2882090.422  47.000  0.000  better  Immoral Quad Random  keep 

  Model 14  0.000  0.000  0.000  no convergence  Ingroup Quad Random  remove 

  Model 15  2882088.651  48.000  0.183  not better  Moral Cube Fixed  remove 

  Model 16  2882087.577  48.000  0.092  not better  Immoral Cube Fixed  remove 

  Model 17  2882090.419  48.000  0.956  not better  Ingroup Cube Fixed  remove 

  Model 8  2882082.145  48.000  0.004  better  Outgroup Cube Fixed  keep 

  Model 19  0.000  0.000  0.000  no convergence  Outgroup Cube Random  remove 

  Model 20  2882081.506  49.000  0.424  not better  Block Order  remove 

 

Page 207: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  189

C3.2  

Parameter Estimates Character Manipulation: Study 3 

Estimates of Fixed Effectsa 

Parameter  Estimate  Std. Error  df  t  Sig. 

95% Confidence Interval 

Lower Bound  Upper Bound 

Moral  103.930  1.333  112.504  77.992  0.000  101.290  106.570 

Immoral  111.961  4.513  64.933  24.806  0.000  102.947  120.975 

Ingroup  104.287  1.279  130.894  81.525  0.000  101.756  106.817 

Outgroup  104.397  1.117  152.774  93.425  0.000  102.189  106.604 Linear Immoral  2.191  1.111  62.017  1.972  0.053  ‐0.030  4.412 Linear Ingroup  1.192  0.627  61.900  1.901  0.062  ‐0.062  2.446 Linear Outgroup  2.260  0.622  299.092  3.634  0.000  1.036  3.484 Quadratic Immoral  ‐2.883  1.540  61.983  ‐1.873  0.066  ‐5.961  0.195 Quadratic Ingroup  0.509  0.219  267175.317  2.322  0.020  0.079  0.939 Cubic Outgroup  ‐0.718  0.250  267175.317  ‐2.877  0.004  ‐1.208  ‐0.229 a. Dependent Variable: Corrugator Response Character Manipulation 

Estimatesa 

likeConditie  Mean  Std. Error  df 

95% Confidence Interval 

Lower Bound  Upper Bound 

Moral  103,328b  1.446  101.694  100.460  106.197 

Immoral  111,359b  4.140  65.535  103.092  119.626 

Ingroup  103,685b  1.343  116.767  101.026  106.344 

Outgroup  103,795b  1.213  130.985  101.396  106.195 

a. Dependent Variable: Corrugator Response Character Manipulation b. Covariates appearing in the model are evaluated at the following values: t1_immoral = ,0000, t1_ingroup = ,0000, t1_outgroup = ,0000, t2_immoral = ,2540, t2_ingroup = ,2569, t3_outgroup = ,0000. 

Pairwise Comparisonsa 

(I) likeConditie 

Mean Difference (I‐J)  Std. Error  df  Sig.b 

95% Confidence Interval for Differenceb Lower Bound  Upper Bound 

Moral 

Immoral  ‐8.031  4.752  67.394  0.574  ‐20.949  4.887 

Ingroup  ‐0.357  1.400  224.467  1.000  ‐4.084  3.370 

Outgroup  ‐0.467  1.319  245.921  1.000  ‐3.975  3.041 

Immoral 

Moral  8.031  4.752  67.394  0.574  ‐4.887  20.949 

Ingroup  7.674  4.634  68.080  0.614  ‐4.920  20.268 

Outgroup  7.564  4.628  67.760  0.641  ‐5.014  20.142 

Ingroup 

Moral  0.357  1.400  224.467  1.000  ‐3.370  4.084 

Immoral  ‐7.674  4.634  68.080  0.614  ‐20.268  4.920 

Outgroup  ‐0.110  1.194  403.698  1.000  ‐3.277  3.057 

Outgroup 

Moral  0.467  1.319  245.921  1.000  ‐3.041  3.975 

Immoral  ‐7.564  4.628  67.760  0.641  ‐20.142  5.014 

Page 208: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

190

Ingroup  0.110  1.194  403.698  1.000  ‐3.057  3.277 

Based on estimated marginal means 

a. Dependent Variable: Corrugator Response Character Manipulation 

b. Adjustment for multiple comparisons: Bonferroni. 

 

Custom Hypothesis Test 1 (immoral linear vs ingroup linear) 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval Lower Bound  Upper Bound 

L1  0.999  1.161  62.057  0.000  0.861  0.393  ‐1.322  3.321 

a. immoral linear vs ingroup linear 

b. Dependent Variable: corrugator response Character Manipulation 

Custom Hypothesis Test 2 (ingroup linear vs outgroup linear) 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval Lower Bound  Upper Bound 

L1  ‐1.068  0.664  225.174  0.000  ‐1.608  0.109  ‐2.377  0.241 

a. ingroup linear vs outgroup linear 

b. Dependent Variable: corrugator response Character Manipulation 

Custom Hypothesis Test 3 (immoral linear vs outgrup linear) 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval Lower Bound  Upper Bound 

L1  ‐0.069  1.208  84.431  0.000  ‐0.057  0.955  ‐2.471  2.333 

a. immoral linear vs outgrup linear 

b. Dependent Variable: corrugator response Character Manipulation 

Custom Hypothesis Test 4 (outgroup quadratic vs immoral quadratic) 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval Lower Bound  Upper Bound 

L1  ‐3.392  1.555  64.524  0.000  ‐2.181  0.033  ‐6.499  ‐0.286 

a. outgroup quadratic vs immoral quadratic 

b. Dependent Variable: corrugator response Character Manipulation 

 

Page 209: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  191

C3.3  

Model Summary Affective State Adjective: Study 3 

    total cases 

cases after baseline 

data loss   

Affective State Adjective Corrugator  79360  76620  3.45% 

  ‐2 LL  nr of parameters 

p model fit (chi‐square distribution) 

model comparision 

added predictor  action 

Model 0  901497.227  2.0  Intercept Only 

Model 1  897288.610  3.0  0.000  better  Subject Random  keep 

Model 2  896040.156  4.0  0.000  better  Item Random  keep 

Model 3  896039.477  5.0  0.410  not better  Manipulation type Fixed keep for interaction 

Model 4  896039.476  6.0  0.975  not better  Likeability Fixed keep for interaction 

Model 5  895996.454  7.0  0.000  better  Event Valence Fixed  keep 

Model 6  895995.958  8.0  0.481  not better  Manipulation Type*Likeability Fixed keep for interaction 

Model 7  895993.409  9.0  0.110  not better Manipulation Type*Event Valence Fixed 

keep for interaction 

Model 8  895989.189  10.0  0.040  better  Likeability*EventValence Fixed  keep 

Model 9  895982.633  11.0  0.010  better Manipulation Type*Likeability*Event Valence Fixed  keep 

Model 10  0.000  0.0  nb 

no convergence 

Manipulation Type*Likeability*Event Valence Random  remove 

Model 11  895982.629  12.0  0.950  not better  Linear Moral Pos Fixed  remove 

Model 12  895826.012  12.0  0.000  better  Linear Moral Neg Fixed  keep 

Model 13  895821.553  13.0  0.035  better  Linear Immoral Pos Fixed  keep 

Model 14  895812.099  14.0  0.002  better  Linear Immoral Neg Fixed  keep 

Model 15  895812.032  15.0  0.796  not better  Linear Ingroup Pos Fixed  remove 

Model 16  895751.948  15.0  0.000  better  Linear Ingroup Neg Fixed  keep 

Model 17  895751.244  16.0  0.401  not better  Linear Outgroup Pos Fixed  remove 

Model 18  895691.052  16.0  0.000  better  Linear Outgroup Neg Fixed  keep 

Model 19  893205.663  18.0  0.000  better  Linear Moral Neg Random  keep 

Model 20  893049.734  21.0  0.000  better  Linear Immoral Pos Random  keep 

Model 21  0.000  0.0  nb 

no convergence  Linear Immoral Neg Random  remove 

Model 22  892285.545  25.0  0.000  better  Linear Ingroup Neg Random  keep 

Model 23  891728.969  30.0  0.000  better  Linear Outgroup Neg Random  keep 

Model 24  891728.391  31.0  0.447  not better  Quadratic Moral Pos Fixed  remove 

Model 25  891727.445  31.0  0.217  not better  Quadratic Moral Neg Fixed  remove 

Model 26  891725.609  31.0  0.067  not better  Quadratic Immoral Pos Fixed  remove 

Model 27  891727.977  31.0  0.319  not better  Quadratic Immoral Neg Fixed  remove 

Model 28  891728.881  31.0  0.767  not better  Quadratic Ingroup Pos Fixed  remove 

Model 29  891728.108  31.0  0.353  not better  Quadratic Ingroup Neg Fixed  remove 

Model 30  891728.965  31.0  0.950  not better  Quadratic Outgroup Pos Fixed  remove 

Model 31  891728.727  31.0  0.623  not better  Quadratic Outgroup Neg Fixed  remove 

Model 32  891728.833  31.0  0.712  not better  Cubic Moral Pos Fixed 

Model 33  891722.749  31.0  0.013  better  Cubic Moral Neg Fixed  keep 

Model 34  891721.970  32.0  0.377  not better  Cubic Immoral Pos Fixed  remove 

Model 35  891722.532  32.0  0.641  not better  Cubic Immoral Neg Fixed  remove 

Model 36  891722.494  32.0  0.614  not better  Cubic Ingroup Pos Fixed 

Model 37  891713.807  32.0  0.003  better  Cubic Ingroup Neg Fixed  keep 

Model 38  891713.233  33.0  0.449  better  Cubic Outgroup Pos Fixed  remove 

Model 39  891708.201  33.0  0.018  better  Cubic Outgroup Neg Fixed  keep 

Model 40  0.000  34.0  nb 

no convergence  Cubic Moral Neg Random  remove 

Page 210: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

192

Model 41  0.000  34.0  nb 

no convergence  Cubic Ingroup Neg Random  remove 

Model 42  0.000  34.0  nb 

no convergence  Cubic Outgroup Neg Random  remove 

Model 43  891706.713  34.0  0.223  not better  Block Order  remove 

 

C3.4  

Parameter Estimates Affective State Adjective: Study 3 

Type III Tests of Fixed Effectsa Source  Numerator df  Denominator df  F  Sig. Manipulation Type*Likeability*Valence*  8.000  276.701  232.233  0.000 Linear Moral Neg  1.000  77.036  7.001  0.010 Linear Immoral Pos  1.000  62.226  1.118  0.294 Linear Immoral Neg  1.000  75797.107  10.031  0.002 Linear Ingroup Neg  1.000  118.517  11.055  0.001 Linear Outgroup Neg  1.000  150.251  11.745  0.001 Cubic Moral Neg  1.000  75797.107  6.221  0.013 Cubic Ingroup Neg  1.000  75797.107  8.944  0.003 Cubic Outgroup Neg  1.000  75797.107  5.607  0.018 a. Dependent Variable: Corrugator Response Affective State Adjective. 

 

Estimates of Fixed Effectsa 

Parameter  Estimate  Std. Error  df  t  Sig. 

95% Confidence Interval 

Lower Bound  Upper Bound 

Moral Pos  109.164  3.215  128.000  33.953  0.000  102.803  115.526 

Moral Neg  121.855  3.216  128.178  37.887  0.000  115.491  128.219 

Immoral Pos  116.140  3.216  128.182  36.110  0.000  109.776  122.504 

Immoral Neg  116.827  3.217  128.231  36.320  0.000  110.463  123.192 

Ingroup Pos  110.187  3.215  127.935  34.275  0.000  103.825  116.548 

Ingroup Neg  120.420  3.216  128.081  37.448  0.000  114.057  126.783 

Ingroup Pos  108.677  3.216  128.089  33.795  0.000  102.314  115.040 

Ingroup Neg  120.196  3.218  128.391  37.355  0.000  113.830  126.563 

Linear Moral Neg  56.394  21.313  77.036  2.646  0.010  13.954  98.833 

Linear Immoral Pos  6.593  6.235  62.226  1.057  0.294  ‐5.870  19.056 

Linear Immoral Neg  9.113  2.877  75797.107  3.167  0.002  3.473  14.752 

Linear Ingroup Neg  43.392  13.051  118.517  3.325  0.001  17.550  69.235 

Linear Outgroup Neg  39.676  11.577  150.251  3.427  0.001  16.801  62.551 

Cubic Moral Neg  ‐117.162  46.973  75797.107  ‐2.494  0.013  ‐209.229  ‐25.096 

Cubic Ingroup Neg  ‐140.036  46.826  75797.107  ‐2.991  0.003  ‐231.815  ‐48.258 

Cubic Outgroup Neg  ‐111.869  47.246  75797.107  ‐2.368  0.018  ‐204.471  ‐19.268 

a. Dependent Variable: Corrugator Response Affective State Adjective. 

 

 

Page 211: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  193

Custom Hypothesis Test (linear ingroupneg vs linear outgroupneg) 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound Upper Bound 

L1  3.717  11.212  998.582  0.000  0.332  0.740  ‐18.285  25.718 

a. linear ingroupneg vs linear outgroupneg 

b. Dependent Variable: Corrugator Response Affective State Adjective. 

Custom Hypothesis Test (cubic ingroupneg vs cubic outgroupneg) 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound Upper Bound 

L1  ‐28.167  66.519  75797.107  0.000  ‐0.423  0.672  ‐158.544  102.210 

a. cubic ingroupneg vs cubic outgroupneg 

b. Dependent Variable: Corrugator Response Affective State Adjective. 

Custom Hypothesis Test (moral‐pos vs moral‐neg) 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound Upper Bound 

L1  ‐12.691  2.586  505.899  0.000  ‐4.907  0.000  ‐17.772  ‐7.609 

a. moral‐pos vs moral‐neg 

b. Dependent Variable: Corrugator Response Affective State Adjective. 

Custom Hypothesis Test (immoral‐pos vs immoral‐neg) 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound Upper Bound 

L1  ‐0.687  2.588  507.310  0.000  ‐0.265  0.791  ‐5.772  4.398 

a. immoral‐pos vs immoral‐neg 

b. Dependent Variable: Corrugator Response Affective State Adjective. 

Custom Hypothesis Test (ingroup‐pos vs ingroup‐neg) 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound Upper Bound 

L1  ‐10.234  2.585  504.923  0.000  ‐3.958  0.000  ‐15.313  ‐5.154 

a. ingroup‐pos vs ingroup‐neg 

Page 212: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

194

b. Dependent Variable: Corrugator Response Affective State Adjective. 

Custom Hypothesis Test (ingroup‐pos vs outgroup‐pos) 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound Upper Bound 

L1  1.509  2.585  504.988  0.000  0.584  0.560  ‐3.570  6.588 

a. ingroup‐pos vs outgroup‐pos 

b. Dependent Variable: Corrugator Response Affective State Adjective. 

Custom Hypothesis Test (ingroup‐neg vs outgroup‐neg) 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound Upper Bound 

L1  0.224  2.589  507.673  0.000  0.087  0.931  ‐4.862  5.310 

a. ingroup‐neg vs outgroup‐neg 

b. Dependent Variable: Corrugator Response Affective State Adjective. 

Custom Hypothesis Test (outgroup‐pos vs outgroup‐neg) 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound Upper Bound 

L1  ‐11.519  2.589  507.743  0.000  ‐4.449  0.000  ‐16.605  ‐6.433 

a. outgroup‐pos vs outgroup‐neg 

b. Dependent Variable: Corrugator Response Affective State Adjective. 

 

C3.5  

Model Summary Affect Reason: Study 3 

total cases 

cases after baseline  data loss 

Affect Reason  198400  191550  3.45% 

  ‐2 LL  nr of parameters 

p model fit (chi‐square distribution) 

model comparision 

Added predictor  action 

Model 0  2548720.526  2  Intercept Only 

Model 1  2532885.727  3  0.000  better  Subject Random  keep 

Model 2  2526668.46  4  0.000  better  Item Random  keep 

Page 213: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  195

Model 3  2526664.357  5  0.043  not better Manipulation type Fixed 

keep for interaction 

Model 4  2526663.69  6  0.414  not better  Likeability Fixed keep for interaction 

Model 5  2526523.61  7  0.000  better  Event Valence Fixed  keep 

Model 6  2526523.154  8  0.499  not better Manipulation Type*Likeability Fixed 

keep for interaction 

Model 7  2526522.866  9  0.592  not better 

Manipulation Type*Event Valence Fixed 

keep for interaction 

Model 8  2526510.725  10  0.000  better Likeability*EventValence Fixed  keep 

Model 9  2526505.938  11  0.029  better 

Manipulation Type*Likeability*Event Valence Fixed  keep 

Model 10  0  0  n.b. no convergence 

Manipulation Type*Likeability*Event Valence Random  remove 

Model 11  2526505.866  12  0.788  not better  Linear Moral Pos Fixed  remove 

Model 12  2526328.258  12  0.000  better  Linear Moral Neg Fixed  keep 

Model 13  2526321.29  13  0.008  better Linear Immoral Pos Fixed  keep 

Model 14  2526169.983  14  0.000  better Linear Immoral Neg Fixed  keep 

Model 15  2526169.979  15  0.950  not better Linear Ingroup Pos Fixed  remove 

Model 16  2526009.561  15  0.000  better Linear Ingroup Neg Fixed  keep 

Model 17  2526009.561  16  1.000  not better Linear Outgroup Pos Fixed  remove 

Model 18  2525950.654  16  0.000  better Linear Outgroup Neg Fixed  keep 

Model 19  2524008.527  18  0.000  better Linear Moral Neg Random  keep 

Model 20  2523705.108  21  0.000  better Linear Immoral Pos Random  keep 

Model 21  2521529.994  25  0.000  better Linear Immoral Neg Random  keep 

Model 22  2520054.253  30  0.000  better Linear Ingroup Neg Random  keep 

Model 23  2519616.072  36  0.000  better Linear Outgroup Neg Random  keep 

Model 24  2519616.036  37  0.850  not better Quadratic Moral Pos Fixed  remove 

Model 25  2519541.076  37  0.000  better Quadratic Moral Neg Fixed  keep 

Model 26  2519534.389  38  0.010  better Quadratic Immoral Pos Fixed  keep 

Model 27  2519506.896  39  0.000  better Quadratic Immoral Neg Fixed  keep 

Model 28  2519506.499  40  0.529  not better Quadratic Ingroup Pos Fixed  remove 

Model 29  2519451.237  40  0.000  better Quadratic Ingroup Neg Fixed  keep 

Model 30  2519451.047  41  0.663  not better Quadratic Outgroup Pos Fixed  remove 

Model 31  2519388.856  41  0.000  better Quadratic Outgroup Neg Fixed  remove 

Model 32  2518159.402  48  0.000  better Quadratic Moral Neg Random  keep 

Model 33  0  0  n.b. no convergence 

Quadratic Immoral Pos Random  remove 

Model 34  0  0  n.b. no convergence 

Quadratic Immoral Neg Random  remove 

Model 35  0  0  n.b. no convergence 

Quadratic Ingroup Neg Random  remove 

Model 36  0  0  n.b. no convergence 

Quadratic Outgroup Neg Random  remove 

Model 37  2518124.197  49  0.000  better  Cubic Moral Neg Fixed  keep 

Page 214: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

196

Model 38  2518120.8  50  0.065  not better Cubic Immoral Pos Fixed  remove 

Model 39  2518096.146  50  0.000  better Cubic Immoral Neg Fixed  keep 

Model 40  2518096.012  51  0.714  not better  Cubic Ingroup Pos Fixed  remove 

Model 41  2518074.252  51  0.000   better Cubic Ingroup Neg Fixed  keep 

Model 42  2518074.233  52  0.890 no convergence 

Cubic Outgroup Pos Fixed  remove 

Model 43  2518071.724  52  0.112  not better Cubic Outgroup Neg Fixed  remove 

Model 44  0  52  n.b. no convergence 

Cubic Moral Neg Random  remove 

Model 45  0  52  n.b. no comvergence 

Cubic Immoral Neg Random  remove 

Model 46  0  52  n.b. no convergence 

Cubic Ingroup Neg Random  remove 

Model 47  2518072.146  52  0.147  not better  Block Order  remove 

 

C3.5  

Parameter Estimates Affective Reason: Study 3 

Type III Tests of Fixed Effectsa Source  Numerator df  Denominator df  F  Sig. Manipulation Type*Likeability*Valence*  8  291.262  87.888  0.000 Linear Moral Neg  1  82.812  18.598  0.000 Linear Immoral Pos  1  61.735  1.012  0.318 Linar Immoral Neg  1  80.335  14.327  0.000 Linear Ingroup Neg  1  83.231  16.666  0.000 Linear Outgroup Neg  1  61.885  7.329  0.009 Quadratic Moral Neg  1  67.376  6.016  0.017 Quadratic Immoral Pos  1  190585.271  6.744  0.009 Quadratic Immoral Neg  1  190585.271  27.722  0.000 Quadratic Ingroup Neg  1  190585.271  56.109  0.000 Quadratic Outgroup Neg  1  190585.271  62.867  0.000 Cubic Moral Neg  1  190585.271  35.218  0.000 Cubic Immoral Neg  1  190585.271  28.057  0.000 Cubic Ingroup Neg  1  190585.271  21.895  0.000 a. Dependent Variable: Corrugator Response Affect Reason 

 

Estimates of Fixed Effectsa 

Parameter  Estimate  Std. Error  df  t  Sig. 

95% Confidence Interval 

Lower Bound  Upper Bound 

Moral Pos  111.003  7.535  115.477  14.731  0.000  96.078  125.929 

Moral Neg  172.344  7.639  121.958  22.561  0.000  157.222  187.466 

Immoral Pos  129.447  7.639  121.958  16.946  0.000  114.325  144.569 

Immoral Neg  151.351  7.639  121.988  19.812  0.000  136.227  166.474 

Ingroup Pos  110.935  7.535  115.458  14.722  0.000  96.010  125.860 

Ingroup Neg  161.521  7.638  121.887  21.147  0.000  146.401  176.641 

Ingroup Pos  110.079  7.536  115.504  14.607  0.000  95.153  125.006 

Ingroup Neg  153.927  7.641  122.099  20.144  0.000  138.800  169.053 

Linear Moral Neg  41.989  9.736  82.812  4.313  0.000  22.623  61.355 

Linear Immoral Pos  4.270  4.244  61.735  1.006  0.318  ‐4.214  12.755 

Page 215: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  197

Linar Immoral Neg  38.772  10.243  80.335  3.785  0.000  18.389  59.155 

Linear Ingroup Neg  38.438  9.416  83.231  4.082  0.000  19.712  57.165 

Linear Outgroup Neg  12.368  4.568  61.885  2.707  0.009  3.235  21.500 

Quadratic Moral Neg  ‐20.315  8.282  67.376  ‐2.453  0.017  ‐36.845  ‐3.785 

Quadratic Immoral Pos  ‐6.234  2.401  190585.271  ‐2.597  0.009  ‐10.939  ‐1.529 Quadratic Immoral Neg  ‐12.653  2.403  190585.271  ‐5.265  0.000  ‐17.363  ‐7.943 

Quadratic Ingroup Neg  ‐17.926  2.393  190585.271  ‐7.491  0.000  ‐22.616  ‐13.235 Quadratic Outgroup Neg  ‐19.145  2.415  190585.271  ‐7.929  0.000  ‐23.877  ‐14.412 

Cubic Moral Neg  ‐22.639  3.815  190585.271  ‐5.934  0.000  ‐30.116  ‐15.162 

Cubic Immoral Neg  ‐20.228  3.819  190585.271  ‐5.297  0.000  ‐27.712  ‐12.743 

Cubic Ingroup Neg  ‐17.794  3.803  190585.271  ‐4.679  0.000  ‐25.248  ‐10.341 

a. Dependent Variable: Corrugator Response Affect Reason 

 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound  Upper Bound 

L1  34.501  8.085  95.646  0.000  4.267  0.000  18.451  50.552 

a. linear immoral‐pos vs. immoral‐neg 

b. Dependent Variable: Corrugator Response Affect Reason 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound  Upper Bound 

L1  ‐26.071  6.412  124.783  0.000  ‐4.066  0.000  ‐38.760  ‐13.381 

a. linear ingroup‐neg‐neg vs. outgroup‐neg 

b. Dependent Variable: Corrugator Response Affect Reason 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound  Upper Bound 

L1  ‐1.219  3.400  190585.271  0.000  ‐0.359  0.720  ‐7.882  5.444 

a. quadratic ingroup‐neg‐neg vs. outgroup‐neg 

b. Dependent Variable: Corrugator Response Affect Reason 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound  Upper Bound 

L1  ‐61.340  5.755  554.539  0.000  ‐10.658  0.000  ‐72.645  ‐50.036 

a. moral‐pos vs moral‐neg 

b. Dependent Variable: Corrugator Response Affect Reason 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound  Upper Bound 

L1  ‐18.444  5.755  554.546  0.000  ‐3.205  0.001  ‐29.748  ‐7.139 

Page 216: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

198

a. moral‐pos vs immoral‐pos 

b. Dependent Variable: Corrugator Response Affect Reason        

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound  Upper Bound 

L1  20.993  5.891  608.660  0.000  3.564  0.000  9.424  32.562 

a. moral‐neg vs immoral‐neg 

b. Dependent Variable: Corrugator Response Affect Reason 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound  Upper Bound 

L1  ‐21.904  5.891  608.663  0.000  ‐3.718  0.000  ‐33.472  ‐10.335 

a. immoral‐pos vs immoral‐neg 

b. Dependent Variable: Corrugator Response Affect Reason 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound  Upper Bound 

L1  ‐50.586  5.753  553.830  0.000  ‐8.792  0.000  ‐61.887  ‐39.285 

a. ingroup‐pos vs ingroup‐neg 

b. Dependent Variable: Corrugator Response Affect Reason 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound  Upper Bound 

L1  0.856  5.617  503.241  0.000  0.152  0.879  ‐10.180  11.892 

a. ingroup‐pos vs outgroup‐pos 

b. Dependent Variable: Corrugator Response Affect Reason 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound  Upper Bound 

L1  7.594  5.892  608.997  0.000  1.289  0.198  ‐3.976  19.164 

a. ingroup‐neg vs outgroup‐neg 

b. Dependent Variable: Corrugator Response Affect Reason 

Contrast Estimatesa,b 

Contrast  Estimate  Std. Error  df  Test Value  t  Sig. 

95% Confidence Interval 

Lower Bound  Upper Bound 

L1  ‐43.847  5.759  555.900  0.000  ‐7.614  0.000  ‐55.159  ‐32.536 

a. outgroup‐pos vs outgroup‐neg 

b. Dependent Variable: Corrugator Response Affect Reason 

Page 217: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  199

Supplementary Information D 

D1 – Study 1 

 

D1 – Study 1 

 

 

Page 218: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

200

D2 – Study 2 

 

D2 – Study 2 

 

 

 

Page 219: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  201

D2 – Study 2 

 

 

 

 

 

 

 

 

 

 

 

Page 220: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

202

D3 – Study 3 

 

 

 

 

 

 

 

 

 

 

 

Page 221: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  203

D3 – Morality: Study 3 

 

D3 – Minimal Groups: Study 3 

 

Page 222: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

204

D3 – Morality: Study 3 

 

D3 – Minimal Groups: Study 3 

Page 223: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  205

Supplementary Information E   

E1 ‐ Study 2  

In our previous study ('t Hart B. , Struiksma, van Boxtel, & Van Berkum, Emotion in 

Stories: A  facial EMG study on simulation vs. moral evaluation, under review) we 

found subtle differences in the way the corrugator responded to the manipulation 

of  character  morality  and  affective  event  valence  based  on  scores  from  the 

Adolescent Measure of Empathy and Sympathy (Vossen, Piotrowski, & Valkenburg, 

Development of the Adolescent Measure of Empathy and Sympathy (AMES), 2015). 

This  questionnaire measures  three  components  of  pro‐social  emotion:  cognitive 

empathy (understanding what the other feels), affective empathy (feeling what the 

other feels), and sympathy  (feeling for the other).  In our previous experiment we 

found that the higher participants scored on Affective Empathy the more negative 

affect  the  corrugator  reflected  at  immoral  actions  and  at unfair  affective  events 

(moral‐negative and immoral‐positive).  

We have also  included the Moral Foundations Questionnaire (Graham, et 

al.,  2011)  to  investigate  whether  participants’  attachment  to  the  morality 

dimension of fairness influenced the corrugator response. We suspected fairness to 

be an especially  salient moral dimension because  the evaluation of  the affective 

event hinges on whether  it  is considered fair or unfair  in  light of the protagonist’s 

moral status. 

We  calculated an average  score  for each  subscale of  the AMES  for each 

subject,  ranging  from 1  to 5. To  investigate  the effect of each of  these  individual 

measures  on  the  fEMG  response,  we  used  the  mixed  models  procedure.  We 

analysed  individual  differences  in  average  corrugator  activation  to  each  of  the 

three segments by including each personality trait as a continuous covariate in the 

fixed part of a  simplified model without  time  components. The personality  traits 

included affective empathy (M = 3.04, range = 1.25‐4.25), cognitive empathy (M = 

Page 224: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

206

3.56, range = 2.25‐5.00), sympathy (M = 3.98, range = 2.33‐5.00) and fairness (M = 

3.66, range = 2.50‐4.80).  

At  the  character  morality  segment  we  found  an  effect  for  affective 

empathy  only.  Our  analysis  revealed  that  if  participants  scored  higher  on  the 

affective empathy scale, they tended to frown less in response to immoral actions 

(b = −26.98, t (60.22) = −2.52, p = .014, 95% CI [−48.39, −5.59]). This result not only 

did not replicate our finding from the previous experiment, it actually displayed the 

exact reverse effect; higher affective empathy scores  led to more rather than  less 

frowning during immoral actions. 

At the affective state adjective segment corrugator activity only interacted 

with cognitive empathy, and there only for the moral‐negative. The effect was such 

that the higher participants scored on cognitive empathy, the less they frowned at 

bad things happening to good people (B = −11.73, t (65.17) = −2.81, p < .01, 95% CI 

[−20.07, −3.40]). Higher cogni ve empathy scores indicate a be er developed skill 

at  understanding  how  people  feel.  Of  course,  a  better  understanding  of  how 

someone  feels  does  not  necessarily  mean  that  you  will  feel  bad  for  them 

(sympathetic  response)  and  feel what  they  feel  (affective  empathetic  response). 

This effect of cognitive empathy was new, we found no such effects in our previous 

study,  although  there we were  unable  to  test  the  effect  of  these  traits  on  the 

affective state adjective separately. 

At the affect reason segment we found an effect of three traits for moral‐

negative, i.e., bad things happening to good people. First, we once again found an 

effect  of  cognitive  empathy  for  moral‐negative.  This  effect  was  in  the  same 

direction  as  for  the  affective  state  adjective  segment:  higher  cognitive  empathy 

scores meant less corrugator activity (B = −26.03, t (63.38) = −4.36, p < .001, 95% CI 

[−37.98, −14.09]).  

Secondly, increasing affective empathy scores corresponded to a decrease 

of  negative  affect  on  the  corrugator.  This  result  is  similar  to  that  during  the 

character morality segment (B = −10.96, t (63.92) = −2.05, p = .045, 95% CI [−21.65, 

Page 225: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  207

−0.27]). Affective empathy measures the tendency of people to feel what another 

feels, we would therefore expect more negative affect for good characters meeting 

misfortune  for  participants  who  scored  higher  on  this  trait.  In  fact,  we  found 

precisely that previously ('t Hart B. , Struiksma, van Boxtel, & Van Berkum, Emotion 

in Stories: A  facial EMG  study on  simulation vs. moral evaluation, under  review). 

The result here represents is the opposite.  

The  third  individual  trait  that  revealed an effect on corrugator activity  in 

response  to moral‐negative  conditions was  fairness.  This measure  reflected how 

strongly  a  person  adhered  to  the moral  dimension  of  fairness.  Here  the  effect 

seemed  more  expected;  the  more  people  adhered  to  fairness,  the  more  they 

frowned  at  bad  things  happening  to  good  people, which  is  unfair  (B  =  28.42,  t 

(65.04) = 4.65, p < .001, 95% CI [16.22, 40.62]). However, higher scores for fairness 

also led to more frowning in response to immoral‐negative conditions, which might 

be considered  fair as  it concerns bad characters experiencing something bad  (B = 

13.92, t (65.11) = 2.28, p = .026, 95% CI [1.71, 26.14]).  

All in all, the results of the individual differences present a mixed bag. We 

find  some effects  that go  against not only our expectations, but  also  the  results 

obtained  in a previous experiment with near enough the same materials. For this 

reason, as well as the correlational nature of these results, we are wary of drawing 

strong  conclusions  based  on  these  analyses.  While  we  maintain  that  these 

processes  of  simulation  and  evaluation  could  be  subject  to  some  individual 

variation, our conflicting results as well as the correlational nature of the evidence 

do  not  give  us  a  solid  foundation  to  make  any  claims  regarding  individual 

differences at this time. 

 

 

 

 

 

Page 226: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

208

E2 – Study 3  

Participants completed two questionnaires after completing the facial EMG part of 

the  experiment:  the  Adolescent  Measure  of  Empathy  and  Sympathy  (AMES) 

(Vossen,  Piotrowski,  &  Valkenburg,  2015)  and  the  Moral  Foundations 

Questionnaire (MFQ) (Graham, et al., 2011).The AMES measures traits on a 5‐point 

scale  related  to  pro‐social  emotions  and  makes  a  useful  distinction  between 

affective empathy, i.e., feeling what another feels, (M = 3.13, range = 1.5‐4.75) and 

cognitive empathy, i.e., understanding what another feels, (M = 3.64, range = 2.5‐

4.75) as well as measuring sympathy,  i.e.,  feeling  for another  (M = 4.02,  range = 

3.00‐5.00).  The MFQ  measures  the  importance  an  individual  places  on  several 

dimensions  of  morality.  We  focused  our  analysis  on  the  moral  dimension  of 

fairness as we consider  this  to be  the most  relevant dimension  in  relation  to  the 

evaluation of the affective states and events described for the different characters. 

For  instance,  it  may  be  unfair  for  a  good/ingroup  character  to  experiencing 

something  bad,  but  potentially  less  unfair  if  the  same  is  experienced  by  a 

bad/outgroup character. The fairness subscale is measured using 6 questions on a 

5‐point scale and adding the answers to produce a total score (M = 21.73, range = 

13.00‐29.00)  

To investigate the effects of these individual difference variables we once 

again employed the mixed models procedure, but without the growth‐curve model 

to  investigate  the  temporal  development  of  the  corrugator  signal.  Instead,  we 

tested  the  potential  effect  of  each  individual  difference  variable  on  the  average 

activation for each of our experimental conditions We tested this separately for the 

three critical segments: character manipulation, affective state adjective, and affect 

reason:  e.g.,  does  a  higher  affective  empathy  score  lead  to  higher  average 

corrugator  activity while processing negative  adjectives describing  the emotional 

state of a moral ingroup character? 

 

Page 227: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  209

Character Manipulation.  

For  the  segment  containing  the  description  of  the  character  as  either  moral 

in/outgroup or minimal  in/outgroup, scores for affective empathy, sympathy, and 

fairness  revealed  a  significant  interaction  with  the  overall  average  corrugator 

activity for immoral characters only. In the case of affective empathy we found that 

the higher the score  for affective empathy was, the more  frowning we measured 

when presented with a moral outgroup character  (b = 6.80,  t  (65.91) = 3.60, p < 

.001, 95% CI [3.03, 10.58]). This indicated that those who are more inclined to feel 

what another feels, experienced more negative affect when confronted, however 

abstractly, with a  ‘bad’ person. The  interaction with  sympathy went  in  the  same 

direction, the higher the sympathy score, the more people frowned in response to 

being  introduced  to a moral outgroup character  (b = 12.28,  t  (66.00) = 5.97, p < 

.001, 95% CI [8.18, 16.39]). This pointed to a tendency to experience more negative 

affect by those participants that were more inclined to feel for someone. The final 

interaction for this segment described the effect that those who attached a greater 

importance to fairness tended to frown less in response to being presented with a 

character described as moral outgroup b = −1.81, t (65.54) = −5.74, p < .001, 95% CI 

[−2.44, −1.18]).   

 

Affective State Adjective.  

During  this  segment  the  characters were  described  to  experience  a  positive  or 

negative  emotion. We  once  again  found  interactions with  several  conditions  for 

affective  empathy  and  sympathy,  but  not  for  fairness. We  found  that  affective 

empathy scores  led to higher average activation of the corrugator  for both moral 

ingroup‐negative  (b = 18.88,  t  (75.04) = 4.00, p <  .001, 95% CI  [9.47, 28.29]) and 

moral outgroup‐positive (b = 15.05, t (75.16) = 3.19, p < .01, 95% CI [5.64, 24.46]). 

We  found  that  higher  affective  empathy  scores  also  led  to  higher  average 

activation for minimal ingroup‐negative (b = 18.79, t (74.95) = 3.98, p < .001, 95% CI 

[9.39, 28.20]) and minimal outgroup‐negative (b = 14.53, t (75.92) = 3.07, p <  .01, 

Page 228: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

210

95% CI  [5.10, 23.96]). These  results are  intriguing because while  these conditions 

contain  different  valence  affective  state  adjectives,  they  were  all  evaluated  as 

unfair when you view the valence of the affective state in light of the moral status 

of  the  character.  In  fact,  the main  results  revealed  that  the  corrugator  response 

reflected a negative evaluation for all these conditions.  

We  also  found  effects  of  sympathy  during  this  segment.  The  conditions 

that revealed interactions with sympathy were all those that contained a negative 

affective  state adjective. For  the morality‐based  conditions we  found  that higher 

sympathy  scores  led  to  significantly  higher  average  corrugator  activity  for moral 

ingroup‐negative (b = 32.20, t (74.92) = 6.21, p <  .001, 95% CI [21.86, 42.53]) and 

moral outgroup‐negative (b = 14.99, t (75.20) = 2.89, p < .01, 95% CI [4.65, 25.33]). 

Higher sympathy scores also  led  to more corrugator activity  for minimal  ingroup‐

negative  (b = 12.68,  t  (74.96) = 2.45, p =  .017, 95% CI  [2.35, 23.00]) and minimal 

outgroup‐negative (b = 15.63, t (75.45) = 3.01, p < .01, 95% CI [5.29, 25.97]). Taken 

together,  those  participants  with  a  greater  tendency  to  ‘feel  what  others  feel’ 

displayed more negative affect  in  response  to negative emotions ascribed  to any 

character,  regardless of  in/outgroup status. This provides support  for  the general 

conclusion  that  contextual  evaluation  plays  an  important  role  in  how  affectively 

salient language is processed online. 

 

Affect Reason  

In  this segment participants read  the  final part of  the sentence  that supplied  the 

last bit of context for the affective state the characters were in: the reason or the 

events that elicited the affective state. We once again found  interactions for both 

affective empathy and sympathy scores, but also,  for one condition,  for cognitive 

empathy.    Higher  affective  empathy  scores  led  to  increased  average  corrugator 

activity  for moral  ingroup‐negative  (b = 27.99,  t  (65.32) = 2.33, p =  .023, 95% CI 

[4.05, 51.93]), minimal ingroup‐negative (b = 28.99, t (65.29) = 2.42, p = .018, 95% 

Page 229: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  211

CI  [5.05, 52.93]), and minimal outgroup‐negative  (b = 29.61,  t  (65.53) = 2.47, p = 

.016, 95% CI [5.65, 53.65]).  

Higher sympathy scores again led to increased frowning activity for all four 

negative conditions: moral  ingroup‐negative (b = 63.13, t (65.43) = 4.88, p <  .001, 

95% CI  [37.31, 88.94]), moral outgroup‐negative  (b = 26.00,  t  (65.50) = 2.01, p = 

.049, 95% CI [0.17, 51.83]) minimal ingroup‐negative (b = 36.02, t (65.43) = 2.79, p < 

.01, 95% CI [10.20, 61.84]), and minimal outgroup‐negative (b = 40.47, t (65.57) = 

3.13, p < .01, 95% CI [14.65, 66.29]). We also found an effect of cognitive empathy 

here  for the  first time. Higher scores  for cognitive empathy  led to more  frowning 

for moral ingroup‐negative conditions (b = 39.02, t (65.65) = 2.43, p = .018, 95% CI 

[7.00, 71.04]). 

These results are highly suggestive, in particular the blanketing result that 

higher  sympathy corresponded  to more negative affect being  reflected  in overall 

corrugator activity in response to both negative state adjectives and negative affect 

reasons,  regardless  of  grouping  dimension  or  in/outgroup  status.  These  findings 

run contrary to previous studies, but this could be due to the reduced impact of the 

propositional  character  manipulation  here,  compared  to  the  narrative 

manipulation in previous studies. Higher affective empathy scores also reliably lead 

to  increased  corrugator  activity during  all negative  state  adjectives  and  reasons. 

These  results varied only  for  those  conditions where  the main  corrugator  results 

revealed  the clearest conflict of  language‐driven and simulation: moral outgroup‐

positive and moral outgroup‐negative.  

Having said that, these results are correlational and also vary considerably 

from  the  effects  we  observed  in  previous  studies  using  the  same  or  similar 

materials.  We  therefore  report  these  data  as  interesting,  but  refrain  from 

formulating concrete conclusions based on them.  

 

 

Page 230: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

212

Samenvatting in het Nederlands 

 

Dit proefschrift onderzoekt de  invloed van  twee processen  tijdens het verwerken 

van affectieve  talige  stimuli; evaluatie en  taal‐gestuurde  simulatie. Met  simulatie 

wordt  hier  bedoeld  het  opnieuw  activeren  van  perceptuele,  motorische,  en 

introspectieve (inclusief affectieve) sporen van eerdere ervaringen met de referent 

van  de  talige  stimuli  die  verwerk worden  (Barsalou,  2008).  Dit  proces  van  taal‐

gestuurde simulatie wordt binnen het kader van gegronde cognitie als (al dan niet 

noodzakelijk) onderdeel van  taalbegrip gezien. Met evaluatie wordt hier bedoeld 

de  affectieve  respons  gebaseerd  op  de  evaluatie  van  zowel  individuele  talige 

stimuli  als  de  situatie  waaraan  de  talige  stimulus  als  geheel  refereert  (zie  Van 

Berkum, 2017).  

  Een  aanzienlijk  aantal  studies  heeft  met  behulp  van  elektromyografie 

(EMG)  aangetoond  dat  het  verwerken  van  affectieve,  talige  stimuli  (vaak  losse 

zelfstandige‐ of bijvoeglijke naamwoorden of korte zinnen) inderdaad gepaard gaat 

met  congruente  activatie  van  gezichtsspieren  waarvan  het  bekend  is  dat  deze 

gelinkt  zijn  aan  emotie.  De  corrugator  superciliii,  of  de  ‘fronsspier’, wordt  vaak 

gebruikt in deze studies vanwege de zeer betrouwbare correspondentie tussen de 

activatiepatronen van deze spier en affectieve valentie, d.w.z. positief vs. negatief. 

De corrugator neemt toe in activiteit in respons op negatieve stimuli en neemt af in 

respons  op  positieve  stimuli.  Dit  soort  congruente  gezichtsspier  activiteit wordt 

vaak geïnterpreteerd als taal‐gestuurde simulatie als onderdeel van taalverwerking.  

Echter,  dit  type  experiment  maakt  vaak  gebruik  van  ondubbelzinnig 

positieve  en  negatieve  talige  stimuli.  In  het  dagelijks  leven  komen we  veel  taal 

tegen  waar  de  affectieve  valentie  niet  zo  ondubbelzinnig  is. We  evalueren,  als 

taalverwerker,  vaak  ook  nog  iets  van  wat  we  lezen  of  horen.  Een  interessant 

voorbeeld waar simulatie en evaluatie van één en dezelfde stimulus niet dezelfde 

valentie hebben  is te vinden  in narratieven. Narratieven gaan vaak over karakters 

waar we iets van vinden. De evaluatie van het karakter kan invloed hebben op hoe 

Page 231: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  213

affectieve  talige  stimuli met  betrekking  tot  datzelfde  karakter worden  verwerkt. 

Neem de volgende zin: 

 

1. Mark is verdrietig als hij ziet dat zijn gloednieuwe laptop kapot is gevallen 

 

Afhankelijk van wat de  lezer van een dergelijke zin van Mark vindt zou  je kunnen 

voorspellen  dat  simulatie  en  evaluatie  wel  of  niet  met  elkaar  overeen  zouden 

komen. In het geval dat de lezer Mark een slecht mens vindt zou de evaluatie van 

zijn  verdriet  over  zijn  laptop  eerder  positief  uit  kunnen  pakken,  terwijl  taal‐

gestuurde  simulatie  alsnog  een  negatieve  corrugator  respons  voorspelt.  Dit 

proefschrift stelt drie verschillende modellen op voor hoe deze twee processen uit 

zouden pakken tijdens online taalverwerking.  

Als eerste, enkel‐simulatie. Dit model voorspelt dat, ongeacht de evaluatie 

van de  affectieve betekenis  van  talige  stimuli op basis  van wat de  lezer  van het 

karakter  vindt,  de  corrugator  altijd  taal‐gestuurde  simulatie  zal  reflecteren.  Het 

tweede model, evaluatie‐blokkeert‐simulatie, voorspelt dat de corrugator wellicht 

beschikbaar  is  voor  taal‐gestuurde  simulatie  in  ondubbelzinnige  en 

ongecompliceerde  situaties, maar dat  zodra de  lezer affectief betrokken  is bij de 

talige stimuli alleen evaluatie nog zichtbaar zal zijn  in de corrugator activiteit. Het 

derde  model,  gecombineerde‐aandrijving,  voorspelt  dat  zowel  evaluatie  als 

simulatie  bijdragen  aan  het  patroon  van  corrugator  activiteit  tijdens  online 

taalverwerking.  Deze  drie modellen worden  in  een  serie  van  drie  experimenten 

getoetst. 

 

Experiment 1 

In  experiment  1  lazen  deelnemers  korte  verhaaltjes  (zie  tabel  2.1)  die  op  twee 

kritieke segmenten zijn gemanipuleerd om evaluatie en simulatie tegenover elkaar 

te zetten. In het eerste kritieke segment was te lezen hoe de hoofdpersoon in het 

Page 232: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

214

verhaal moreel of  immoreel handelde  in dezelfde  situatie. Deze manipulatie had 

een  duidelijk  differentieel  corrugator  patroon  tot  gevolg,  waarbij  immorele 

handelingen  een  aanzienlijke  toename  in  corrugator  activiteit  tot  gevolg  had  en 

morele handelingen een meer bescheiden afname in activiteit. Dit resultaat toonde 

aan dat de gevoeligheid van de corrugator voor affectieve valentie ook strekt  tot 

valentie  op  basis  van  moraliteit.  Daarnaast  bevestigde  dit  patroon  dat  onze 

manipulatie succesvol was en dus de voorwaarden voor een contrasterend effect 

van simulatie en evaluatie bij het volgende segment voldaan waren. 

  Het  tweede  kritieke  segment  beschreef  een  positieve  of  negatieve 

affectieve  episode  voor  de  hoofdpersoon  zoals  in  voorbeeld  1  hierboven.  Hier 

zagen we  een  duidelijk  effect  van  de morele  status  van  de  hoofdpersoon.  Voor 

morele  karakters  zagen  we  een  duidelijk  differentieel  patroon  van  corrugator 

activiteit: toenemende activiteit voor negatieve affectieve episodes, en afnemende 

activiteit voor positieve episodes. Dit patroon strookte met eerdere studies, maar 

voor  deze  condities  voorspelden  zowel  simulatie  als  evaluatie  een  dergelijke 

patroon.  

In  het  geval  van  immorele  karakters  voorspelden  evaluatie  en  simulatie 

tegenovergestelde patronen. Een slecht karakter dat  iets goeds overkomt, zou als 

negatief worden  geëvalueerd,  terwijl  simulatie  in  een  dergelijk  geval nog  steeds 

een positieve respons zou voorspellen. De corrugator resultaten  lieten zien dat  in 

het  geval  van  immorele  karakters,  er  in  het  geheel  geen  differentieel  patroon 

ontstond.  Positieve  als  negatieve  affectieve  episodes  van  immorele  karakters 

ontlokten dezelfde corrugator respons zonder duidelijk toename of afname.  

Deze  resultaten  strookten  niet  met  het  enkel‐simulatie  model  of  het 

evaluatie‐blokkeert‐simulatie  model.  De  voorlopige  conclusie  was  dan  ook  dat 

gecombineerde‐aandrijving  het  juiste  model  was,  waarbij  de  tegengestelde 

krachten  van  simulatie  en  evaluatie  in  het  geval  van  immorele  karakters  elkaar 

ophieven.  

 

Page 233: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  215

Experiment 2 

In experiment twee hebben we de stimuli verfijnd. Waar in experiment 1 het twee 

kritieke segment, de affectieve episode, in één blok werden gepresenteerd, werden 

hier de saillante affectieve elementen uit elkaar gehaald om de corrugator respons 

beter  te kunnen evalueren  in  relatie  tot de affectieve  informatie  in het  segment 

(zie tabel 3.1). 

 

2. Mark /  is / verdrietig / als hij ziet dat / zijn gloednieuwe  laptop kapot  is 

gevallen 

Op deze manier hoopten we eventuele corrugator responses die door het gebrek 

aan precisie  in experiment 1 uitgesmeerd waren over de gehele  tijdsperiode, uit 

elkaar te kunnen trekken. Verder waren de stimuli identiek. 

  Wederom  vonden we  een duidelijk differentieel patroon  van  corurgator 

activiteit  tijdens het eerste  kritieke  segment; de  karakter manipulatie. Wederom 

ontlokten  immorele  acties  een  aanzienlijke  toename  in  corrugator  activiteit  en 

zagen we een numerieke afname als reactie op morele acties. Dit is niet alleen een 

replicatie  van de  gevoeligheid  van de  corrugator  voor morele  valentie, maar  gaf 

ook wederom aan dat de manipulatie succesvol was. 

  Het  eerste  kritieke  segment  uit  de  affectieve  episode  was  altijd  een 

bijvoeglijk  naamwoord  dat  een  affectieve  staat  beschreef  van  het  karakter. Hier 

zagen  we  wederom  een  duidelijk  differentieel  patroon  ontstaan  voor  morele 

karakters:  toenemende  activiteit  voor  negatieve  emotionele  toestanden  en 

afnemende activiteit voor positieve emotionele toestanden. Echter zagen we voor 

immorele  karakters, net als  in het eerste experiment, geen differentieel patroon 

voor positieve en negatieve emotionele toestanden. Wat dit segment betreft was 

dit een replicatie van eerdere resultaten. 

  Het tweede kritieke segment uit de affectieve episode  liet een  iets ander 

beeld  zien.  Hier  zagen  we  voor  zowel  morele  als  immorele  karakters  een 

Page 234: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

216

differentieel  patroon  in  de  verwachte  richting.  Echter,  het  differentiële  patroon 

voor  immorele  karakters  was  verminderd  in  vergelijking  met  dat  voor  morele 

karakters.  Al  met  al  leek  dit  experiment  wederom  aan  te  tonen  dat  het 

gecombineerde‐aandrijving model het  juiste was, met als verfijning dat de balans 

van  simulatie  en  evaluatie  kan  verschuiven  afhankelijk  van  het  type  affectieve 

informatie;  d.w.z.  een  bijvoeglijk  naamwoord  dat  een  emotionele  toestand 

beschrijft vs. een frase die een affectief saillante gebeurtenis omschrijft. 

 

Experiment 3 

In  het  derde  experiment  probeerden  we  de  juistheid  van  het  gecombineerde‐

aandrijving model  aan  te  tonen door  te  laten  zien dat de mate  van evaluatie  te 

manipuleren valt, en  zo dus ook de uitkomst van de  tegengestelde krachten van 

evaluatie  en  simulatie. Dit  deden we  door  een manipulatie  van  het  karakter  op 

basis van moraliteit te contrasteren met een manipulatie op basis van een redelijk 

nietszeggende, minimale  groepen manipulatie. Minimale  groepen  zijn  gebaseerd 

op  een  betekenisloze  classificatie  van  de  proefpersoon.  Vervolgens  lazen  de 

proefpersonen dus over morele en  immorele, maar ook over karakters die ofwel 

tot  dezelfde minimale  groep  behoorden  (ingroep),  of  tot  een  andere minimale 

groep (uitgroep). 

  Bij dit experiment werd de karaktermanipulatie niet langer bewerkstelligd 

door een verhalende intro, maar met een simpele vaststelling: 

 

3. Mark is een goed/slecht persoon 

4. Mark is een type P/ type O persoon 

De  corrugator  respons  tijdens dit  segment waren  interessant omdat we  voor de 

moraliteitsmanipulatie  slechts  een  trend‐niveau  respons  zagen  en  voor  de 

minimale  groepen  in  het  geheel  geen  reactie.  Dit  laat  zien  dat  de  evaluatieve 

impact  van moraliteit  inderdaad  groter  is  dan  van minimale  groepen. Daarnaast 

Page 235: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  217

laat het ook  zien het beschrijven van een  concrete  situatie als manipulatie meer 

impact  heeft  dan  het  presenteren  van  die manipulatie  als  propositie.  Dit  is  de 

kracht van narratief. 

  De  kritieke  segmenten  van de  affectieve  episode waren hetzelfde  als  in 

voorbeeld 2. Voor de moraliteitsmanipulatie vonden we, verrassend genoeg, bij het 

bijvoeglijk  naamwoord  dat  een  emotionele  toestand  omschreef  wederom  een 

differentieel patroon voor morele karakters  (aanzienlijke toename voor negatieve 

staten  en  lichte  afname  voor  positieve  staten)  en  geen  verschil  voor  immorele 

karakters (niet significante toename voor zowel positieve als negatieve staten). Dit 

is  verrassend  omdat  hieruit  blijkt  dat  dit  effect  ook  op  kan  treden  zonder  dat 

daaraan  een  duidelijke  affectieve  respons  op  het  karakter  vooraf  gaat.  Voor  de 

minimale groepen vonden we geen enkel verschil voor  in‐ en uitgroep  condities; 

beide  lieten een duidelijk differentieel patroon zien voor positieve (lichte afname) 

en negatieve (duidelijke toename) toestanden.  

  Het  laatste  kritieke  segment,  de  frase  die  een  affectief  saillante 

gebeurtenis beschrijft,  liet voor de moraliteitscondities wederom een verminderd 

differentieel  effect  zien  voor  immorele  karakters  ten  opzichte  van  morele 

karakters.  Verrassend  genoeg  vonden  we  hier  ook  een  licht  verminderd 

differentieel patroon voor uitgroep karakters  ten opzichte van  ingroep karakters. 

We  zijn  voorzichtig  met  het  interpreteren  van  dit  laatste  resultaat,  omdat  dit 

slechts  de  eerste  keer  dat  we  dit  aantonen.  De  resultaten  voor  de 

moraliteitscondities, echter, repliceren resultaten van de eerdere experiment.  

 

De  drie  studies  tesamen  bieden  duidelijk  bewijs  tegen  het  intepreteren  van 

corrugator activiteit  tijdens online  taalverwerking  in  termen van  simulatie alleen. 

Simulatie  alleen  kan de  keer op  keer  gerepliceerde patronen niet  verklaren. Een 

verklaring  in  termen  evaluatie  alleen  lijkt  eveneens  niet  afdoende  gezien  het 

uitblijven  van  een  evaluatieve  respons  op  stimuli  die  doorgaans  wel  degelijk 

evaluatie oproepen (denk aan het lezen van romans en roddelen over derden). Het 

Page 236: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  

218

lijkt er dus op dat, van de drie a priori opgestelde modellen, het gecombineerde‐

aandrijving  model  het  meest  plausibel  is.  Echter,  alternatieven  als  een  model 

waarin  verschillende  typen  evaluatie  tegen  elkaar  in  werken  (bijvoorbeeld 

empathie  en  leedvermaak  of  gerechtigdheid)  of  een  hergeformuleerde  definitie 

van  taal‐gestuurde simulatie waarin voorgaande  informatie een beperkend effect 

heeft op simulatie van  latere segmenten.  In  ieder geval zal toekomstig onderzoek 

naar  affectieve  taalverwerking  binnen  een  raamwerk  van  gegronde  cognitie 

rekening  moeten  houden  met  de  complexiteit  van  affectieve  talige  stimuli  in 

termen van, in ieder geval, evaluatie en simulatie. 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  

Page 237: That’s frowned upon - LOT PublicationsThat’s frowned upon Using facial EMG to track evaluation and simulation during affective language processing Afkeurende blikken Het volgen

  219

Curriculum Vitae  

Björn  ‘t  Hart  was  born  on  October  9th,  1984  in  Assen,  the  Netherlands.  After 

obtaining his VWO diploma  in 2004, he  studied English  Language  and Culture  at 

Groningen University. In 2011, he graduated with a Bachelor’s degree, specialising 

in English  literature. He went on  to study English Linguistics at Leiden University, 

obtaining a Master’s degree (cum laude) in 2012.  

  This dissertation is the result of work carried out between 2012 and 2017 

as a PhD researcher at Utrecht University, within the NWO‐funded project ‘Moving 

the  language user – Affect and perspective  in discourse processing’. Björn  ‘t Hart 

currently  works  as  a  lecturer  with  the  department  of  Communication  and 

Information Sciences as Utrecht University.