universitatea politehnica b - aimas.cs.pub.ro · ca afectivitatea s¸i cognit¸ia sunt dou˘ a...

UNIVERSITATEA POLITEHNICA DIN BUCURESTI

Facultatea de Automatica si CalculatoareDepartamentul de Calculatoare

Artificial Intelligence and Multi-Agent Systems

REZUMATUL TEZEI DE DOCTORAT

Catre un model computational al emotiilorpentru ımbunatatirea performantelor

agentilor

Towards a Computational Model ofEmotions for Enhanced Agent

Performance

Doctorand: M.Sc. Mihaela-Alexandra Puica

Conducator stiintific: Prof. Adina-Magda Florea

2013

FONDUL SOCIAL EUROPEAN Investeşte în oameni!

Programul Operaţional Sectorial pentru Dezvoltarea Resurselor Umane 2007 – 2013Proiect POSDRU/107/1.5/S/76813 – Burse doctorale: investitii in cercetare-inovare-dezvoltare pentru viitor (DocInvest)

UNIVERSITATEA POLITEHNICA DIN BUCUREŞTIFacultatea de Automatică și Calculatoare

Catedra de Calculatoare

Nr. Decizie Senat 225 din 27.09.2013

TEZĂ DE DOCTORATTEZĂ DE DOCTORAT- Rezumat -

Către un model computațional al emoțiilor pentru îmbunătățireaperformanțelor agenților

Towards a Computational Model of Emotions for Enhanced AgentPerformance

Autor: Ing. Mihaela-Alexandra PUICĂ

Conducător de doctorat: Prof.dr.ing. Adina-Magda FLOREA

COMISIA DE DOCTORAT

Preşedinte Prof. dr. ing. Florica MOLDOVEANU de la Universitatea Politehnica din București

Conducător de doctorat Prof. dr. ing. Adina-Magda FLOREA de la Universitatea Politehnica din București

Referent Prof. dr. Viorel NEGRU de la Universitatea de Vest din Timișoara

Referent Prof. dr. Ion SMEUREANU de la Academia de Studii Economice din București

Referent Prof. dr. ing. Florin RĂDULESCU de la Universitatea Politehnica din București

Bucureşti

Catre un model computational al emotiilor pentru ımbunatatirea performantelor

Rezumat

Intr-o lume digitizata, componenta afectiva a utilizatorilor este prea putin luata ınconsiderare. Calculatoarele primesc mai multa putere si mai multa memorie pentru aputea face fata cerintelor computationale actuale ale acestei noi ”societati electronice”.Performanta agentilor este masurata ın functie de eficacitatea (cat de corect) si eficienta(cat de rapid) cu care sunt executate sarcinile. In cazul aplicatiilor de jocuri si divertis-ment, accentul cade pe abilitatile cognitive ale utilizatorilor, fara sa se tina seama de starealor afectiva.

Cu toate acestea, ın ultimele doua decenii s-a format o comunitate de cercetatori care,bazandu-se pe rezultatele din psihologie si stiintele cognitive care subliniaza importantaemotiilor ın vietile noastre, au ınceput sa studieze posibilitatea de a ınzestra agentii ar-tificiali cu abilitati afective, adica de a simula si recunoaste emotii. Simularea emotiilorare doua efecte: pe de-o parte modifica procesul de rationament al agentului, care ducela ımbunatatirea deciziilor luate si la afisarea unui comportament credibil, pe de altaparte transmite emotii audientei. Recunoasterea emotiilor necesita abilitatea de a detectaschimbari ın expresiile faciale, vocea, gesturile sau parametri psihologici ai utilizatorilorsi de a atribui aceste modificari emotiilor specifice care le genereaza. Acest nou domeniucare studiaza agentii artificiali emotionali poarta numele de Calcul Afectiv si se bucura deo comunitate aflata ın plina crestere, cu grupuri de cercetare, reviste si conferinte special-izate pe acest subiect.

In aceasta teza sunt explorate ambele directii de cercetare, simularea si recunoasterea.Plecand de la rezultatele cercetarii care arata influenta pozitiva a componentei afectiveasupra componentei cognitive ın cazul oamenilor, se formeaza ipoteza ca prin modelareamecanismelor interne prin care emotiile apar si influenteaza rationamentul, agentii vorputea lua deicizii mai bune, mai rapid. De asemenea, teza studiaza domeniul interactiuniiom-masina, unde exista un acord ın privinta faptului ca un agent care poate afisa un com-portament emotional, poate recunoaste emotiile utilizatorilor si ısi poate adapta compor-tamentul conform nevoilor acestora, va oferi o interactiune mai naturala si mai usoara siva ajuta utilizatorii sa-si ımbunatateasca performantele cognitive. Nu ın ultimul rand, tezapropune un protocol pentru masurarea performantei agentilor afectivi care sa se consti-tuie ıntr-o baza comuna pentru evaluare ce va ajuta la ımbunatatirea graduala a abilitatilornoilor agenti.

3


Multumiri

Activitatea ın cadrul acestei teze mi-a oferit o viziune asupra a ceea ce ınseamna sa fiicercetator, dar m-a si ajutat sa-mi dezvolt abilitatile de cercetare. Dar acestea nu ar fi fostposibile fara ajutorul unor persoane importante din viata mea.

As dori sa-i multumesc doamnei profesoare Adina-Magda Florea pentru sprijinul siındrumarea continue pe care mi le-a oferit pe parcursul anilor, ın timpul anilor de doc-torat, dar si anterior, ca profesor si coordonator stiintific. Doamna profesoara m-a inspiratsa urmez calea Inteligentei Artificiale si m-a introdus ın domeniul Calculului Afectiv.Increderea, ıntelegerea si ajutorul ei mi-au deschis calea cercetarii stiintifice pe care sperca voi avea sansa sa o explorez mai departe ın cariera.

As vrea sa le multumesc celor de la LIP6 (Laboratoire d’Informatique de Paris 6) dincadrul UPMC (Universite Pierre et Marie Curie) din Paris unde am efectuat stagiul de cer-cetare. Doamnei profesoare Amal El Fallah Seghrouchni, fara de care acest stagiu nu ar fifost posibil, care a avut grija de mine pe parcursul sederii mele acolo si de asemenea mi-apus la ıncercare ideile. Domnului profesor Vincent Corruble care mi-a pus niste ıntrebariinteresante referitoare la cercetarea mea care m-au facut sa aprofundez subiectul si m-auajutat sa ınteleg mai bine directia urmata. Domnului profesor Nicolas Sabouret care amanifestat un interes deosebit fata de cercetarea mea si mi-a oferit idei noi, ıntotdeaunatransmitand energie pozitiva. Sabrinei Campano, cu care am purtat nenumarate discutiireferitoare la punctele comune ale tezelor noastre si ın general despre activitatea de cer-cetare din cadrul doctoratului. Lui Marius-Tudor Benea, lui Costin Caval si lui BogdanNita pentru ajutorul acordat ın problemele administrative, dar si sprijinul logistic oferit ıncadrul LIP6 si ın general ın Paris.

As dori sa le multumesc prietenilor care mi-au oferit sprijin moral, ıntotdeauna fiindatenti la problemele mele, ıncurajandu-ma ın activitatea mea si descurajandu-mi tendintelede procrastinare - dovada ca afectivitatea joaca un rol important ın cresterea performantei:)Printre ei, Cristian Gratie (care de-a lungul anilor mi-a oferit idei si sfaturi ın problemeingineresti), Ionela Matei, Iulia-Raluca Mariuta si Irina Ionescu, o sursa constanta deenergie si inspiratie pentru ceea ce poate fi realizat.

As vrea sa multumesc familiei mele: parintilor, Alexandrina si Constantin, care aufost ıntotdeauna alaturi de mine, oferindu-mi dragostea si afectiunea lor neconditionatasi fiind mereu preocupati de termenele mele limita, durata somnului si alte probleme dinviata mea; si fratelui meu, Florin, care mi-a facut copilaria mai frumoasa si care mi-a oferit ıntotdeauna timpul lui pentru cele mai interesante si fara de sfarsit discutii peorice subiect, facandu-ma sa pretuiesc fiecare moment cu el. Nu ın ultimul rand, as vreasa le multumesc lui Adrian si familiei lui care mi-au oferit sustinerea si afectiunea lor.Adrian, sufletul meu pereche si cel mai bun prieten, care prin bucuria si sinceritatea luicopilareasca m-a ınvatat sa pretuiesc viata asa cum este, care ımi suporta cu multa rabdaredispozitiile negative si se bucura din toata inima de cele pozitive, si cel care da sens vietiimele.

Rezultatele prezentate ın aceasta teza au fost obtinute cu sprijinul Ministerului Muncii,Familiei si Protectiei Sociale prin Programul Operational Sectorial Dezvoltarea ResurselorUmane 2007-2013, Contract nr. POSDRU/107/1.5/S/76813.

4

Cuprins

Rezumat 3

Multumiri 4

Cuprins 5

1 Introducere 71.1 Context . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71.2 De ce emotii? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.3 Scopurile cercetarii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.4 Structura tezei . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2 Teorii ale emotiilor 112.1 Definitie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112.2 Fenomene afective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112.3 Clasificare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.4 Teorii ale generarii emotiilor . . . . . . . . . . . . . . . . . . . . . . . . 132.5 Stimulare si performanta . . . . . . . . . . . . . . . . . . . . . . . . . . 14

3 Modele computationale ale emotiilor 153.1 Modele generale de sisteme afective . . . . . . . . . . . . . . . . . . . . 153.2 Modele bazate pe arhitectura BDI . . . . . . . . . . . . . . . . . . . . . 17

4 Un nou model de agent emotional 194.1 Motivatie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194.2 Un agent emotional pentru rationament practic . . . . . . . . . . . . . . . 19

4.2.1 Arhitectura agentului . . . . . . . . . . . . . . . . . . . . . . . . 204.2.2 Comportamentul agentului . . . . . . . . . . . . . . . . . . . . . 20

4.3 Modelarea componentei afective . . . . . . . . . . . . . . . . . . . . . . 224.3.1 Modelul nostru de emotii . . . . . . . . . . . . . . . . . . . . . . 224.3.2 Consideratii despre personalitate . . . . . . . . . . . . . . . . . . 234.3.3 Consideratii despre resurse . . . . . . . . . . . . . . . . . . . . . 24

4.4 Propunere pentru un scenariu . . . . . . . . . . . . . . . . . . . . . . . . 254.5 Discutie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

5 Recunoasterea emotiilor 275.1 Metode pentru recunoasterea emotiilor . . . . . . . . . . . . . . . . . . . 275.2 Abordarea propusa pentru recunoasterea din expresii faciale folosind Mi-

crosoft Kinect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

5


5.2.1 Senzorul Microsoft Kinect . . . . . . . . . . . . . . . . . . . . . 285.2.2 Prima metoda pentru recunoasterea emotiilor . . . . . . . . . . . 295.2.3 Rezultate experimentale ale primei metode . . . . . . . . . . . . 315.2.4 A doua metoda pentru recunoasterea emotiilor . . . . . . . . . . 325.2.5 Rezultate experimentale ale celei de-a doua metode . . . . . . . . 34

5.3 Analiza si interpretarea rezultatelor . . . . . . . . . . . . . . . . . . . . . 35

6 Evaluarea unui agent afectiv ın interactiunea om-masina 366.1 Interactiunea om-masina si metodele curente de

masurare a performantei . . . . . . . . . . . . . . . . . . . . . . . . . . 366.2 Criteriile de evaluare . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

6.2.1 Criteriul tipului de sarcina . . . . . . . . . . . . . . . . . . . . . 376.2.2 Criteriul obiectivitatii . . . . . . . . . . . . . . . . . . . . . . . . 37

6.3 Protocolul de evaluare . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386.3.1 Evaluarea subiectiva a caracteristicilor specifice interactiunii . . . 386.3.2 Evaluarea obiectiva a caracteristicilor specifice interactiunii . . . 386.3.3 Evaluarea subiectiva a caracteristicilor specifice competentei . . . 386.3.4 Evaluarea obiectiva a caracteristicilor specifice competentei . . . 38

6.4 Aplicarea protocolului ıntr-un scenariu de muzeu virtual . . . . . . . . . 406.4.1 Descrierea scenariului . . . . . . . . . . . . . . . . . . . . . . . 406.4.2 Evaluarea scenariului . . . . . . . . . . . . . . . . . . . . . . . . 40

7 Concluzii 427.1 Contributii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427.2 Publicatii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447.3 Dezvoltari ulterioare . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

Referinte 45

6

Capitolul 1

Introducere

Influenta emotiilor asupra comportamentului uman este un fapt de multa vreme stiut.Ceea ce nu s-a stiut este modul ın care se exercita aceasta influenta. Astfel, convingereagenerala era ca cele doua componente ale creierului uman, componenta cognitiva si ceaafectiva, sunt complet independente, prima ocupandu-se de acumularea cunostintelor side realizarea rationamentelor, iar a doua fiind doar o experienta subiectiva care ımpeidcaefectuarea corecta a proceselor cognitive.

Aceasta convingere este ınsa infirmata de specialisti, cercetarile lor relevand faptulca afectivitatea si cognitia sunt doua componente care se ıntrepatrund si se influenteazareciproc. Ceea ce se intuia era faptul ca experimentarea unei stimulari emotionale in-tense duce la reducerea capabilitatilor cognitive. S-a demonstrat ınsa ca si reversul esteadevarat: daca partea afectiva este putin sau deloc resimtita, atunci de asemenea abilitatilecognitive scad [35] [9].

Aceasta teza ısi propune sa exploreze ideea de a crea masini capabile de simulare sirecunoastere de emotii, si sa cerceteze cum influenteaza aceste abilitati performanta siinteractiunea cu utilizatorul uman.

1.1 Context

Domeniul de cercetare ın care se ıncadreaza subiectul acestei teze poarta numele de CalculAfectiv si s-a nascut ca reactie a cercetatorilor din Inteligenta Artificiala la concluziile lacare au ajuns omologii lor din Stiintele Umaniste.

Primele teorii despre emotii au aparut ınca din secolul al XIX-lea. In cartea sa [10],Darwin argumenteaza faptul ca emotiile au aparut pentru a-i ajuta pe oameni sa evolueze.Darwin se refera la rolul si modul de exprimare al emotiilor. In secolul urmator, atentiase muta pe stimulii care declanseaza emotia. Astfel, la ınceputul secolului al XX-lea fac-torii declansatori erau strict fiziologici. Pe parcursul anilor s-a constatat ca rationamentulare de asemenea o importanta semnificativa, pentru ca ın zilele noastre sa predomineteoria evaluarii cognitive, care spune ca emotiile unei persoane apar (numai) ca urmarea evaluarii evenimentului din perspectiva convingerilor, scopurilor, standardelor si atitu-dinilor sale.

De asemenea, s-a ıncercat definirea emotiilor, ınsa niciuna dintre variantele propusenu a fost considerata a fi destul de completa. Pentru ıntelegerea conceptului s-a realizat o

7


diferentiere fata de alte concepte afective cum sunt starile emotionale sau personalitatea,fata de care difera ın termeni de durata si stimuli. De asemenea, s-au realizat o serie declasificari ale emotiilor, din punct de vedere al modului de reprezentare sau al emotiei caproces. Acestea vor fi detaliate ın Capitolul 2.

Importanta emotiilor pentru Inteligenta Artificiala a fost intuita din anii 1980. In 1985,Marvin Miscky observa ca ”Intrebarea care se pune nu este daca masinile inteligentepot avea emotii, ci daca masinile pot fi inteligente fara emotii.” Inca din anii 1990 aufost dezvoltati agenti emotionali, ınsa momentul ”oficial” al aparitiei Calculului Afectiveste considerat 1997, anul aparitiei cartii scrise de Rosalind Picard si care a dat numeledomeniului de cecetare: Affective Computing [35].

Cercetarea ın acest domeniu se desfasoara ın doua directii: simulare si recunoastere.Prima directie ısi propune sa modeleze ın arhitectura agentilor mecanismele afectiveumane. Emotiile au anumiti factori declansatori (fiziologici si/sau cognitivi) si un mod deexprimare care se poate observa ori ın comportament activ (prin actiunile executate) oriexpresiv (definit prin expresii faciale, gesturi, modul de vorbire). Pe baza teoriilor psiho-logice de declansare a emotiilor s-au construit modelele computationale ale emotiilor carestau la baza construirii agentilor afectivi. A doua directie de cercetare se refera la detectiaemotiilor utilizatorilor umani. Un sistem ce recunoaste starea afectiva a persoanelor cucare interactioneaza le poate ıntelege mai bine si se poate adapta mai usor dorintelor sinevoilor lor.

In ceea ce priveste aplicatiile, Calculul Afectiv poate aduce multe ımbunatatiriInteligentei Ambientale (AmI). Principalul scop al AmI este sa construiasca medii in-teligente care sa ıi ajute pe oameni ın desfasurarea activitatilor ıntr-un mod care sa nufie intruziv. Este asadar o abordare care are ın centru utilizatorul. Exita deja cateva sis-teme care combina Calculul Afectiv cu Inteligenta Ambientala, de exemplu BioStories[45], care creeaza un model al utilizatorului care este folosit mai apoi de sistem pentrua se adapta starilor emotionale ale acestuia. In [7] autorii fac o trecere ın revista a unorsisteme similare.

De asemenea, o alta contributie importanta pe care Calculul Afectiv o poate aduceeste ın educatia electronica (e-learning). Este usor de observat ca un tutore afectiv poatemotiva mai bine un elev/student, oferindu-i un mediu de ınvatare agreabil, si astfel acestapoate acumula mai usor cunostinte si abilitati. Exemple de astfel de sisteme sunt Affec-tive AutoTutor [12] sau Learning Companion [29], ambele dezvoltate ın colaborare cuRosalind Picard.

Calculul Afectiv este deja un domeniu destul de matur, dovada regasindu-se ın numarulmare de cercetatori care activeaza ın aceasta directie si eforturile care se depun pentru areuni aceasta comunitate. Asfel, exista grupuri de cercetare care se ocupa cu ınzestrareaagentilor artificiali cu abilitati afective la Massachusetts Institute of Technology, Univer-sitatea din Cambridge, Telecom ParisTech, Centrul National pentru Cercetare Stiintificadin Paris, Universitatea din Utrecht, Institutul Suedez de Calculatoare. De asemenea, din2010 IEEE a ınceput editarea unei reviste specializate, ”IEEE Transactions on AffectiveComputing” si ın plus a fost creata reteaua de excelenta HUMAINE dedicata cercetariiemotiilor si interactiunii om-masina.

Asadar exista o semnificativa munca de cercetare ın directia integrarii emotiilor ın sis-temele computationale cu scopul de a ımbunatati performanta si abilitatile de interactionare

8


ale sistemelor inteligente. Totusi, procesele afective nu sunt ıntelese pe deplin astfel caeste ın continuare nevoie de a cerceta modul ın care sunt ele folosite pentru dezvoltareaagentilor. Teza ısi propune sa contribuie la aceste eforturi prin explorarea ambelor directiide cercetare, simulare si recunoastere, si sa studieze impactul acestora ın aplicatiile deinteractiune om-masina.

1.2 De ce emotii?

Se pot enumera trei tipuri de aplicatii ın care informatia emotionala si procesele afectivepot aduce beneficii:

• Imbunatatirea modelelor de inteligenta artificiala. Rezultatele cercetarii lui AntonioDamasio arata importanta pe care emotiile o au ın procesul de rationare si luare adeciziilor, ın cazul oamenilor [9]. Bazandu-ne pe aceste rezultate putem presupuneca si agentii construiti folosind modelelor computationale ale emotiilor vor fi maiperformanti decat agentii pur rationali.

• Imbunatatirea interactiunii om-masina. Este un fapt de netagaduit ca un agentemotional este mai credibil si mai atractiv. Utilizatorii vor fi mai captivati si maimotivati de interactiunea cu astfel de agenti, iar agentii vor putea folosi aceste as-pecte pentru a-i determina sa adopte un anumit comportament sau o anumita stareemotionala.

• Intelegerea comportamentului uman. Agentii afectivi pot fi utilizati pentru a realizasimulari ale activitatii oamenilor, pentru a verifica ın acest fel teoriile din psihologiereferitoare la aceste aspecte. Simularile se pot extinde la un grup de agenti pentru aanaliza comportamentul ın cadrul grupului.

1.3 Scopurile cercetarii

Scopurile principale ale acestei teze urmeaza trei directii principale:

• Simularea emotiilor. Urmand aceasta directie, scopul este de a dezvolta un modelde agent emotional care simuleaza declansarea emotiilor si efectul acestora asupracomportamentului. In plus, modelul va tine cont de personalitatea agentului si vainclude un mecanism prin care acesta sa aiba acces selectiv la resurse. Ceea ce sedoreste este modelarea cat mai fidela a proceselor care au loc ın interiorul creieruluiuman, facand posibila testarea ipotezei prin care un astfel de agent emotional iadecizii mai rapide, mai bune, dovedind o performanta ımbunatatita.

• Recunoasterea emotiilor. Urmand aceasta directie, scopul este de a gasi noi metodede recunoastere a emotiilor din expresiile faciale si care sa functioneze ın timp real.Detectia ın timp real este o cerinta importanta, avand ın vedere ca un sistem trebuiesa stie emotiile curente ale utilizatorului pentru a se putea adapta corespunzator. Seurmareste detectia din expresii faciale deoarece este o metoda non intruziva carese presupune a fi mereu la dispozitia agentului ıntr-un scenariu de interactiune om-masina.

9


• Evaluarea agentilor afectivi. Urmand aceasta directie, scopul este de a dezvoltaun protocol comun de evaluare a oricarui agent aflat ıntr-un mediu de interactiunecu utilizatorul uman. La momentul curent nu exista o baza comuna pentru evaluare,performanta fiecarui agent masurandu-se prin metode proprii, astfel ca nu exista oreferinta care sa ajute la ımbunatatirea globala a agentilor. Teza ısi propune sa facaun prim pas ın aceasta directie.

1.4 Structura tezeiTeza urmeaza ındeaproape cele trei directii descrise mai sus, dedicand cate un capitolseparat pentru fiecare scop ın parte, nu ınainte ınsa de a prezenta starea cunostintelor ındomeniu.

Astfel, Capitolul 2 prezinta teoriile emotionale din psihologie, pornind de la diferentiereade alte concepte afective si clasificarea emotiilor, pana la teorii care explica declansareaemotiilor si legatura dintre nivelul de stimulare fiziologica si nivelul performantei.

Pornind de la teoriile psihologice, cercetatorii din Stiinta Calculatoarelor au dezvoltatmodelele computationale de emotii. In Capitolul 3 vor fi prezentate o parte din acestemodele, ımpartite pe doua categorii: modele generale si modele care se bazeaza pe arhi-tectura BDI (Belief-Desire-Intention).

In Capitolul 4 este prezentat un nou model de agent emotional, unul care si propune samodeleze cat mai fidel mecanismele interne umane. Astfel, agentul va avea la baza arhi-tectura BDI si va simula emotiile, personalitatea si resursele. Un scenariu este prezentatpentru a explica necesitatea fiecarei componente.

Capitolul 5 trece la urmatoare directie de cercetare, recunoasterea emotiilor. Suntprezentate pe scurt metodele existente de recunoastere, apoi sunt descrise ın detaliu douametode pentru detectia emotiilor din expresiile faciale. Ambele metode folosesc senzorulMicrosoft Kinect pentru a detecta sase emotii considerate de baza.

Capitolul 6 se ocupa de al treilea scop al tezei si anume evaluarea unui agent ıninteractiunea cu utilizatorul uman. Mai ıntai se prezinta modalitatile curente de evalu-are, apoi se motiveaza necesitatea unei metode comune prin care sa se poata construi unbenchmark, o referinta care sa stea la baza evolutiei ulterioare a agentilor. In continuarese prezinta protocolul propus si se arata utilizarea lui pe un scenariu dat.

In final, Capitolul 7 face o scurta recapitulare a continutului tezei, enumera contributiilepersonale si descrie ımbunatatirile si extinderile posibile ce pot fi realizate pe viitor.

10

Capitolul 2

Teorii ale emotiilor

Emotiile sunt o componenta importanta a mecanismelor interne umane. Chiar daca elenu sunt exprimate ıntotdeauna din cauza normelor sociale sau a altor aspecte din mediu,emotiile sunt prezente ın interior, influentand comportamentul si procesul de luare a deci-ziilor, dar avand si un puternic rol motivator.

In acest capitol sunt rezumate cele mai importante aspecte ale emotiilor umane, as-pecte ce vor fi necesare mai departe ın dezvoltarea agentilor inteligenti.

2.1 Definitie

De-a lungul timpului s-a ıncercat definirea emotiilor, ınsa fara a se ajunge la un numitorcomun, nicio definitie nefiind considerata suficient de completa. Prentru scopurile aces-tei teze vom cita definitia data de Saul Kassin: ”o stare a simturilor caracterizata prinstimulare fiziologica, comportamente expresive si interpretare cognitiva” [28]. Stimula-rea fiziologica se refera la starea de activare a corpului, masurata prin cresterea pulsului, aratei de respiratie, transpiratie, etc, si pregateste corpul pentru fuga sau ınfruntare (fight orflight). Comportamentul expresiv se refera la modifcari specifice ale corpului, expresieifaciale, limbajului prin care ceilalti pot recunoaste emotiile. Iar interpretarea cognitiva serefera la ıntelegerea situatiei si evaluarea ei ın functie de influenta pe care o poate aveaasupra persoanei ın cauza.

2.2 Fenomene afective

Emotia nu este singurul concept ce face parte din plaja larga de fenomene sau proceseafective. De exemplu, se poate spune ca orice emotie este o senzatie, dar nu orice senzatieeste o emotie. Chiar daca nu exista limite clar definite ıntre toate procesele afective, existatrei concepte care se pot diferentia si care sunt prezentate ın aceasta sectiune ıntrucat vorfi folosite ın modelarea afectivitatii agentilor.

Astfel, emotia apare ca reactie la un stimul precis si dureaza cateva secunde sauminute. starea emotionala are o cauza de aparitie mult mai vaga, imprecisa, dar dureazacateva ore sau zile. Nu ın ultimul rand, personalitatea reflecta trasaturi de caracter relativstabile pe toata durata vietii [21].

11


2.3 ClasificareEmotiile se clasica ın functie de modul de reprezentare (ori o valoare dintr-un set con-cret de categorii emotionale, ori un punct ıntr-un spatiu bi- sau tri- dimensional) sau deprocesul prin care sunt declansate.

Categoriile emotionale se refera la un set de valori discrete pe care emotiile le potlua. Modelul cu valori discrete este asemanator modelului culorilor, unde exista un set deculori de baza care prin amestecare dau culori noi. Astfel, exista un acord cu privire laexitenta a sase emotii de baza, propuse de Paul Ekman [13] si acceptate ın comunitate, sianume bucurie, tristete, frica, manie, dezgust si surpriza.

Spatiul emotional este o propunere a lui Russell [40] si mai apoi a lui Russell siMehrabian [41]. Prima idee este a unui spatiu bidimensional definit de axele valenta sistimulare. Valenta spune cat de placuta sau neplacuta este emotia, ın timp ce stimularea serefera la cat de stimulata, activa, pregatita este din punct de vedere fiziologic o persoana,pe o scara ce merge de la plictiseala pana la anxietate, sau altfel spus de la o stare desomnolenta la o stare de agitatie. Fig. 2.1 arata maparea valorilor discrete ale unor emotiiın acest spatiu, conform listei standardizate de Norme Afective Pentru Cuvintele din En-gleza (Affective Norms for English Words - ANEW) [5]. A doua idee este a unui spatiutridimensional numit PAD (pleasure, arousal, dominance), ın care se adauga, la cele douaaxe mentionate anterior, axa dominantei. Aceasta a treia axa reprezinta gradul de controlpe care o persoana ıl are asupra evenimentelor.

Figure 2.1: Maparea emotiilor discrete ın planul valenta-stimulare

Emotia ca proces vizeaza modul ın care este generata o emotie, asa cum reiese dinstudiile din neurologie despre functionarea cortexului si a sistemului limbic. Astfel, seface distinctia ıntre emotii secundare, generate cognitiv, si emotii primare, generate non-cognitiv. Atunci cand un eveniment este perceput, acesta ajunge mai intai ın sistemullimbic, care ıl proceseaza rapid, dar inexact, ıntorcand practic o emotie ınnascuta, pre-definita pentru situatia curenta. Mai apoi, perceptia ajunge sa fie procesata si ın cortex,care este mai ıncet, dar mai precis, generand emotia secundara.

12


2.4 Teorii ale generarii emotiilor

Aceste teorii se refera la procesul de elicitare al emotiilor, mai precis rolul componentelorcognitiva si fiziologica asupra generarii emotiilor.

Una din primele teorii este teoria James-Lange. Conform acesteia, numai stimulareafiziologica are rol ın aparitia emotiei. Astfel, emotia este rezultatul raspunsului corpuluila un eveniment (si nu cauza, asa cum se intuia; de exemplu, nu tremuram pentru ca nee teama, ci ne e teama pentru ca tremuram). Asadar, perceptia este urmata imediat deraspunsul corpului, si resimtirea acestor modificari reprezinta de fapt emotia.

Aceasta teorie a fost criticata de teoria Canon-Bard, care spune ca emotia si stimu-larea fiziologica pot aparea simultan, independent una de alta. Aceste concluzii au fosttrase ca urmare a cercetarilor efectuate si a faptului ca aceeasi stimulare fiziologica estecaracteristica pentru emotii diferite (de exemplu manie si extaz).

Teoria Schachter-Singer cerceteaza mai in profunzime rezultatule precedente si vinecu o noua ipoteza: atat factorul fiziologic, cat si cel cognitiv au rol important ın generareaemotiei (de aceea se mai numeste si teoria celor doi factori). Astfel, daca subiectul nueste stimulat fiziologic, atunci nu va simti nicio emotie indiferent de situatie. Daca estestimulat, atunci ıncearca sa gaseasca o explicatie pentru ceea ce simte. Daca gaseste oexplicatie, atunci nu experimenteaza nicio emotie. Daca ın schimb nu gaseste o explicatie,va resimti o emotie ın functie de situatia ın care se afla: daca este ıntr-o situatie vesela,resimte bucurie; daca este ıntr-o situatie enervanta, resimte manie.

Cea mai recenta teorie este teoria evaluarii cognitive, la a carei dezvoltare au con-tribuit Magda Arnold [1] si Richard Lazarus [30]. Aceasta subliniaza rolul componenteicognitive ın generarea emotiei, independent de stimularea fiziologica. Fig. 2.2 arata pro-cesul care are loc ın aceasta situatie. Principalele puncte ale acestei teorii sunt de a evaluasituatia (”appraisal”) si de a face fata acestei situatii (”coping”). Referitor la aceste douapuncte, Lazarus specifica doua tipuri de evaluare:

• evaluare principala, care consta ın evaluarea evenimentului si testeaza relevantaacestuia (daca sunt afectate scopurile) si congruenta sa (daca evenimentul este con-sistent sau nu cu scopurile);

• evaluare secundara, care consta ın evaluarea actiunilor care se pot lua pentru a facefata situatiei; aceasta se poate face centrandu-se pe problema (problem-focusedcoping) - orientat catre modificarea mediului extern, sau centrandu-se pe emotii(emotion-focused coping) - orientat catre modificarea perceptiei.

Pornind de la aceasta teorie psihologica, Andrew Ortony, Gerald Clore si Allan Collinsau dezvoltat modelul computational cunoscut sub numele de modelul OCC [32] conformcaruia emotia apare ca urmare a evaluarii evenimentelor, actiunilor agentilor si respectivobiectelor ın lumina scopurilor, standardelor si atitudinilor agentului. Evaluarea celortrei aspecte duce ın final la crearea unei ierarhii compusa din 28 de tipuri de emotii (22concrete si 6 abstracte). OCC este momentan cel mai folosit model pentru generareaemotiilor agentilor.

13


Figure 2.2: Teoria evaluarii cognitive

2.5 Stimulare si performantaStudiile au aratat ca nivelul stimularii din corp are o mare influenta asupra performantei.Legea Yerkes-Dodson [47], ilustrata ın Fig. 2.3, arata relatia dintre acestea: performantacreste cu cresterea stimularii, pana la un anumit punct cand ıncepe sa scada. Aceastalege a fost explicata prin faptul ca cresterea nivelului de stimulare declanseaza un procesde selectie a aspectelor ce descriu o situatie. Asadar, pe masura ce stimularea creste,subiectul se concentreaza pe mai putine aspecte, care sunt relevante ın situatia data. Dacapersoana are ınsa ın vedere prea putine aspecte, nu va mai putea evalua corect situatia.Cele descrise poarta numele de selectivitatea atentiei.

Figure 2.3: Legea Yerkes-Dodson a relatiei dintre stimulare si performanta1

Procesele biologice care au loc ın corpul unei persoane stimulate fiziologic se potrezuma la pomparea adrenalinei ın corp, care duce la cresterea pulsului, dilatarea pupilelor,ascutirea simturilor si, cel mai important din perspectiva acestei teze, metabolizarea en-ergiei din glucoza si celulele adipoase. Asadar, stimularea duce la regenarea resurselorenergetice, care sunt apoi alocate catre rezolvarea situatiei curente.

1http://yourbrainatwork.org/the-correlation-between-stress-and-performance/

14

Capitolul 3

Modele computationale ale emotiilor

3.1 Modele generale de sisteme afectiveAffective Reasoner (1992) [15] este o platforma pentru simularea unei lumi multi-agentcare are scopul de a oferi un mediu pentru testarea teoriilor psihologice. Agentii suntcapabili sa rationeze despre emotiile lor si ale celorlalti agenti, actiunile lor fiind deter-minate de evaluarea cognitiva a evenimentelor din punct de vedere al influentei asupraafectivitatii.

OZ (1996) [39] este un proiect destinat dezvoltarii de caractere credibile, si aici sepune accentul pe diferenta dintre credibil si realist: un animal care vorbeste nu este rea-list, dar poate fi credibil. Sistemul este situat la confluenta dintre Inteligenta Artificiala,Psihologie si Arta, iar autorul a reusit sa ofere o continuitate proiectului, la momentulactual comercializand tehnologia dezvoltata.

FLAME (2000) [43] pune accentul pe dinamica emotiilor, mai exact arata cum ınvatareapoate determina generarea de emotii diferite aceluiasi agent ın aceeasi situatie. Autoriifolosesc patru tipuri de ınvatare: despre secvente de evenimente si posibile recompense,despre utilizator, despre actiuni placute si neplacute si conditionarea Pavloviana.

EMA (2004) [31] este un model ce ısi propune sa modeleze cat mai fidel mecanismeleinterne umane. Accentul este pus pe validarea procesului intern, verificandu-se faptul cavariabilele interne ale agentului sunt comparabile cu cele umane. Componenta afectivaeste data de interpretarea personala a mediului (person-environment relationship) si destrategiile prin care se poate face fata unei situatii (coping strategies).

ALMA (2005) [20] este un modul de sine statator pentru generarea independenta dedomeniu a emotiilor si trateaza doar procesele afective care au loc ıntr-un agent. Acestmodel poate fi integrat ın cadrul altor sisteme pentru a suplini modulul emotional. Com-ponenta afectiva este reprezentata prin emotii, stari emotionale si personalitate.

WASABI (2008) [3] este un model pentru simularea afectivitatii pentru agenti cuinteractivitate credibila (WASABI-Affect Simulation for Agents with Believable Interac-tivity). Accentul este pus pe reprezentarea emotiilor primare si secundare si se descrieconceptul de dinamica a emotiilor care se refera la interactiunile mutuale dintre emotii sistarile emotionale si dintre componentele cognitiva si afectiva.

Tabelul 3.1 rezuma diferentele dintre cele sase sisteme prezentate.

15

Catre

unm

odelcomputationalalem

otiilorpentru

ımbunatatirea

performantelor

Model Scopuri Reprezentarea afectului EEC (conditii de generare a emotiilor) IEB (influenta starii emotionale asupracomportamentului)

AffectiveReasoner(1992) [15]

- modelarea teoriilor psihologice a com-portamentului uman

- 24 categorii de emotii bazate pe OCC- personalitate

- dezirabilitate, laudabilitate, atractivitate- influentate de Scopuri, Standarde,Preferinte & Preocuparile Celorlati

- 17 categorii de raspuns-actiune (mani-festari ale emotiilor

OZ (1996)[39]

- suspendarea neıncrederii utilizatorilor- permite artistilor sa creeze personajecredibile

- structuri ale emotiei (tip, cauza, directie,intensitate)- implicit: 25 tipuri de emotii bazate peOCC- stare emotionala, personalitate

- librarie standard de reguli de generare aemotiilor bazate pe OCC

- 36 tipuri de trasaturi comportamentale- influenteaza cele 5 subsisteme ale arhi-tecturii Tok: actiune, limbaj natural,emotie, social, starea corpului

FLAME(2000) [43]

- dezvoltarea agentilor credibili- modelarea naturii dinamice a emotiilor

- set fuzzy de 14 categorii de emotiibazate pe OCC- stare emotionala

- reguli fuzzy- dezirabilitatea (data de evaluarea eveni-mentului)- standarde & judecati pe baza eveni-mentelor (luate din procesul de ınvatare)- asteptarile evenimentelor (luate din pro-cesul de ınvatare)

- reguli fuzzy

EMA(2004) [31]

- dezvoltarea oamenilor virtuali credibili- explicarea mecanismelor emotionale ıncadrul rationamentului si luarii deciziilor

- indirect, prin efectul lor (relatia individ-mediu si strategii pentru a face fata - cop-ing strategies)

- caracterizeaza relatia individ-mediu(Lazarus [30])- 12 variabile de evaluare (ex. relevanta,dezirabilitatea, atributiile cauzale, proba-bilitatea, gradul de surprindere, urgenta,implicarea eului, potentialul de a face fata

- coping orientat pe problema si orientatpe emotie (Lazarus [30])- 3 strategii orientate pe problema- 11 strategii orientate pe emotie

ALMA(2005) [20]

- dezvoltarea oamenilor virtuali credibili - 24 emotii bazate pe OCC mapate ınspatiul PAD- 8 stari emotionale corespunzatoare celor8 octanti ai spatiului PAD- personalitate definita folosing modelulOCEAN

- dezirabilitate, laudabilitate, atractivitate,agentificare, probabilitate, simpatie, re-alizare

-

WASABI(2008) [3]

- dezvoltarea oamenilor virtuali credibili - 9 emotii primare bazate pe emotiile debaza mapate ın spatiul PAD space- 3 emotii secundare bazate pe OCC map-ate ın spatiul PAD- starea emotionala pe o scara [-100,+100]- personalitatea pe o scara de la tempera-mental la letargic

- modele reactive predefinite pentru gene-rarea emotiilor primare- evaluare cognitica bazata pe convin-geri, dorinte, intentii pentru generareaemotiilor secundare- probabilitatea de constientizare calcu-lata pentru fiecare emotie

- expresii faciale date de emotiile primare

Table 3.1: Comparatie ıntre modele computationale existente

16


3.2 Modele bazate pe arhitectura BDIPereira et el. (2005) [34] au pornit de la modelul BDI, dorind sa gaseasca si sa remediezedezavantajele acestuia. Neajunsurile semnalate au fost lipsa informatiilor despre limi-tele resurselor, problema reconsiderarii si lipsa altor stari mentale similare celor umane.Solutia a constat ın extinderea arhitecturii cu resurse, capabilitati si respectiv emotii. Toateaceste noi concepte influenteaza procesele specifice BDI: revizuirea convingerilor, gene-rarea optiunilor, filtrarea lor, executia planului.

Parunak et al. (2006) [33] au dezvoltat modelul DETT pentru a simula o situatiede lupta ın timp real cu un numar mare de combatanti. Pentru acest tip de scenariueste nevoie de un proces de rationare suficient de rapid pentru ca agentul sa fie eficientdin punct de vedere computational. Autorii extind modelul BDI cu dispozitii, emotii,declansatori si tendinte. Astfel, convingerile actioneaza ca niste declansatori care, subinfluenta dispozitiei agentului, genereaza emotii. Acestea mai apoi impun o tendintaasupra intentiilor.

Jiang et al. (2007) [26] s-au concentrat, ın modelul EBDI, pe influenta emotiilorasupra procesului de luare a deciziilor. In acest context, ei subliniaza importanta deci-ziilor ın rationamentul practic: ele conduc rationamentul operational, constrang procesulde deliberare, influenteaza si sunt influentate de emotii. Autorii modeleaza atat emotiiprimare, cat si secundare. Primele sunt generate imediat dupa ce un stimul este perceput,sunt reactive, instinctuale, si ajuta la luarea unei decizii rapide. Daca timpul permite, pro-cesul de deliberare continua si apar emotiile secundare, care le pot ınlocui pe cele primaresi rafineaza procesul de luare a deciziilor.

Jones et el. (2009) [27] au construit modelul PEP→BDI ın contextul securitatii glo-bale, avand ca scop simularea unei situatii de criza (de ex. un incendiu) ıntr-un mediu derealitate virtuala. Modelul BDI este extins cu emotii, personalitate si fiziologie, fiecaredintre aceste componente influentand procesele cognitive.

Hernandez et el. (2004) [25] au dezvoltat arhitectura BDIE, o arhitectura modu-lara compusa din patru module: Sistemul de Perceptie (mapat pe convingeri), SistemulMotivational (mapat pe dorinte), Sistemul Comportamental (mapat pe intentii) si Sis-temul Emotional (mapat pe emotii). O caracteristica a acestei arhitecturi este stratificareaconvingerilor, evaluatorilor si emotiilor pe doua nivele. Astfel, convingerile de pe primulnivel sunt obtinute prin perceptie, apoi ele sunt evaluate din punct de vedere afectiv decatre evaluatorii de pe primul nivel, obtinandu-se emotiile primare (frica, surpriza). Dacauna dintre aceste emotii este activa, controlul trece la algoritmul de planificare. Altfel,din convingerile de pe primul nivel sunt inferate convingerile de pe al doilea nivel, care larandul lor sunt evaluate din punct de vedere cognitiv de catre evaluatorii de pe al doileanivel, rezultand emotiile secundare (bucurie, tristete, manie).

Florea&Kalisz (2004) [17] au creat modelul BDE avand la baza ideea conform careiaemotiile contribuie la anticiparea comportamentului, aceasta fiind o condite pentru caagentii sa para mai realisti. Autorii integreaza ın arhitectura BDE emotii, stare emotionala,memorie emotionala, estomparea emotiilor. De asemenea sunt prezentate conditiile degenerare a emotiilor si influenta starii emotionale pentru sapte emotii: satisfactie, bucurie,speranta, tristete, manie, frica, dezamagire.

Tabelul 3.2 rezuma diferentele dintre cele sase sisteme prezentate.

17

Catre

unm

odelcomputationalalem

otiilorpentru

ımbunatatirea

performantelor

Model Convingeri Dorinte Intentii Emotii Alte elementePereira et el.(2005) [34]

- obtinute prin perceptie siinferenta- o functie de revizuire, al-goritmi diferiti (depinzand deresourse, capabilitati si stareaemotionala)

- revizuite folosind algoritmidiferiti, depinzand de re-sourse, capabilitati si stareaemotionala

- revizuite folosind algo-ritmi distincti, depinzand deresurse, capabilitati si stareaemotionala

- Responsabilul StariiEmotionale - nu este detaliat

- resurse- capabilitati- Modul pentru Detectie siPerceptie - reguli care leagastimulii de concepte

Parunak et al.(DETT) (2006)[33]

- mapate pe feromoni digitali - constante ın timp - rezultatul procesului deanaliza- emotiile impun o tendintaasupra intentiilor

- OCC (rezultat al procesuluide evaluare)- declansate de convingeri, ınfunctie de dispozitie

- Dispozitii, Emotii,Declansatori, Tendinte

Jiang et al.(EBDI) (2007)[26]

- obtinute prin perceptie, co-municare si contemplare- trei functii de revizuire

- nu sunt influentate de emotii - foarte importante- influentate de emotii,dorinte si intentii- stare a lucrurilor pe careagentul s-a angajat sa o atinga

- primare- secundare

-

Jones et el.(PEP-BDI)(2009) [27]

- obtinute prin perceptie,comunicare si fiziologie- o singura functie derevizuire, trei functii deperceptie

- optiuni- influentate de convingeri,intentii personalitate sifiziologie, dar nu de emotii

- optiuni filtrate- influentate de convingeri,dorinte, intentii, emotii sifiziologie, dar nu de person-alitate

- primare- secundare

- Personalitate, Emotie,Fiziologie

Hernandez et el.(BDIE) (2004)[25]

- primul nivel (obtinute prinperceptie)- al doilea nivel (obtinute prinrevizuirea convingerilor de peprimul nivel)- al treilea nivel (obtinut prinrevizuirea convingerilor de peal doilea nivel - neimplemen-tate)

- scopuri (trebuie atinse)- variabile homeostatice (tre-buie mentinute)

- modul separat, contine algo-ritmul de planificare, care esteınlocuibil- conectat de emotii prinscopuri

-primare & secundare- spatiul emotional este di-vizat ın sectoare emootionale

-

Florea&Kalisz(BDE) (2004)[17]

- obtinute prin perceptie siinferenta- o functie de revizuire

- influentate numai de stareaemotionala

- actiuni ce trebuie ıntreprinsepentru a ındeplini dorintele

- OCC- stare emotionala- estompare- memorie emotionala

- intensitate a emotiei - datade:— preferinta asupra dorintei— plauzibilitatea dorintei— gradul de anticipatie alevenimentului- integrarea emotiilor - abor-dare bazata pe reguli

Table 3.2: Comparatie ıntre modele BDI emotionale

18

Capitolul 4

Un nou model de agent emotional

4.1 MotivatieScopul propus este de a dezvolta un agent care sa modeleze cat mai fidel mecanismeleinterne cognitive si afective umane. In acest sens, am selectat patru aspecte specificecomportamentului oamenilor, asa cum au fost deduse din studierea teoriilor emotionale:

• rationamentul practic: este tipul de rationament folosit de oameni; astfel, mai ıntaidecid ce anume ısi doresc si apoi cum vor sa obtina acel lucru sau acea stare de fapt;

• emotiile: oamenii experimenteaza diverse emotii ın timpul si dupa luarea deciziilor,iar acestea le influenteaza hotararile, chiar daca ei sunt sau nu constienti de aceastainfluenta;

• personalitatea: fiecare individ are un set specific de caracteristici care ıl fac sa eva-lueze o situatie si sa reactioneze ın mod diferit fata de semenii sai;

• alocarea resurselor: oamenii au un mecanism prin care ısi dozeaza resursele, iardaca situatia o cere (de ex. un eveniment critic are loc), ısi descopera noi resursepe care initial nu credeau ca le mai au - rezultat al regenerarii energiei atunci candsunt stimulati fizilogic.

Cea mai cunoscuta arhitectura ce modeleaza rationamentul practic, recunoscuta caspecifica agentilor inteligenti, este arhitectura BDI (Belief-Desire-Intention sau Convingeri-Dorinte-Intentii), ın care deliberarea (ce?) si rationamentul operational (cum?) au loc pebaza convingerilor, scopurilor si intentiilor agentului. Totusi, procesul deliberarii poatedeveni prea ıncet atunci cand agentul trebuie sa cantareasca prea multe optiuni. De aceea,pentru un agent care opereaza ıntr-un mediu complex, dinamic, emotiile pot aduce o se-rie de beneficii. Nu numai ca induc un comportament reactiv, permitandu-i agentuluisa reactioneze rapid la nevoie, dar influenteaza si procesele cognitive, limitand optiuniledisponibile [9]. Asadar alegerea de a combina arhitectura BDI cu simularea emotiilor esteuna care vine ın mod natural.

4.2 Un agent emotional pentru rationament practicAvand ın vedere cele motivate ın sectiunea anterioara, arhitectura propusa ımbina modelulBDI cu simularea emotiilor, a personalitatii si a unui mecanism de alocare a resurselor

19


[37]. Noua arhitectura are trasaturi comune cu modelul EBDI [26], derivate din atentiaacordata influentei emotiilor asupra procesului de luare a deciziilor, dar se inspira si dinrezultatele obtinute de Pereira et al. [34] ın ceea ce priveste folosirea resurselor.

4.2.1 Arhitectura agentuluiComponentele integrate ın aceasta arhitectura sunt: perceptii, convingeri, dorinte, optiuni,intentii, emotii, personalitate, resurse. Fig. 4.1 arata cum sunt interconectate acestea.

Figure 4.1: Arhitectura proposa

4.2.2 Comportamentul agentuluiAgentul functioneaza conform buclei de control prezentata ın Fig. 4.2. Este evident inspi-rata din bucla BDI, la care a fost adaugata influenta emotiilor si a resurselor ın procesulde rationare.

20


1. D = D0;2. while true do3. P← perceive(Env,E);4. E← peu(P,E, I);5. i f intensity(E)> ε then6. π ← react(E,P,AR);7. P← perceive(Env,E);8. end i f9. B← br f (P,B,E);

10. E← seu(B,E, I,AR);11. AR← ru(R,E);12. O← analyzer(B,D, I,E);13. I← f ilter(O,B,E);14. π ← plan(I,AR);15. while not (empty(π) || succeeded(I,B) || impossible(I,B)) do16. α := head(π);17. execute(α);18. π := tail(π);19. P← perceive(Env,E);20. E← peu(P,E, I);21. i f intensity(E)> ε then22. π ← react(E,P,AR);23. P← perceive(Env,E);24. end i f25. B← br f (P,B,E);26. E← seu(B,E, I,AR);27. AR← ru(R,E);28. i f reconsider(I,B) then29. O← analyzer(B,D, I,E);30. I← f ilter(O,B,E);31. end i f32. i f not sound(π, I,B) then33. π ← plan(I,AR);34. end i f35. end while36. end while

Figure 4.2: Bucla de control a agentului

21


Pentru ınceput, agentul percepe evenimentul din mediu, care poate fi o schimbare ınstarea lumii, o actiune sau un mesaj primit de la un alt agent. Modul ın care acest stimuleste perceput este influentat de emotiile curente - mai exact starea emotionala determinatade acestea. Se obtin astfel perceptiile, care sunt evaluate la nivel afectiv si respectiv cogni-tiv. Evaluarea afectiva are loc rapid si are ca rezultat emotiile primare. Daca acestea suntsuficient de puternice (avand intensitatea mai mare de un anumit prag), ele vor determinao reactie rapida a agentului, care este actiune predefinita ın comportamentul sau. In Fig.4.1, legaturile care duc la procesul de reactie sunt punctate pentru a sugera faptul ca acestcomportament reactiv nu apare ıntotdeauna, ci este determinat de emotii primare intense.Daca agentul efectueaza actiunea instinctuala, va percepe din nou mediul pentru a obtinenoile perceptii.

Dupa etapa reactiva, urmeaza evaluarea cognitiva. Pe baza perceptiilor si sub influentaemotiilor se revizuiesc convingerile. In continuare, aceste convingeri, alaturi de intentii(daca ele exista) si de resursele disponibile, sub influenta emotiilor curente, duc la actu-alizarea emotiilor secundare. Emotiile la randul lor influenteaza actualizarea resurselordisponibile, conform modelului uman ın care o stimulare crescuta (deci o intensitate marea emotiei) duce la regenerarea resurselor energetice.

Urmeaza cele doua procese spcifice arhitecturii BDI: deliberarea si rationamentuloperational. Deliberarea se face ın doi pasi: mai ıntai se stabilesc optiunile posibile pen-tru realizarea dorintelor (care sunt fixe, stabilite la crearea agentului) si apoi le filtreazapentru a decide intentiile catre care va fi comis. Rationametnul operational se refera laplanificarea actiunilor necesare pentru a ındeplini intentiile. Rezultatul acestuia este unplan care urmeaza a fi executat, nu fara a verifica la fiecare pas daca intentiile au fostrealizate, daca nu pot fi atinse sau daca nu mai sunt de dorit (angajament deschis).

4.3 Modelarea componentei afective

4.3.1 Modelul nostru de emotiiAsa cum am precizat ın sectiunea anterioara, agentul poate simula atat emotii primare catsi secundare. Ele sunt reprezentate similar, difera doar procesul prin care sunt generate simodul ın care influenteaza comportamentul (reactiv sau cognitiv).

Asadar, o emotie este definita astfel:

emotion = (v,a),v ∈ [vmin,vmax],a ∈ [amin,amax] (4.1)

unde vmin,vmax,amin, amax sunt valori predefinite.

Regulile prezentate ın continuare sunt independente de domeniul ın care actioneazaagentul, depinzand de variabile de evaluare ale caror valori sunt primite de la modululspecific domeniului de aplicatie.

Valenta este calculata ın functie de cat de dezirabil este evenimentul, diferenta fiind ınmodul de calcul al dezirabilitatii. Astfel:

• pentru emotia primara, valenta vp ia ın calcul avgDesirability, adica dezirabili-tatea evenimentului ev masurata fata de cel mai important scop al agentului (de ex.supravietuirea):

vp = fp(avgDesirability(ev)) (4.2)

22


• pentru emotia secundara, valenta vs ia ın calcul fiecare dezirabilitate desirability(ev,gi)calculata pentru fiecare eveniment ev si fiecare scop gi al agentului:

vs = fs(∑i

desirability(ev,gi)) (4.3)

Stimularea este calculata ın functie de probabilitatea ca evenimentul sa aiba loc, importantasi gradul de realizare ale scopurilor afectate de eveniment si de gradul de extroversie alagentului (care face parte din personalitatea sa). Astfel, avem:

• pentru emotii primare, stimularea ap depinde doar de probabilitatea likelihood(ev)a evenimentului ev:

ap = gs(likelihood(ev)) (4.4)

• pentru emotii secundare, stimularea as depinde nu numai de probabilitatea likelihood(ev)a evenimentului ev, dar si de: gradul de extraversie extraversion(ag) al agentu-lui ag; dezirabilitatea desirability(ev,gi) calculata pentru fiecare eveniment ev sifiecare scop gi al agentului; valoarea (importanta) value(gi) a fiecarui scop gi afec-tat de eveniment; si gradul de realizare degree o f achievement al fiecarui scop giafectat de eveniment:

as =gs(likelihood(ev),extraversion(ag),

∑i

desirability(ev,gi)∗ value(gi)∗degree o f achievement(gi)) (4.5)

In plus, la fiecare pas intensitatea emotiei scade cu o anumita rata de estompare aemotiei (decay rate(ag)) data de personalitatea agentului:

a(t +1) = decay rate(ag)∗a(t) (4.6)

4.3.2 Consideratii despre personalitatePersonalitatea este modelata conform modelului Eysenck [16]: patru tipuri de persona-litati (sanguin, coleric, melancolic, flegmatic) aranjate ıntr-un spatiu dat de axele introvertit-extrovertit si stabil-instabil psihic. Am ales acest model deoarece reprezinta trasaturile cucare un individ se naste, temperamentul sau, nu se refera si la cele dobandite pe parcur-sul vietii. In plus, se poate usor gasi o corespondenta ıntre axele modelului psihologic siparametrii din modelul computational. Fig. 4.3 ilustreaza aceasta mapare. Practic, avem:

• axa introvertit/extrovertit - asociata cu stimularea (intensitatea emotionala)

– introvertit - valori mici ale stimularii sunt suficiente pentru ca agentul sa aibao performanta buna (conform legii Yerkes-Dodson)

– extrovertit - valori mari ale stimularii sunt necesare pentru ca agentul sa aibao performanta buna (conform legii Yerkes-Dodson)

• axa stabil psihic/instabil psihic - asociata cu rata de estompare a emotiei

– stabil psihic - valori reduse ale ratei de estompare, asadar agentul are o stareafectiva cursiva, fara schimbari bruste de dispozitie

– instabil psihic - valori mari ale ratei de estompare, asadar agentul ısi schimbarapid starea emotionala

23


Figure 4.3: Maparea Cele patru tipuri de personalitate

4.3.3 Consideratii despre resursePentru a simula mecanismul alocarii resurselor, am definit, la nivel abstract, trei tipuri deresurse, accesibile ın functie de nivelul stimularii. Astfel, primul tip de resurse este celmai accesibil; este disponibil ın situatii comune, care nu prezinta nicio amenintare, astfelca agentul le poate folosi oricand. Al doilea tip de resurse poate fi accesat numai candnivelul stimularii creste peste un anumit prag. Si ultimul tip de resurse este disponibilın situatii rare, cand cel mai important scop este amenintat (de ex. supravietuirea), astfelca agentul este stimulat la un nivel foarte ınalt. Fig. 4.4 arata relatia dintre stimulare siaccesibilitatea resurselor, corelata si cu legea Yerkes-Dodson care defineste relatia dintrestimulare si performanta.

Figure 4.4: Accesibilitatea agentului la resurse

Se poate observa cum pe masura ce stimularea creste, agentul are acces la mai multe

24


resurse si performanta creste. De la un anumit prag al stimularii, selectivitatea atentieidevine prea mare iar agentul nu mai poate accesa toate resursele, performanta ıncepandsa scada.

4.4 Propunere pentru un scenariu

Pentru a demonstra cum este utila arhitectura propusa, vom prezenta un scenariu deeducatie electronica ın care un student interactioneaza cu un tutore emotional construitdupa modelul propus.

Fig. 4.5 arata interactiunea dintre tutore si mediul exterior, respectiv dintre compo-nentele interne ale tutorelui. Astfel, profesorul interactioneaza cu un singur student odatasi are acces la baza de cunostinte de cursuri (Course Knowledge Base) si baza de date deelevi (Student database). Prima contine cursul ce trebuie predat, a doua informatii obiec-tive despre elevi: id, nume, varsta, gen, nivelul de cunostinte (clasa din care face parte),rezultatele obtinute la evaluari.

Figure 4.5: Modelul tutorelui emotional

Sagetile din figura arata fluxul de informatii dintre componentele sistemului. Tutorelepercepe numai actiunile studentului si actioneaza numai ın sensul comunicarii cu stu-dentul. Pe baza interactiunii, tutorele ısi formeaza o parere despre student referitor laconceptele pe care le ıntelege si pe care nu, cat de repede poate acumula informatii, ceıi place si ce nu. Acestea formeaza un tip special de convingeri, si anume o baza decunostinte despre studenti (Student Knowledge Base).

Dorinta tutorelui este de a-l ınvata pe student cursul. Optiunile pe care le are suntde a-i preda notiunile continute ın acest curs, ınsa ele trebuie filtrate pentru a nu-i predaconcepte deja stiute sau care au legatura cu concepte pe care nu le cunoaste. In timpul

25


predarii efective, tutorele trebuie sa tina seama de o serie de aspecte care pot modificaplanul:

• daca studentul nu a ınteles o notiune, tutorele ar putea resimti frustrare, ın consecintastimularea creste, ceea ce ıl determina pe tutore sa ıi explice din nou, cautand altemijloace pentru a-l face sa ınteleaga;

• daca tutorele ısi da seama ca studentul nu ıntelege suficient un concept predatanterior, nivelul stimularii creste ca urmare a experimentarii surprizei si tutoreleıntrerupe lectia curenta pentru a explica din nou conceptul;

• daca lectia se desfasoara ıntr-o perioada apropiata de un examen important, tutoreleva fi mai stimulat sa lucreze mai mult cu studentul, revizuind conceptele predate siverificand ca studnetul le ıntelege.

Personalitatea tutorelui ıl va face sa raspunda diferit la problemele ıntalnite pe parcur-sul predarii. Consideram ca un tutore instabil psihic nu ar fi potrivit pentru un student,putandu-l deruta. In plus, un tutore cu temperament sangvin este mai potrivit pentru unstudent extrovertit, ın timp ce un temperament flegmatic este mai potrivit pentru un stu-dent introvertit.

4.5 DiscutieIn acest capitol am prezentat o arhitectura de agent emotional ındreptata catre modelareacat mai fidela a proceselor cognitive si afective umane. Fiind o arhitectura generala,independenta de domeniu, masurarea performantei globale implica testarea agentului ınscenarii din domenii specifice diferite. Folosirea arhitecturii BDI caracteristica agentilorinteligenti sugereaza faptul ca agentul este capabil sa ısi maximizeze utilitatea ın executiasarcinilor date. Simularea emotiilor agentului sugereaza faptul ca agentul este capabil decomportament social si credibil.

Totusi, se pot pune trei ıntrebari: Se poate infera ca emotiile ajuta un agent BDI sa ısimaximizeze utilitatea? Se poate infera ca arhitectura BDI ajuta un agent emotional sa fiemai credibil? Se poate infera ca arhitectura BDI ajuta un agent emotional sa fie mai util?

In lucrarea lor, Jiang et al. [26] raspund pozitiv la prima ıntrebare. Ei construiesc unagent emotional care opereaza ın Tileworld [36], un mediu dinamic ın care agentii trebuiesa acopere cat mai multe gauri cu placi. Autorii lasa ın joc un agent emotional alaturi dealti agenti pur rationali. La sfarsit se arata ca agentul afectiv a acoperit mai multe gauridecat ceilalti agenti. Totusi, acesta este doar un exemplu si pentru a fi siguri ca ipotezalansata e adevarata, este nevoie de mai multe teste.

Scenariul tutorelui artificial prezentat este un scenariu de interactiune om-agent carepoate da un raspuns la ultimele doua ıntrebari. Astfel, rolul tutorelui este de a transmitestudentului informatii, dar totodata el trebuie sa o faca ıntr-un mod care sa-l atraga sisa-l motiveze pe student. Agentul trebuie sa ımbine rationamentul practic de alegere asubiectelor pentru lectia curenta cu adaptarea la nevoile studentului, astfel ıncat studentulsa ıl priveasca la fel ca pe un tutore uman.

26

Capitolul 5

Recunoasterea emotiilor

5.1 Metode pentru recunoasterea emotiilor

Rafael Calvo and Sidney D’Mello au facut o recenzie cuprinzatoare a metodelor existentepentru recunoasterea emotiilor umane. Detectia emotiilor se poate face din expresiilefaciale, vorbire, gesturi, postura sau parametri fiziologici (puls, conductivitatea pielii, ratarespiratiei, temperatura). Ultima metoda este cea mai exacta, ınsa ın acelsi timp esteinvaziva datorita dispozitivelor care trebuie folosite pentru masurare. Primele metode potfi total neinvazive, dar nu sunt la fel de precise.

Recunoasterea emotiilor din expresiile faciale vine ın mod natural ın majoritateasituatiilor, dat fiind ca fata este inevitabil observata ıntr-o conversatie sau alt tip de interac-tiune. Din punct de vedere psihologic, Paul Ekman a fost cel care a studiat ındeaproapeproblema. El a argumentat faptul ca exista sase emotii universal exprimate si recunos-cute de oricine. Aceste emotii de baza sunt bucuria, tristetea, frica, mania, dezgustulsi surpriza. Impreuna cu Wallace Friesman, Ekman a dezvoltat Sistemul de Codare alActiunilor Faciale (Facial Action Coding System - FACS) [14], un sistem care codificamiscarile muschilor faciali, rezultand in 45 coduri pentru miscarile elementelor fetei(ochi, sprancene, nas, gura) si 25 coduri pentru misarile fetei si ale privirii. Emotiile suntclasificate folosind combinatii ale actiunilor astfel definite. Pentru recunoasterea automataa emotiilor sunt folosite retele neurale sau algoritmi genetici, cu o rata de recunoastere de83%-98% [24]. In general sunt detectate cele sase emotii de baza, din baze de date createanterior (nu ın timp real).

Recunoasterea emotiilor din gesturi este un pic mai problematica deoarece gesturilepot avea semnificatii total opuse ın culturi diferite. Recunoasterea din postura se poateface din pozitie sezuta sau ın picioare. Din sezut se poate detecta curiozitatea sau plic-tiseala ın functie de felul ın care este exercitata presiunea asupra scaunului. Din picioare,cea mai folosita metoda este Labanotation [2], care descrie configuratia corpului ın functiede coordontele extremitatilor si articulatiilor corpului (mana, ıncheietura, cot, umar, sold,genunchi, glezna, picior). Acuratetea sistemelor automate de detectie a emotiilor pentru5 categorii de emotii este de 70%-83% [11].

Pentru recunoasterea emotiilor din vorbire nu este important ce se comunica, ci cumse comunica. Intonatia, volumul, ınaltimea sunt caracteristici ale vocii din care se poateextrage emotia. De exemplu, o intensitate scazuta a vocii semnifica o stimulare redusa,semn al tristetii sau dezgustului. O intensitate crescuta semnifica o stimulare ridicata,

27


semn al maniei sau al fricii. Sistemele automate folosesc pana la 17 caracteristici alevocii, acuratetea obtinuta variind ın jurul a 80% [46].

Parametrii fiziologici masoara semnalele electrice venite de la creier, inima, pielesi muschi, folosind dispozitive speciale. Astfel, activitatea creierului este masurata prinencefalograma (EEG) sau prin rezonanta magnetica (fMRI), ritmul cardiac este masuratprin electrocardiograma (EKG), conductanta pielii este masurata prin activitatea electro-dermala (EDA) sau prin raspunsul galvanic al pielii (GSR), activitatea muschilor estemasurat prin electromiograma (EMG). Sistemele automate care folosesc aceste metodedetecteaza ıntre 3 si 8 emotii si au o acuratete medie de 80% [6].

Recunoasterea multimodala se refera la combinarea mai multor metode dintre celeprezentate anterior. Rezultatele finale se obtin prin trei metode:

• fuziunea datelor - realizata la cel mai de jos nivel, pe date brute; putin folosit da-torita incompatibilitatii semnaelelor;

• fuziunea caracteristicilor - realizata pe un set de semnale venind de la un anumitdispozitiv; de obicei se calculeaza media sau deviatia standard si aceste rezultatesunt mai apoi conbinate;

• fuziunea deciziilor - realizata cu rezultatele obtinute din fiecare clasificator.

5.2 Abordarea propusa pentru recunoasterea din expre-sii faciale folosind Microsoft Kinect

Din toate metodele prezentate anterior, recunoasterea din expresii faciale are cea maimare acuratete. In plus, este o metoda la ındemana pentru agentii care interactioneaza cuutilizatorii umani si putem presupune ca ın majoritatea cazurilor agentul are acces la fatapersoanei ın cauza.

De aceea, abordarea noastra se bazeaza pe aceasta metoda. In plus, scopul este dea face detectia ın timp real. In acest sens, senzorul Kinect va fi folosit pentru urmarireafetelor utilizatorilor.

5.2.1 Senzorul Microsoft KinectCu cativa ani ın urma, Microsoft a introdus senzorul Kinect ın lumea divertismentului.Initial urmarea corpul utilizatorului, dar ın 2011 a fost lansat un software compatibil cuacest sezor, Microsoft Face Tracking SDK1, care permite urmarirea fetei si a elementelorcare o compun.

Versiunea initiala a senzorului, Kinect pentru XBOX 360, a fost gandita special pentrudivertisment, pentru ca utilizatorii sa poate interactiona cu jocul prin gesturi. A urmatversiunea Kinect pentru Windows, creata special pentru dezvoltatori, permitandu-le sadezvolte aplicatii ce folosesc senzorul Kinect. De fapt ambele versiuni pot fi folositepentru dezvoltare, dar un Kinect pentru XBOX nu va putea fi folosit pentru a rula aplicatiipe masina utilizatorului final2.

1http://msdn.microsoft.com/en-us/library/jj130970.aspx2http://msdn.microsoft.com/en-us/library/hh855358.aspx

28


Diferenta ıntre cele doua tipuri de senzori este faptul ca Kinect pentru Windows su-porta ın mod aditional modul aproape. Acesta permite urmarirea persoanelor aflate ladistante ıntre 0.4m si 3m, spre deosebire de modul implicit unde persoanele pot fi urmaritela distante ıntre 0.8m si 4m.

5.2.2 Prima metoda pentru recunoasterea emotiilor

Prima metoda a urmarit recunoasterea unui model pe fetele utilizatorului [38]. Pentruaceasta, mai ıntai am creat acest model, pornind de la rezultatele obtinute de Paul Ekmanın diferentierea expresiilor faciale pentru cele sase emotii de baza. Fig. 5.1 prezintamodelul pe care l-am dezvoltat.

Figure 5.1: Modificarea elementelor fetei pentru fiecare emotie

Conform modelului, s-a propus recunoasterea emotiilor numai din ochi, sprancene,buze, dupa ce s-a ajuns la concluzia ca nasul nu este implicat foarte mult ın expresia fa-ciala. De aceea, din cele 100 de coordonate ıntoarse de aplicatia Microfost Face TrackingSDK, noi am folosit doar coordonatele a 58 de puncte: 16 puncte pentru cei doi ochi, 20puncte pentru cele doua sprancene, 20 puncte pentru buze (interioara si exterioara) si 2puncte pentru centrele celor doi ochi. Punctele urmarite sunt prezentate ın Fig. 5.2

Figure 5.2: Punctele ıntoarse de aplicatia Face Tracking SDK (stanga) si punctele folositeın metoda noastra (dreapta)

In continuare am urmat o abordare de ınvatare supervizata. Fig. 5.3 arata pasii pe carei-am urmat.

29


Figure 5.3: Structura sistemului de detectie a emotiilor

Mai ıntai am creat o baza de date cu coordonatele punctelor corespunzatoare expresiilefaciale a catorva persoane pentru fiecare din cele sase emotii de baza. Folosind acestecoordonate, am calculat 18 distantte care sa reflecte modificarile sugerate de modelulpsihologic. Cele 18 distante sunt detaliate ın Fig. 5.4.

Figure 5.4: Distantele masurate ıntre elementele fetei

Baza de date cu distante formeaza datele de antrenare pentru o retea neurala. Dupacalcularea distantelor si o sesiune de antrenare cu rezultate ındoielnice, am observat ca va-lorile acestor distante sunt foarte apropiate, explicandu-se dificultatea retelei de a ınvata.De aceea am recurs la un artificiu: am ımpartit cele sase emotii ın trei clase a cate douacategorii de emotii, conform celor mai apropiate valori. Astfel, am obtinut clasele:

• {bucurie, tristete}

• {frica, surpriza}

• {manie, dezgust}

30


care urmeaza a fi despartite ıntr-un al doilea pas. In plus, am observat ca distantele abso-lute difera pentru configuratii diferite ale fetei sau ale distantei de la care se face urmarirea,astfel ca am hotarat ca este necesara folosirea distantelor relative, adica raportul dintredistanta absoluta pentru o emotie si distanta absoluta pentru expresia neutra.

Pentru ınvatare este folosita o reteaua neurala tip feedforward backpropagation, custructura reprezentata ın Fig. 5.5: 18 intrari corespunzatoare celor 18 distante, un stratascuns de 10 neuroni si 3 iesiri corespunzatoare celor 3 clase de emotii. Pentru datelede antrenare, iesirile iau valori binare 0 sau 1: valoarea 1 semnifica faptul ca emotiaexprimata face parte din grupa respectiva; valoarea 0 semnifica faptul ca emotia exprimatanu face parte din grup. Pentru datele de testare, iesirile vor ıntoarce valori ıntre 0 si 1,urmand ca iesirea cu valoarea cea mai mare sa dea emotia detectata. De aceea, functia detransfer folosita, atat pentru stratul ascuns cat si pentru cel de iesire, este functia logsig.Algoritmul de ınvatare este cel implicit, trainlm (Levenberg-Marquardt), iar functia caremasoara performanta, mse (eroarea patrata medie).

Figure 5.5: Structura retelei neurale pentru prima metoda

5.2.3 Rezultate experimentale ale primei metodePentru construirea bazei de date am exclus primele si ultimele 20% din fisierele ınregistrate(un fisier continand coordonatele pentru o persoana pentru o emotie), considerand ca mij-locul ınregistrarii contine cele mai relevante date, ıntrucat emotiile au fost simulate si nuinduse. Chiar si asa, au ramas mai mult de 1000 cadre pentru fiecare emotie.

Pentru experimente am ımpartit baza de date dupa cum urmeaza: ın primul rand amlasat deoparte datele pentru o persoana pentru a putea testa reteaua si pe date necunoscute.Datele ramase le-am ımpartit ın date de antrenare (1/2), date de validare (1/6) si date detest (1/3). Tabelul 5.2.3 prezinta numarul de cadre din setul de date de antrenare pentrufiecare emotie, pentru fiecare din cele trei seturi (antrenare, validare, testare).

Cu aceste date am antrenat si mai apoi simulat reteaua neurala. Rezultatele obtinuteau fost urmatoarele:

31


Table 5.1: Numarul de cadre dupa aplicarea factorului de excluzie de 20%Happiness Sadness Fear Anger Surprise Disgust Total

Training 457 515 538 531 510 498 3049Validation 151 172 177 176 168 165 1009Test 303 343 358 352 339 331 2026Total 911 1030 1073 1059 1017 994 6084

• pentru distante absolute, acuratetea predictiva a fost 87.56%; la simularea retelei cudate inexistente ın setul de antrenare, acuratetea a scazut la 78.83%

• pentru distante relative, acuratetea predictiva a fost 91.41%; la simularea retelei cudate inexistente ın setul de antrenare, acuratetea a ramas aproape la fel, 91.07%

Astfel, se confirma ca folosind distantele relative se obtin rezultate mai bune, atat dinpunct de vedere al valorii acuratetii, cat si a diferentei de acuratete dintre datele existenteın setul de antrenare si datele noi.

5.2.4 A doua metoda pentru recunoasterea emotiilorDesi cu prima metoda acuratetea obtinuta este ıncurajatoare, totusi rezultatele sunt doarpentru trei clase de emotii, iar pentru obtinerea rezultatului final este nevoie de un pas su-plimentar care sa ımparta clasele. Pentru a depasi aceasta problema, propunem o metodacare sa clasifice direct cele sase emotii de baza plus expresia neutra.

Ideea este de a trimite retelei neurale direct coordonatele obtinute de la senzor. Pentruaceasta mai ıntai am facut o normalizare a datelor: pentru ca fetele se misa ın fata camereipe latime si/sau adancime, practic coordonatele devin irelevante. Prin eliminarea spatiuluialb din jurul fetei si prin aplicarea transformarii fereastra-poarta, am mutat toate feteleıntr-o poarta de dimensiuni fixe. Fig. 5.6 arata o astfel de fata dupa ce toate transformarileau fost aplicate.

Figure 5.6: Coordonatele fetei ıncadrate ıntr-o fereastra de dimensiuni fixe (aici 20x20)

Prima abordare a constat ın realizarea unei harti binare a ferestrei ilustrate ın Fig. 5.6ın care orice punct ınregistrat este asociat valorii 1, iar restul valorii 0. Mai exact, datelede intrare sunt formate de o matrice M definita astfel:

32


M(i, j) ={

1 daca (i, j) sunt coordonatele unui punct ınregistrat pe fata urmarita0 altfel

Aceasta matrice este ınsa o matrice rara de dimensiuni destul de mari. Daca transfor-marea mapeaza fetele ıntr-o fereastra 20x20 (dimensiunea minima pentru care expresiilese pot diferentia), matricea are dimensiunea 400 din care 341 elemente sunt egale cu 0(o fata are doar 59 puncte ce o definesc). Intr-o fereastra 50x50 (o rezolutie mai potrivitapentru nivelul de detalii necesar), matricea are dimensiunea 2500, din care 2441 elementesunt 0. Chiar daca folosim reprezentarea prescurtata a matricii, algoritmul de antrenareva ıncerca sa o desfasoare, ceea ce poate duce la umplerea memoriei (fapt care s-a siıntamplat). In plus, matricea fiind atat de rara si diferentele ıntre expresii destul de mici,ar fi foarte greu pentru reteaua neurala sa ınvete.

In consecinta s-a decis ca datele de intrare sa fie direct coordonatele celor 59 puncteınregistrate pe fata persoanelor. Reteaua neurala folosita este una de tip feedforwardbackpropagation, a carei structura este ilustrata ın Fig. 5.7.

Figure 5.7: Reteaua neurala folosita pentru cea de-a doua metoda

Topologia retelei cuprinde 59x2=118 intrari, 2 straturi ascunse a cate 200, respectiv100 de neuroni fiecare, si 7 neuroni pe stratul de iesire. La intrare sunt 59 puncte (cele 58prezentate ın Sectiunea 5.2.2 plus varful nasului), fiecare cu 2 coordonate, x si y. La iesiresunt 7 neuroni, cate unul pentru fiecare din cele sase emotii, plus expresia neutra. Stra-turile ascunse au fost alese prin ıncercari succesive. Pentru ca iesirile sa aiba valori ıntre 0si 1, dar si prin ıncercari succesive, a fost aleasa tansig ca functie de transfer pentru toatestraturile. Algoritmul de ınvatare a fost ales pe baza concluziilor comparatiei ıntre diversialgoritmi1, raspunsul fiind trainscg, care s-a dovedit a avea performante bune pentru ogama larga de probleme, fiind aproape la fel de rapid ca cel mai rapid algoritm dedicat,atat pentru probleme de aproximare a functiilor, cat si pentru probleme de recunoastere amodelelor (pattern recognition), si avand cerinte reduse de memorie. Cel mai importanteste ca a rezolvat cu succes problema noastra de detectie a emotiilor.

1http://www.mathworks.com/help/nnet/ug/choose-a-multilayer-neural-network-training-function.html

33


5.2.5 Rezultate experimentale ale celei de-a doua metodeBaza de date de antrenare este comuna cu cea folosita ın prima metoda si prezentata ınSectiunea 5.2.3. Diferenta este ca aici coordonatele pentru expresia neutra sunt intrari desine statatoare pentru reteaua neurala, avand o iesire dedicata.

Timpul de antrenare a retelei (aproape 5 minute) este o consecinta a resurselor computa-tionale (Intel Core 2 Duo T5750 la 2GHz si 3G RAM), dar si a dimensiunii datelor deprocesat: 118 coordonate x aproximativ 6000 cadre ca date de intrare si matrici ale pon-derilor de dimensiuni 200x119, respectiv 100x201.

Cu datele mentionate ın paragrafele anterioare am obtinut urmatoarele rezultate:

• acuratetea predictiva a fost 97.99%; la simularea retelei cu date inexistente ın setulde antrenare, acuratetea a scazut la 80.32%. Datele pentru sesiunea de test au inclusaproape 500 cadre ce nu au fost prezentate retelei anterior.

Incurajati de aceste rezultate, am trecut la urmatorul pas: recunoasterea emotiilor ıntimp real folosind senzorul Kinect si antrenarea cu retele neurale. La integrarea medi-ilor de programare nu am ıntampinat probleme. Metoda de lucru a constat ın urmatoriipasi: aplicatia centrala este cea care interactioneaza cu senzorul; aceasta culege datelepersoanei urmarite si apeleaza reteaua neurala (gata antrenata), trimitandu-i ca parametrivalorile coordonatelor. Reteaua este simulata cu acesti parametri, ıntoarce emotia rezul-tata si o paseaza ınapoi catre aplicatia principala. Ultimul pas este de a afisa emotia ınfereastra principala pentru verificare. Fig. 5.8 arata rezultatele obtinute la rularea sis-temului.

Figure 5.8: Recunoastere automata ın timp real a emotiilor. De sus ın jos si de la stangala dreapta: starea neutra, bucurie, tristete, frica, manie, surpriza, dezgust. Etichetele suntscrise ın coltul stanga sus al fiecarei capturi.

Figura contine 7 capturi de ecran, cate una pentru fiecare expresie recunoscuta. Sepoate observa ca emotia detectata de aplicatie se regaseste pe fata persoanei urmarite.Chiar daca expresiile pot fi putin exagerate, rezultatele arata ca sistemul este promitator.

34


5.3 Analiza si interpretarea rezultatelorDesi doar a doua metoda a fost dusa pana la capat pentru a realiza detectia emotiilor ıntimp real, nici prima metoda nu trebuie abandonata. Ea prezinta reale posibilitati pentrua fi ımbunatatita si a da rezultatele scontate. O prima observatie se refera la numarul sialegera distantelor folosite. Ideea din spatele acestei alegeri era potrivirea cu modificarilesugerate de modelul psihologic dezvoltat. Se pare ca diferentele dintre aceste distantesunt prea mici, ceea ce ıngreuneaza sarcina retelei neurale de a invata expresiile. Totusi,se poate extinde ideea folosirii distantelor prin calcularea distantelor ıntre toate puncteleınregistrate pe fata. Pasul urmator consta ın folosirea unui algoritm de selectie de carac-teristici pentru a determina distantele relevante.

In ceea ce priveste cea de-a doua metoda, la momentul actual emotia este determinatapentru fiecare cadru. Consideram ca o abordare mai potrivita ar fi gruparea unui numar decadre, trimise toate pentru simulare retelei neurale, si ıntoarsa emotia care este detectatade cele mai multe ori ın setul respectiv.

O alta observatie tine de modul de construire al bazei de date. Astfel, pesoaneleurmarite au simulat expresia faciala pentru emotia data dupa ce au primit scurte indicatiicu privire la modelul psihologic. Nu le-au fost induse emotii ın niciun fel. Este posibilca expresia fetei afisata ın acest mod sa nu corespunda cu expresia ce survine naturalın urma resimtirii emotiei. Este posibil ca expresiile simulate sa fie exagerate fata decele naturale. Din acest punct de vedere, nu putem sti cu siguranta care va fi raspunsulsistemului la emotiile induse ın mod natural.

Ultima observatie se refera tot la baza de date pentru antrenare, de altfel o compo-nenta extrem de importanta a ınvatarii. Desi actualmente are mai mult de 6000 cadrede antrenare, totusi numarul de persoane ınregistrate este destul de mic si face parte dinaceeasi categorie sociala, culturala si de varsta. In aceste conditii, este de asteptat ca sis-temul sa nu ıntoarca rezultate la fel de bune pentru persoane ce provin din alt mediu. Seıntelege asadar nevoia de a folosi o baza de date mai mare si mai diversificata.

35

Capitolul 6

Evaluarea unui agent afectiv ıninteractiunea om-masina

Atentia asupra acestei teme mi-a fost atrasa de catre prof. Nicolas Sabouret de la Lab-oratoire d’Informatique de Paris 6 (LIP6), Universite Pierre et Marie Curie (UPMC) dinParis, ın timpul stagiului de cercetare pe care l-am efectuat acolo. In acest capitol mi-ampropus sa tratez aceasta tema, prezentand o propunere pentru a acoperi nevoia resimtita,si anume lipsa unei baze comune pentru evaluarea tuturor agentilor afectivi ın scenarii deinteractiune om-agent.

6.1 Interactiunea om-masina si metodele curente demasurare a performantei

Se presupune ca ınzestrarea agentilor cu abilitati afective duce la o interactiune maiplacuta, mai credibila, mai adaptata la nevoile, preferintele si starile emotionale ale uti-lizatorului. Dar nu exista o metoda prin care sa se evidentieze faptul ca un agent afec-tiv primeaza ın fata unuia non-afectiv si nici sa se compare diversii agenti emotionali.Aceasta este ceea ce ısi propune acest capitol sa defineasca.

Cea mai apropiata lucrare este cea a lui Steinfeld et al. [44], ınsa ei trateaza problemadin punctul de vedere al robotilor si sarcinile pentru care se face analiza nu sunt potrivitepentru cazul nostru. Cele mai folosite metode pentru evaluarea agentilor software suntchestionarele, care cer parerea utilizatorilor despre agent dupa ce au trecut printr-o sesiunede interactiune cu acesta.

In 2007, Mary Ellen Foster a recenzat noua agenti conversationali cu reprezentaregrafica (embodied conversational agents - ECA) [18]. Ea observa ca evaluarea automatanu prea a fost folosita ın aceasta zona. Ruttkay et al. [42] remarca faptul ca nu exista uncadru comun pentru a masura performanta agentilor ECA si analizeaza criteriile care artrebui folosite pentru evaluarea acestora: ınfatisare, modalitati de comunicare, atitudinimentale, gama de aplicatii, aspecte tehnice.

Charfi et al.[8] descriu o metoda pentru analiza automata a datelor ce reprezintainteractiunea om-masina. Aceasta metoda consta ın compararea unui obiect cu o referintaın raport cu masuri cantitative si calitative. Mai exact, se concentreaza pe ınregistrareasecventelor de actiuni a interactiunii om-agent si compararea cu o secventua de referinta.

36


De asemenea, Virtual clones [19] compara traiectoria agentului cu cea umana pentru astabili performanta agentului.

RapportAgent [23] folosesste, pe langa un chestionar, masuratori precum numarul decuvinte, durata discursului, numarul de pauze ın vorbire si cuvinte semnificative pentru aevalua daca utilizatorul percepe comportamentul non-verbal al agentul ca fiind sincronizatcu povestea. Bickmore et al. [4] analizeaza scenariul unui muzeu virtual, dar se concen-treaza pe agenti relationali. Totusi, metricile lor sunt utile: ei calculeaza cat de captivateste vizitatorul masurand timpul total petrecut de vizitator ımpreuna cu agentul si de cateori un vizitator se ıntoarce la agent pe parcursul unei zile.

6.2 Criteriile de evaluareUnul din motivele pentru care nu exista o metrica unica pentru masurarea performanteloragentilor ın interactiunea cu utilizatorul este diversitatea domeniului de aplicatie ın careacesta poate actiona. Pentru aceasta am propus un proces ın doi pasi pentru evaluareaagentilor. In primul pas se stabilesc caracteristicile care se evalueaza, ın functe de douacriterii pe care le vom defini mai jos. In pasul al doilea se aplica protocolul.

6.2.1 Criteriul tipului de sarcinaPentru a masura performantele unui agent, mai ıntai trebuie stabilit scopul pentru care afost construit: credibilitate, interactiune, realizarea unei sarcini anume. Astfel, exista douatipuri de caracteristici ale agentilor: specifice interactiunii si specifice competentelor.

Caracteristicile specifice interactiunii se refera la acele abilitati care fac interactiuneacu utilizatorul mai placuta, mai usoara, mai captivanta. Aceste trasaturi se pot obtine prinafisarea emotiilor, recunoasterea emotiilor utilizatorului, abilitati de comunicare.

Caracteristicile specifice competentei se refera la abilitatile prin care agentul ısiindeplineste sarcinile pentru care a fost construit. Acestea sunt specifice domeniului deaplicatie, cele mai ıntalnite fiind educatie, divertisment si sanatate.

Gratch&Marsella [22] au remarcat faptul ca agentii emotionali pot fi construiti urmanddoua abordari diferite: o abordare orientata pe comunicare si alta orientata pe simulare.In primul caz agentul nu are o reprezentare interna a afectului, ci doar afiseaza emotii prinexpresii faciale, vorbire sau gesturi cu scopul de a produce un impact asupra utilizatoru-lui. In al doilea caz, agentii sunt construiti cu scopul precis de a modela mecanismeleinterne ale emotiilor, astfel influentand procesele cognitive ale agentului, afisarea emotieinemaifiind o prioritate.

Putem astfel considera ca agentii construiti folosind abordarea orientata pe comuni-care ar trebui evaluati pentru abilitatile care tin de interactiune, iar cei construiti folosindabordarea orientata pe simulare ar trebui evaluati pentru abilitatile care tin de competente.

6.2.2 Criteriul obiectivitatiiAcest criteriu se refera la modul ın care se face evaluarea: obiectiv sau subiectiv. Eva-luarea subiectiva defineste acea evaluare facuta de utilizator, de obicei prin completareaunui chestionar. Utilizatorul ısi spune parerea cu privire la modul ın care percepe agentul,

37


cat de credibil este, cat de mult ıl ajuta, cat de placuta este interactiunea. Chestionarulcuprinde ıntrebari pentru care raspunsul este un scor pe o scala Likert de 5 sau 7 nivele(de la cel mai neplacut la cel mai placut: Dezacord puternic / Dezacord moderat / Deza-cord putin / Neutru / Acord putin / Acord moderat / Acord puternic). Chestionarul nutrebuie sa fie prea lung pentru a nu plictisi persoana care raspunde. Evaluarea obiectivase refera la date concrete care pot fi masurate si calculate ın timpul interactiunii agen-tului cu utilizatorul. Aceste date nu trebuie sa depinda de caracteristici individuale aleagentilor (personalitate, perceptie), ci trebuie sa ofere valori exacte, obiective, care sapermita comparatia agentilor (fie ei artificiali sau umani).

6.3 Protocolul de evaluareConsiderand cele doua criterii de evaluare, fiecare cu cate doua categorii, se obtin patrustudii de caz pentru evaluarea agentilor, fiecare fiind tratat ın cele ce urmeaza.

6.3.1 Evaluarea subiectiva a caracteristicilor specifice interactiuniiIn acest caz, utilizatorii trebuie sa completeze un chestionar dupa ce intearactioneazacu agentul. Intrebarile trebuie sa afle perceptia utilizatorului despre abilitatile agentuluiın ceea ce priveste credibilitatea, empatia, comportamentul emotional, personalitatea, deexemplu: Are agentul un comportament similar cu al unui om? Ti-a facut placere sainteractionezi cu agentul? Ai vrea sa mai interactionezi cu agentul?

6.3.2 Evaluarea obiectiva a caracteristicilor specifice interactiuniiAcest tip de evaluare masoara cat de captivat este utilizatorul ın interactiune. Variabilelecare pot masura obiectiv acest aspect sunt durata interactiunii, numarul interactiilor (decate ori reinitiaza utilizatorul interactiunea cu agentul), recunoasterea emotiior utiliza-torului (placute sau neplacute, nivelul stimularii).

6.3.3 Evaluarea subiectiva a caracteristicilor specifice competenteiAcest tip de evaluare cere parerea utilizatorilor despre cat de folositor li s-a parut agentul,daca si-au atins scopul ai daca agentul a avut vreun rol, pozitiv sau negativ, la obtinerearezultatului final. Intrebarile posibile includ: Crezi ca agentul te-a ajutat sa ıti atingiscopul? Crezi ca ai fi obtinut rezultate mai bune daca nu ai fi interactionat cu agentul?Esti multumit de activitatea globala agentului?

6.3.4 Evaluarea obiectiva a caracteristicilor specifice competenteiIn acest tip de evaluare, performanta agentului este masurata pe baza realizarilor utiliza-torului. Astfel, ıntr-un scenariu de educatie electronica, unde agentul trebuie sa-i trans-mita cunostinte elevului, rezultatele obtinute de elev la un test de cunostinte sunt o masuraa performantei agentului. Daca agentul are scopul de a-l face pe utilizator sa se simta bine,sa ıi induca o stare afectiva pozitiva, atunci aceasa stare afectiva a utilizatorilor trebuiemasurata pentru a vedea daca agentul si-a ındeplinit obiectivul. In domeniul sanatatii, unagent poate avea sarcina de a avea grija de starea de sanatate a unei persoane, de exemplusa aiba grija sa ısi ia pastilele la timp sau sa cheme ajutor ıntr-o situatie de urgenta. In

38


acest caz, agentul are o performanta buna daca persoana respectiva ısi pastreaza starea desanatate, si-o ımbunatateste sau este salvat dintr-o situatie de urgenta.

In plus fata de cele mentionate mai sus, (care sunt specifice fiecarui domeniu deaplicatie), se poate masura cata ıncredere are utilizatorul ın abilitatea agentului de a dasfaturi bune. Variabila folosita pentru aceasta masura este procentul de actiuni ale utiliza-torului efectuate la sugestia agentului.

Tabelul 6.1 rezuma cazurile discutate mai sus.

Subjective ObjectiveInteraction Chestionar - durata interactiunii

- numarul interactiunilor- recunoasterea emotiilor utilizatorului

Competence Chestionar - educatie: test de cunostinte- divertisment: recunoasterea emotiilor utilizatorului- sanatate: evolutia pacientului- procentul de actiuni selectate conform sugestiilor agentului

Table 6.1: Metode de evaluare ın functie de criteriile tipului de sarcina si al obiectivitatii

Avem asadar urmatoarele variabile:

• Qi - rezultatul chestionarului care masoara calitatea interactiunii

• Qc - rezultatul chestionarului care masoara competenta agentului

• ti - durata interactiunii (timpul ın secunde)

• fi - de cate ori initiaza utilizatorul interactiunea cu agentul

• fas - procentul actiunilor utilizatorului executate la sugestia agentului

• PE - numarul de emotii pozitive

• NE - numarul de emotii negative

• KT - nota obtinuta de utilizator la testul de cunostinte

• EHS - evolutia starii de sanatate a utilizatorului (pacientului)

Aceste variabile sunt ponderate de:

• Wi - cat de importante sunt caracteristice specifice interactiunii pentru aplicatia ıncare este evaluat agentul, si

• Wc - cat de importante sunt caracteristicile specifice competentei pentru aplicatia ıncare este evaluat agentul

unde Wi +Wc = 1

Totodata, evaluarea trebuie sa tina cont de rolul pentru care agentul este creat: educatie,sanatate, divertisment. De aceea mai trebuie introduse trei ponderi:

39


• Wl - daca agentul este construit pentru a preda

• Wh - daca agentul este construit pentru a ıngriji un pacient

• We - daca agentul este construit pentru a face utilizatorii sa aiba o stare de bine.

unde Wl +Wh +We = 1

Astfel, putem infera urmatoarea formula pentru scorul de evaluare ES al agentului:

ES =Wi ∗Qi +Wi ∗ (ti/tt + fi +PE−NE)+Wc ∗Qc+

Wc ∗ (Wl ∗KT +Wh ∗EHS+We ∗ (PE−NE)+ fas) (6.1)

unde tt este timpul total ın care utilizatorul este lasat sa interactioneze cu agentul.

6.4 Aplicarea protocolului ıntr-un scenariu de muzeu vir-tual

6.4.1 Descrierea scenariului

Pentru un muzeu virtual dorim sa construim un agent care, pe baza preferintelor vizita-torului, sa ıi poate recomanda galeria din muzeu care ıi va placea cel mai mult. Fig. 6.1ilustreaza functionarea sistemului: la intrarea ın muzeu, utilizatorului ıi sunt prezentateexemple de exponate din fiecare galerie; agentul apreciaza daca acestea ıi fac placere saunu, daca ıi trezesc interesul sau nu, si pe baza acestor aprecieri ıi face o recomandare. Intimpul vizitei agentul ıi citeste din nou emotiile, iar dupa vizita utilizatorul este rugat sacompleteze un chestionar. Pe baza acestor indicii se formeaza baza de date de feedbackce va fi folosita de agent ın recomandarile viitoare. Baza de cunostinte contine pieselede arta aflate in muzeu, fiecare adnotata cu o serie de cuvinte cheie care o definesc dinpunct de vedere al tipului (ex. pictura, sculptura), stilului (ex. clasicist, renascentist,modernist), temei (ex. portret, peisaj) si a starii afective induse (ex. liniste, melancolie,voiosie). Toate acestea ajuta agentul sa ıi creeze un profil utilizatorului pe baza caruia vaemite recomandarile.

6.4.2 Evaluarea scenariului

In primul rand trebuie sa observam ca agentul este construit folosind abordarea ori-entata pe simulare, asadar va fi evaluat numai din punct de vedere al competentelor.In consecinta, Wi = 0 si Wc = 1 si evaluarea se face pe baza caracteristicilor specificecompetentelor, atat obiective, cat si subiective.

In ceea ce privete evaluarea obiectiva, observam ca agentul are doua roluri: de atransmite cunostinte si de a induce o stare de bine. In consecinta, Wl = We = 0.5. Dinacest punct de vedere, se poate spune ca agentul este performant daca sunt ındeplinite treiconditii: utilizatorul termina vizita cu o stare afectiva pozitiva; dupa terminarea vizitei,utilizatorul poate rezolva corect un test de cunostinte bazat pe informatiile furnizate deghid; procentul de actiuni executate de vizitator la sugestia agentului (respectiv care ga-lerie sa o viziteze) este mai mare decat un anumit prag.

40


Figure 6.1: Un sistem bazat pe agenti pentru un muzeu inteligent

Pentru evaluarea subiectiva, vizitatorul este rugat sa raspunda la cateva ıntrebari, cumar fi: Cum evaluezi vizita ın muzeu? Daca vizita a fost neplacuta, crezi ca agentul estede vina? Esti multumit de ajutorul ofeit de agent? Crezi ca ai aflat lucruri noi ın aceastavizita?.

In final, formula 6.1 devine: ES = Qc +1/2∗ (KT +PE−NE)+ fas

In cele ce urmeaza prezentam o serie de situatii si cum pot fi ele interpretate.

Cazul 1: Qc = 100%,KT = 100%,PE = 4 (bucurie, curiozitate, surpriza, interes),NE = 0, fas = 100%⇒ ES = 1+1/2∗(1+4−0)+1 = 4.5. Acesta e cazul perfect, candagentul ısi ındeplineste ın totalitate ambele roluri si utilizatorul este complet multumit decompetenta agentului.

Cazul 2: Qc = 0%,KT = 0%,PE = 0,NE = 5 (tristete, frustrare, plictiseala, oboseala,manie), fas = 0%⇒ ES = 0+1/2∗ (0+0−5)+0 =−2.5. Acesta este cel mai rau caz,cand utilizatorul este total nemultumit, fapt confirmat de rezultatele la testul de cunostintesi din starea sa afectiva finala.

Cazul 3: Qc = 90%,KT = 80%,PE = 3 (bucurie, curiozitate, interes), NE = 1 (oboseala),fas = 95%⇒ ES = 0.9+1/2∗ (0.8+3−1)+0.95 = 3.25. Acesta este cazul tipic, candagentul ısi ındeplineste obiectivele cu o rata mare de succes.

Din cazurile prezentate mai sus se observa ca valorile pentru scorul de evaluare suntcuprinse ıntre -2.5 si 4.5. Nu sunt neaparat potrivite pentru o scala de evaluare, ınsa nueste o problema sa se scaleze formula pentru a se ıncadra ın intervalul dorit. Aspecte maiimportante de tratat ar fi urmatoarele:

• setul de domenii ale aplicatiilor este restrans; am considerat numai sanatate, educatiesi divertisment, dar ar putea exista si altele;

• lista de amotii pozitive si negative ce pot fi eperimentate ın timpul interactiunii esteincompleta; pentru un domeniu anume, lista de emotii este limitata, si ar fi intere-sant de stiut care este numarul acestora pentru a vedea efectele asupra formulei deevaluare.

41

Capitolul 7

Concluzii

In aceasta teza am explorat domeniul Calculului Afectiv urmand trei directii de cercetare.Simularea emotiilor este o tema dificila deoarece fenomenele afective umane nu suntınca intelese pe deplin. Avand la baza cunostintele existente, am facut o serie de deciziipentru a dezvolta un agent care prin procesele interne desfasurate sa simuleze cat maifidel posibil mecanismele umane. Recunoasterea emotiilor este un subiect mai usor deınteles, dar care are parte de provocari specifice. Pentru recunoasterea din expresii faciale,pe care s-a concentrat aceasta teza, dificultatea este data de modul ın care sunt exprimateemotiile de diverse persoane, unele afisand expresii accentuate, altele mai superficial. Inevaluarea agentilor afectivi ın interactiunea om-agent neajunsul era legat de lipsa uneiproceduri prin care toti agentii sa fie evaluati ın mod egal. Teza propune un protocol princare sa se poata masura performanta agentilor folosind o baza comuna de evaluare.

7.1 ContributiiPrincipalele contributii ale acestei teze sunt:

• Am conceput o arhitectura pentru agenti care sa modeleze cat mai fidel posibil pro-cesele cognitive si emotionale umane, cu scopul de a testa ipoteza conform careiaagentii asemanatori oamenilor au performanta ımbunatatita.

• Am studiat teoriile psihologice ale emotiilor si modelele computationale existenteale emotiilor si, bazat pe acestea, am selectat patru caracteristici ale mecanismelorinterne umane si le-am unificat ıntr-o singura arhitectura.

• Am dezvoltat o arhitectura pentru agenti care include atat comportament cognitivcat si reactiv, similar celui uman.

• Am propus o reprezentare a emotiilor folosind atat un model dimensional cat siemotii principale si secundare. Modelul dimensional ne permite sa surprindemtrasaturile mai putin clare ale sentimentelor, care nu pot fi catalogate ca fiind nistevalori ıntr-o multime finita de categorii emotionale. Pe de alta parte, modelulemotiilor primare si secundare al lui Damasio descrie precis procesul care are locın creierul uman.

• Am propus o metoda prin care agentul sa imite sistemul de alocare a resurselor spe-cific uman. Oamenii au intotdeauna o rezerva de resurse de care nu sunt constienti,

42


dar care poate fi observata ın situatii critice, cand problema trebuie rezolvata ur-gent. In acel moment, nivelul de stimulare creste si persoana gaseste imediat ener-gia necesara sa actioneze. In modelul nostru acest fapt se reprezinta prin trei nivelede acces la resurse, depinzand de importanta problemei ıntalnite.

• Am analizat componentele modelului ıntr-un scenariu de educatie electronica siam aratat cum este utilizata fiecare dintre ele de catre tutorele artificial emotional,cum interactioneaza ıntre ele si de ce sunt toate necesare pentru ca un agent sa-siındeplineasca scopurile cat se poate de bine (sa ıi transmita studentului cunostinteıntr-un mod interactiv si placut).

• Am studiat expresia emotiei umane ın formele ei variate si metodele existente pen-tru recunoasterea automata a emotiilor si, pe baza acestora, am ales o abordarepotrivita pentru detectia starii afective ın scenarii de interactiune om-agent.

• Am dezvoltat un model psihologic pentru expresiile faciale ale emotiilor de baza.Chiar daca fiecare persoana ısi exprima ın mod diferit emotiile, s-a constatat cafiecare din cele sase emotii de baza specificate de Paul Ekman si altii au expresiifaciale similare, universal exprimate si recunoscute peste tot ın lume. Am studiatacest subiect si am ajuns la o concluzie referitor la modelele acestor expresii ınraport cu ochii sprancenele si buzele.

• Am propus o metoda pentru recunoasterea ın timp real a emotiilor prin calculareadistantelor dintre punctele urmarite pe fetele utilizatorilor. Am calculat 18 distanteıntre ochi, sprancene si buze astfel ıncat modelul psihologic sa poata fi regasit ınaceste distante.

• Am propus o metoda de recunoastere ın timp real a emotiilor din expresiile facialeutilizand coordonatele punctelor urmarite pe fetele utilizatorilor; aceasta metodanecesita normalizarea datelor ın sensul translatarii pe una din cele 3 axe.

• Am studiat problema definirii performantei agentului ın diverse contexte: candagentul efectueza o sarcina, cand interactioneaza cu agentul uman, cand scopullui este acela de a ajuta utilizatorii umani sa-si ındeplineasca sarcinile; am studiatmetodele de evaluare existente pentru cazurile considerate.

• Am propus criterii de evaluare a agentilor afectivi care actioneaza ıntr-un mediu deinteractiune om-agent; aceste criterii sunt tintite sa clasifice toate tipurile de agentiın categorii care sa faca mai usoara evaluarea.

• Am dezvoltat un protocol de evaluare pentru agentii afectivi ın interactiunea om-agent; acest protocol unifica metodele actuale de evaluare ıntr-o singura masura,propunand o formula ce include toate aspectele evaluarii.

• Am propus o formula pentru evaluarea agentilor afectivi care ia ın considerare toateaspectele aplicatiei; pentru a aplica aceasta formula, fiecare variabila si ponderetrebuie ınlocuita cu valoarea corecta data de context, de scopul agentului, de rezul-tatele masuratorilor obiective si subiective.

• Am evaluat performanta agentului care actioneaza ca un ghid ıntr-un muzeu vir-tual, ın functie de protocolul propus si am analizat studii de caz pentru scenariulconsiderat.

43


7.2 Publicatii• Mihaela-Alexandra Puica and Adina-Magda Florea. Emotional Belief-Desire-

Intention agent model: Previous work and proposed architecture. InternationalJournal of Advanced Research in Artificial Intelligence, 2(2):1-8, 2013.

• Mihaela-Alexandra Puica, Irina Mocanu, and Adina-Magda Florea. Agent-basedsystem for affective intelligent environment. In Filip Zavoral, Jason J. Jung, andCostin Badica, editors, Proceedings of the 7th International Symposium on Intelli-gent Distributed Computing (IDC 2013), volume 511 of Studies in ComputationalIntelligence, pages 335-342. Springer, 2013.

• Mihaela-Alexandra Puica. An approach to evaluate the performance of a useraffective agent. In Proceedings of 17th International Conference on System Theory,Control and Computing (ICSTCC 2013), pages 789-794. IEEE, 2013.

• Mihaela-Alexandra Puica. Real time emotion recognition from facial expressions.Journal of Control Engineering and Applied Informatics. submitted.

• Mihaela-Alexandra Puica. Towards an Emotional Agent Architecture for Prac-tical Reasoning. University POLITEHNICA of Bucharest Scientific Bulletin, Cseries: Electrical Engineering and Computer Science. submitted.

7.3 Dezvoltari ulterioarePropunerile prezentate ın aceasta teza pot fi ımbunatatite si extinse pe viitor. In primulrand, este nevoie ca modelul de agent emotional propus sa fie integrat ıntr-un mediu caresa permita verificarea faptului ca un agent asemanator omului poate avea o performantamai buna decat un agent strict rational.

In plus, agentul trebuie inclus si ıntr-un mediu de interactiune cu utilizatorul umanpentru a testa abilitatile de interactiune si abilitatea de a putea ajuta utilizatorul. Scenariultutorelui afectiv este un bun exemplu si ın Sectiunea 4.4 am aratat cum ıl ajuta componen-tele arhitecturii sa se adapteze nevoilor studentului. Discutia a fost ınsa doar teoretica sieste nevoie de o verificare ıntr-un mediu real. Scenariul muzeului virtual este si el potrivit,ınsa doar daca modulul de detectie a emotiilor este intr-adevar fiabil, altfel este un factorde zgomot.

O extensie interesanta o constituie crearea de profile ale utilizatorilor. Astfel, dacaatunci cand utilizatorul priveste un obiect (fie el poza, film, piesa de arta sau altceva)agentul detecteaza o emotie pozitiva, atunci poate adauga la profilul sau ca ıi place respec-tivul obiect (si invers pentru emotii negative). Aceste profile pot fi mai departe folosite ınsistemele de recomandare.

Cel mai interesant aspect (credem) pentru a fi tratat ın viitor este crearea unui agentavand la baza arhitectura propusa de simulare a emotiilor si ın acelasi timp care sa aiba siabilitatea de a detecta emotiile utilizatorului. Acesta ar fi o versiune foarte apropiata deagentul similar omului imaginat de cercetarea ın inteligenta artificiala.

44

Referinte

[1] Magda Arnold. Emotion and personality. Columbia University Press, 1960.

[2] Norman Badler and Stephen Smoliar. Digital representations of human movement.Computing Surveys, 11(1):19–38, March 1979.

[3] Christian Becker-Asano. WASABI: Affect Simulation for Agents with BelievableInteractivity. PhD thesis, University of Bielefeld, 2008.

[4] Timothy Bickmore, Laura Pfeifer, and Daniel Schulman. Relational agents improveengagement and learning in science museum visitors. In Hannes Vilhjalmsson, Ste-fan Kopp, Stacy Marsella, and Kristinn Thorisson, editors, Intelligent Virtual Agents,Proceedings of the 11th International Conference, IVA 2011, volume 6895 of Lec-ture Notes in Computer Science, pages 55–67. Springer-Verlag Berlin Heidelberg,2011.

[5] Margaret Bradley and Peter Lang. Affective norms for english words (ANEW):Instruction manual and affective ratings. Technical report, NIMH Center for theStudy of Emotion and Attention, University of Florida, 1999.

[6] Rafael Calvo and Sidney D’Mello. Affect detection: An interdisciplinary review ofmodels, methods, and their applications. IEEE Transactions on Affective Computing,1(1):18–37, 2010.

[7] I. Cearreta, J. M. Lopez, K. Lopez de Ipina, N. Garay, C. Hernandez, and M. Grana.A study of the state of the art of affective computing in ambient intelligence envi-ronments. In Interaccion 2007 (VIII Congreso de Interaccion Persona-Ordenador,II Congreso Espanol De Informatica - CEDI 2007), pages 333–342. Asociacion In-teraccion Persona-Ordenador (AIPO), 2007.

[8] Selem Charfi, Houcine Ezzedine, Christophe Kolski, and Faouzi Moussa. Towardsan automatic analysis of interaction data for HCI evaluation: Application to a trans-port network supervision system. In Proceedings of the 14th International Con-ference on Human-Computer Interaction: Design and Development Approaches(HCII2011), Part I, pages 175–184. Springer-Verlag, 2011.

[9] Antonio Damasio. Descartes’ Error: Emotion, Reason and the Human Brain. Gos-set/Putnam Press, 1994.

[10] Charles Darwin. The expression of the emotions in man and animals. London: JohnMurray, 1872.

[11] Sidney D’Mello and A Graesser. Automatic detection of learner’s affect from grossbody language. Applied Artificial Intelligence, 23:123–150, 2009.

45


[12] Sidney D’Mello, Arthur Graesser, and Rosalind Picard. Toward an affect-sensitiveAutoTutor. Intelligent Education System, 2007.

[13] Paul Ekman. The Handbook of Cognition and Emotion, chapter Basic Emotions,pages 45–60. John Wiley & Sons Ltd., 1999.

[14] Paul Ekman and Wallace Friesen. Facial Action Coding System: Investigator’sguide. Consulting Psychologist Press, 1978.

[15] Clark Elliot. The Affective Reasoner: A process model of emotions in a multi-agentsystem. PhD thesis, Northwestern University, 1992.

[16] Hans Eysenck. Dimensions of Personality. Transaction Publishers, 1947.

[17] Adina Magda Florea and Eugenia Kalisz. Behavior anticipation based on beliefs,desires and emotions. International Journal of Computing Anticipatory Systems,14:37–47, 2004.

[18] Mary Ellen Foster. Enhancing human-computer interaction with embodied conver-sational agents. In Proceedings of the 4th International Conference on UniversalAccess in Human-Computer Interaction: Ambient Interaction (UAHCI’07), pages828–837. Springer-Verlag, 2007.

[19] Doron Friedman and Peleg Tuchman. Virtual clones: Data-driven social naviga-tion. In Hannes Vilhjalmsson, Stefan Kopp, Stacy Marsella, and Kristinn Thorisson,editors, Intelligent Virtual Agents, Proceedings of the 11th International Confer-ence, IVA 2011, volume 6895 of Lecture Notes in Computer Science, pages 28–34.Springer-Verlag Berlin Heidelberg, 2011.

[20] Patrick Gebhard. ALMA - a layered model of affect. pages 29–36. ACM New York.

[21] Jonathan Gratch and Stacy Marsella. A domain-independent framework for model-ing emotion. Journal of Cognitive Systems Research, 2004.

[22] Jonathan Gratch and Stacy Marsella. Evaluating a computational model of emotion.Autonomous Agents and Multi-Agent Systems, 11(1):23–43, 2005.

[23] Jonathan Gratch, Ning Wang, Jillian Gerten, Edward Fast, and Robin Duffy. Creat-ing rapport with virtual agents. In Catherine Pelachaud, Jean-Claude Martin, Elisa-beth Andre, Gerard Chollet, Kostas Karpouzis, and Danielle Pele, editors, IntelligentVirtual Agents, Proceedings of the 7th International Conference, IVA 2007, volume4722 of Lecture Notes in Computer Science, pages 125–138. Springer Berlin Hei-delberg, 2007.

[24] Nicu Hebe, Ira Cohen, and Thomas Huang. Handbook of Pattern Recognition andComputer Vision, chapter Multimodal Emotion Recognition. World Scientific, 2005.

[25] David Hernandez, Oscar Deniz, Javier Lorenzo, and Mario Hernandez. BDIE: a BDIlike architecture with emotional capabilities. In Papers from AAAI Spring Sympo-sium: Architectures for Modeling Emotion: Cross-Disciplinary Foundations, 2004.

[26] Hong Jiang, Jose Vidal, and Michael Huhns. EBDI: An architecture for emotionalagents. In Proceedings of the 6th International Joint Conference on AutonomousAgents and Multiagent Systems (AAMAS’07), pages 38–40, 2007.

46


[27] Hazael Jones, Julien Saunier, and Domitile Lourdeaux. Personality, emotions andphysiology in a bdi agent architecture: the PEP Õ BDI model. In Proceedings ofWI-IAT - IEEE/WIC/ACM International Joint Conference on Web Intelligence andIntelligent Agent Technology, volume 2, pages 263–266, 2009.

[28] Saul Kassin. Psychology. Prentice Hall, 4 edition, 2004.

[29] Barry Kort, Rob Reilly, and Rosalind Picard. An affective model of interplay be-tween emotions and learning: Reengineering educational pedagogy - building alearning companion. In Proceedings of the IEEE International Conference on Ad-vanced Learning Techniques (ICALT’01), 2001.

[30] Richard Lazarus. Emotion and Adaptation. Oxford University Press, 1991.

[31] Stacy Marsella and Jonathan Gratch. Ema: A process model of appraisal dynamics.Journal of Cognitive Systems Research, 10(1):70–90, 2009.

[32] Andrew Ortony, Gerard Clore, and Allan Collins. The cognitive structure of emo-tions. Cambridge University Press, 1988.

[33] H. Van Dyke Parunak, Robert Bisson, Sven Brueckner, Robert Matthews, and JohnSauter. A model of emotions for situated agents. In Proceedings of 5th InternationalJoint Conference on Autonomous Agents and Multi-Agent Systems (AAMAS’06),pages 993–995, 2006.

[34] David Pereira, Eugenio Oliveira, Nelma Moreira, and Luis Sarmento. Towards anarchitecture for emotional BDI agents. In IEEE Proceedings of the 12th PortugueseConference on Artificial Intelligence (EPIA’05), pages 40–47. Springer, 2005.

[35] Rosalind Picard. Affective Computing. MIT Press, 2000.

[36] Martha Pollack and Marc Ringuette. Introducing the Tileworld: Experimentallyevaluating agent architectures. In T. Dietterich and W. Swartout, editors, Proceed-ings of the 8th National Conference on Artificial Intelligence, pages 183–189. AAAIPress, 1990.

[37] Mihaela-Alexandra Puica and Adina-Magda Florea. Emotional belief-desire-intention agent model: Previous work and proposed architecture. InternationalJournal of Advanced Research in Artificial Intelligence, 2(2):1–8, 2013.

[38] Mihaela-Alexandra Puica, Irina Mocanu, and Adina-Magda Florea. Agent-basedsystem for affective intelligent environment. In Filip Zavoral, Jason J. Jung, andCostin Badica, editors, Proceedings of the 7th International Symposium on Intelli-gent Distributed Computing (IDC 2013), volume 511 of Studies in ComputationalIntelligence, pages 335–342. Springer, 2013.

[39] Scott Reilly. Believable Social and Emotional Agents. PhD thesis, Carnegie MellonUniversity, 1996.

[40] James Russell. Affective space is bipolar. Journal of Personality and Social Psy-chology, 37(3):345–356, 1979.

47


[41] James Russell and Albert Mehrabian. Evidence for a three-factor theory of emotions.Journal of Research in Personality, 11(3):273–294, 1977.

[42] Zsofia Ruttkay, Claire Dormann, and Han Noot. From Brows till Trust: EvaluatingEmbodied Conversational Agents, volume 7 of Human-Computer Interaction Se-ries, chapter Embodied Conversational Agents on a Common Ground, pages 27–66.Springer Netherlands, 2004.

[43] Magy Seif El-Nasr, John Yen, and Thomas Ioerger. FLAME - a fuzzy logic adaptivemodel of emotions. Autonomous Agents and Multi-agent Systems, 3:219–257, 2000.

[44] Aaron Steinfeld, Terrence Fong, David Kaber, Michael Lewis, Jean Scholtz, AlanSchultz, and Michael Goodrich. Common metrics for human-robot interaction. InProceedings of the 1st ACM SIGCHI/SIGART Conference on Human-Robot inter-action (HRI’06), pages 33–40. ACM, 2006.

[45] Vasco Vinhas, Eugenio Oliveira, and Luıs Paulo Reis. BioStories: Dynamic multi-media environments based on real-time audience emotion assessment. In EnterpriseInformation Systems, 12th International Conference on Enterprise Information Sys-tems (ICEIS 2010), Lecture Notes in Business Information Processing, pages 512–525. Springer Berlin Heidelberg, 2011.

[46] Na Yang, Rajani Muraleedharan, JoHannah Kohl, Ilker Demirkol, WendiHeinzelman, and Melissa Sturge-Apple. Speech-based emotion classifi-cation using multiclass SVM with hybrid kernel and threshholding fu-sion. In 2012 IEEE Workshop on Spoken Language Technology, 2012.http://www.rochester.edu/news/show.php?id=5072.

[47] Robert Yerkes and John Dodson. The relationship of strength of stimulus to rapidityof habit formation. Journal of Comparative Neurology and Psychology, (18):459–482, 1908.

48

universitatea politehnica b - aimas.cs.pub.ro · ca afectivitatea s¸i cognit¸ia sunt dou˘ a...

Documents