Melissa  Onori,  Alessandro  Micarelli,  Giuseppe  Sansone,    

Department  of  Engineering  Ar0ficial  Intelligence  Laboratory  

Roma  Tre  University  Via  della  Vasca  Navale,  79,  00146  Rome,  Italy  

A  Compara1ve  Analysis  of  Personality-­‐Based    Music  Recommender  Systems  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

Can  informa0on  on  the  target  user’s  personality  improve  the  accuracy  of  the  music  recommenda0on  process?  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

Research  QuesCon  

•  Recommender  Systems  •  Music  Recommender  Systems  •  Personality  •  User  study  •  Conclusions  and  future  works  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

This  Talk  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

Recommender  Systems  “In   this   age   of   informaCon   overload,  people   use   a   variety   of   strategies   to  make   choices   about  what   to   buy,   how  to   spend   their   leisure   Cme,   and   even  whom   to   date.   Recommender   systems  automate  some  of  these  strategies  with  the   goal   of   providing   affordable,  p e r s o n a l ,   a n d   h i g h -­‐ q u a l i t y  recommendaCons”  [1]  

Information Overload

[1]  D.  Jannach  et  al.  (2011).  Recommender  systems.  An  Introduc0on.  Cambridge  University  Press.    

!"##$%"&$'()*+,-)##+.)+/0$123+4"45#$&+$."67+.8+4))&3,+

!"#$%#$&'()%*+,-./"0,1%,1"2%,"3,$/%,)(1%,0/($,456%,789%*-

•  “Music  recommender  system  are  decision  support  tools  that  reduce  informaCon  overload  by  retrieving  relevant  music  item  on  a  user’s  profile”  [2]  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

Music  Recommender  Systems  

[2]    O.  Celma  and  P.  Lamere.  (2011)  If  you  like  radiohead,  you  might  like  this  ar0cle.  AI  Magazine.      

•  “Music  recommender  system  are  decision  support  tools  that  reduce  informaCon  overload  by  retrieving  relevant  music  item  on  a  user’s  profile”  [2]  

 •  “However,  most  of  the  available  music  recommenders  suggest  music  without  taking  into  consideraCon  the  user’s  context,  e.g.,  her  personality,  current  locaCon,  acCvity,  or  any  other  contextual  condiCon  that  might  influence  the  user’s  percepCon  or  evaluaCon  of  music”  [3]  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

Music  Recommender  Systems  

[2]    O.  Celma  and  P.  Lamere.  (2011)  If  you  like  radiohead,  you  might  like  this  ar0cle.  AI  Magazine.      [3]  Adomavicius  et  al.  (2011)  Context-­‐aware  recommender  systems.  AI  Magazine.      

•  “Personality  refers  to  an  individual’s  characterisCc  paXerns    of  thought,  emoCon,  and  behavior,  together  with  the  psychological  mechanisms  –  hidden  or  not  –  behind  those  paXerns”  [4]  

•  Personality  Traits  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

Personality  

OPENNESS

NEUROTICISM EXTRAVERSION

CONSCIENTIOUSNESS

AGREEABLENESS

BIG FIVE MODEL

[5]  

[4]  D.  C.  Funder.    (2004).    The  Personality  puzzle.  W.W.Norton  &  Company.  [5]  P.T.  Costa,  R.R.  McCrae    (1976).    A  cluster  analy0c  approach.  Journal  of  Gerontology.  

Music  Recommender  Sytems  (MRSs)  based  on    1.  Rela0ons  between  explicit  personality  and  music  genres  2.  Explicit  personality  and  neighbors  3.  Implicit  personality  and  neighbors  4.  Music  preferences  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

Music  Recommender  Systems  

Personality  Test:  44-­‐item  Big  Five  Inventory  (BFI)  test  [6]  example:  I  see  Myself  as  Someone  Who  ...  is  TalkaCve  [1    2    3    4    5]    

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

1°  MRS  

ID   OPE   NEU   EXT   CON   AGR  

33   3.78   1.80   2.60   3.44   3.50  E.g.,  User  33  :  

  Rule  1  :  Ope  ∈  (3.75,  3.875]  ∧  Agr  ∈  (3.465,  3.598]  ⇒  Reggae  

  Rule  2  :  Ope  ∈  (3.75,  3.875]  ∧  Con  ∈  (3.35,  3.5]  ∧  Agr  ∈  (3.41,  3.575]  ⇒  Country    

[6]  John,  O.  P.,  &  Srivastava,  S.  (1999).  The  Big-­‐Five  trait  taxonomy:  History,  measurement,  and  theore0cal  perspec0ves.  Handbook  of  personality:  Theory  and  research.  Guilford  Press.  

Associa0on  rules  [7]:  Big  Five  factors  <-­‐-­‐-­‐>  Music  genres    

[7]  Iván  Cantador,  et  al.  Rela0ng  Personality  Types  with  User  Preferences  in  Mul0ple  Entertainment  Domains.  EMPIRE  2013.  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

2°  MRS  

ID   OPE   NEU   EXT   CON   AGR  

33   3.78   1.80   2.60   3.44   3.50  E.g.,  User  u  :  

ID   OPE   NEU   EXT   CON   AGR  

33   3.78   1.80   2.60   3.44   3.50                  User  v1:  

ID   OPE   NEU   EXT   CON   AGR  

33   3.78   1.80   2.60   3.44   3.50                  User  v2:  

ID   OPE   NEU   EXT   CON   AGR  

33   3.78   1.80   2.60   3.44   3.50                  User  v3:  

In Your Room - Depeche ModeFearless - VNV Nation

Free Roll - DAT Politics…Moonwatch - Mike Oldfield

Personality  Test:  44-­‐item  Big  Five  Inventory  (BFI)  test  

               ...                  ...  

User  u  <-­‐-­‐-­‐>  Last.fm  users    

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

2°  MRS  

0 ! simp(u,v) !1

puk:  value  of  the  Big  Five  factor  k  of  the  user  u  

Personality  extracted  through  the  Apply  Magic  Sauce  (AMS)  API  [8]  from  likes  on  Facebook  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

3°  MRS  

ID   OPE   NEU   EXT   CON   AGR  

33   3.12   2.40   2.56   2.97   4.19  E.g.,  User  u  :  

[8]  S0llwell  D.  et  al.  (2013)  Private  traits  and  aiributes  are  predictable  from  digital  records  of  human  behavior.  

ID   OPE   NEU   EXT   CON   AGR  

33   3.78   1.80   2.60   3.44   3.50                  User  v1:  

ID   OPE   NEU   EXT   CON   AGR  

33   3.78   1.80   2.60   3.44   3.50                  User  v2:  

ID   OPE   NEU   EXT   CON   AGR  

33   3.78   1.80   2.60   3.44   3.50                  User  v3:  

ID   OPE   NEU   EXT   CON   AGR  

33   3.78   1.80   2.60   3.44   3.50                  User  v4:  

ID   OPE   NEU   EXT   CON   AGR  

33   3.78   1.80   2.60   3.44   3.50                  User  v5:  

Animal - The CabReptileʼs Theme - Skrillex

Natural Anthem - - The Postal Service…

Rano Pano - Mogwy

…

……

……

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

4°  MRS  

LAST.FM  RECOMMENDER  

Songs  chosen  by  the  user   Songs  suggested  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

Dataset  

•  Last.fm  music  listening  data  by  myPersonality  project  [9]  

•  1875  Last.fm  users    •  Each  user:  personality  test  and  listening  history  •  User’s  preference  inferred  from  the  playcount  airibute  (how  many  0mes  the  user  listened  to  that  par0cular  song)  

[9]  www.mypersonality.org  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

User  Study  

Female   Male  

27   38  

0-­‐18   19-­‐24   25-­‐29   30-­‐35   36-­‐45   46-­‐55   56-­‐65  

2   25   26   2   5   4   1  

None   Student   Employee   Professional   Housewife  

6   35   21   2   1  

Primary   Secondary   Bachelor   Master   PhD  

6   29   18   10   2  

Gender:    

Age:    

Occupa0on:    

Educa0on:    

Sample  of  65  Users  with  an  ac0ve  Facebook  account  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

User  Study  

•  UI  for  presen0ng  the  user  with  the  suggested  playlists  

•  A  preview  of  30  seconds  of  each  song  in  the  playlist  (through  the  SpoCfy  APIs)  

•  Each  user  was  required  to  test  all  MRSs  and  evaluate  the  returned  playlist  

•  MRSs  proposed  in  a  random  order  •  Users  unaware  of  MRSs  details  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

User  Study  

•  “I  found  new  songs  by  arCsts  already  known  to  me”  (novelty)  

•  “I  found  songs  by  arCsts  that  I  did  not  know  and,  as  of  now,  will  begin  to  listen  to”  (serendipity)  

•  “I  found  songs  of  different  music  genres”  (diversity)  •  “I  found  the  suggested  playlist  interesCng”  (interest)  •  “I  would  use  this  MRS  again  in  the  future”  (future  use)  

Each  user  asked  to  provide  an  assessment  (in  a  Likert  5-­‐point  scale,  with  1:  strongly  disagree,  5:  strongly  agree)  on  five  statements:  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

User  Study  

MRS   #  Users   Novelty   Serendipity   Diversity   Interest   Future  Use  

1   65   2.5  –  1.0   2.5  –  0.8   3.0  –  0.9   3.0  –  0.8   3.4  –  0.8  

2   65   2.4  –  0.9   2.6  –  0.8   2.8  –  0.8   3.2  –  0.7   3.3  –  0.8  

3   43   2.2  –  0.7   2.2  –  0.6   3.2  –  0.9   2.4  –  0.7   2.8  –  0.9  

4   65   2.9  –  0.8   2.4  –  0.9   1.7  –  0.5   3.5  –  0.6   3.5  –  0.6    

Results  in  terms  of  mean  and  standard  devia0on  of  user  ra0ngs:    

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

User  Study  

MRS   #  Users   Novelty   Serendipity   Diversity   Interest   Future  Use  

1   65   2.5  –  1.0   2.5  –  0.8   3.0  –  0.9   3.0  –  0.8   3.4  –  0.8  

2   65   2.4  –  0.9   2.6  –  0.8   2.8  –  0.8   3.2  –  0.7   3.3  –  0.8  

3   43   2.2  –  0.7   2.2  –  0.6   3.2  –  0.9   2.4  –  0.7   2.8  –  0.9  

4   65   2.9  –  0.8   2.4  –  0.9   1.7  –  0.5   3.5  –  0.6   3.5  –  0.6    

Results  in  terms  of  mean  and  standard  devia0on  of  user  ra0ngs:    

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

User  Study  

MRS   #  Users   Novelty   Serendipity   Diversity   Interest   Future  Use  

1   65   2.5  –  1.0   2.5  –  0.8   3.0  –  0.9   3.0  –  0.8   3.4  –  0.8  

2   65   2.4  –  0.9   2.6  –  0.8   2.8  –  0.8   3.2  –  0.7   3.3  –  0.8  

3   43   2.2  –  0.7   2.2  –  0.6   3.2  –  0.9   2.4  –  0.7   2.8  –  0.9  

4   65   2.9  –  0.8   2.4  –  0.9   1.7  –  0.5   3.5  –  0.6   3.5  –  0.6    

Results  in  terms  of  mean  and  standard  devia0on  of  user  ra0ngs:    

•  Very  similar  assessment  for  the  first  three  MRSs  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

User  Study  

MRS   #  Users   Novelty   Serendipity   Diversity   Interest   Future  Use  

1   65   2.5  –  1.0   2.5  –  0.8   3.0  –  0.9   3.0  –  0.8   3.4  –  0.8  

2   65   2.4  –  0.9   2.6  –  0.8   2.8  –  0.8   3.2  –  0.7   3.3  –  0.8  

3   43   2.2  –  0.7   2.2  –  0.6   3.2  –  0.9   2.4  –  0.7   2.8  –  0.9  

4   65   2.9  –  0.8   2.4  –  0.9   1.7  –  0.5   3.5  –  0.6   3.5  –  0.6    

Results  in  terms  of  mean  and  standard  devia0on  of  user  ra0ngs:    

•  Very  similar  assessment  for  the  first  three  MRSs    •  Different  results  for  the  last  MRS  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

User  Study  

MRSs  are  useful  to  find    new  songs  

I  like  the  UI  

I  don’t  like  the  songs  

Songs  are  interes0ng  

I  had  new  inspira0ons   Playlists  too  

mono-­‐genre  

MRSs  are  original  

and  funny    70%  

80%   20%  70%  

50%  

80%  

10%  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

Conclusions  

 •  Implementa0on  of  different  MRSs  •  Compara0ve  analysis  on  a  sample  of  user  study  •  Personality-­‐based  MRSs  with  almost  similar  performance  to  that  of  Last.fm  recommender  

•  Higher  diversity  of  results  for  personality-­‐based  MRSs  than  Last.fm  recommender  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016  

Future  Works  

•  Extension  of  the  number  of  involved  users  and  tested  dataset  

•  Extension  of  number  and  type  of  MRSs  to  be  compared  with  each  other  

•  Extension  of  implicit  techniques  for  personality  extrac0on  

•  Layered  evalua0on  for  user  model  /  user  interface    

Melissa  Onori,  Alessandro  Micarelli,  Giuseppe  Sansone,    

Department  of  Engineering  Ar0ficial  Intelligence  Laboratory  

Roma  Tre  University  Via  della  Vasca  Navale,  79,  00146  Rome,  Italy  

A  Compara1ve  Analysis  of  Personality-­‐Based    Music  Recommender  Systems  

EMPIRE  2016  –  Boston,  MA,  USA  –  September  16,  2016