diversità per recommender systems
DESCRIPTION
Breve introduzione ai Recommender Systems e al problema della diversità dei suggerimenti, con utili riferimenti bibliografici. Slide usate durante il talk http://www.eventbrite.it/e/biglietti-club-degli-sviluppatori-puglia-recommender-systems-9384077027?aff=eorgTRANSCRIPT
![Page 1: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/1.jpg)
Diversity in Recommender Systems
Paolo TomeoTwitter: @PaoTomeoFacebook: PTomeo
![Page 2: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/2.jpg)
Information overload
@mkapor
![Page 3: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/3.jpg)
Information Retrieval vs Information Filtering
![Page 4: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/4.jpg)
Information Retrieval vs Information Filtering
U. Hanani, B. Shapira, P. Shoval. “Information Filtering: Overview of Issues, Research and Systems”. User Modeling and User-Adapted Interaction, 11(3): 203-259, 2001
IR IF
Representation of information needs
Queries User profiles
Goal Selecting relevant items (docs) that match a query
Filtering out the many irrelevant data items in accord with a user's profile
Type of use Ad-hoc use Repetitive use
Type of users One-time users Long-term users
Index Items User profiles
Database Relatively static Dynamic
![Page 5: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/5.jpg)
Recommender SystemsInformation filtering personalizzato
![Page 6: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/6.jpg)
Recommender SystemsInformation filtering personalizzato
selezione di item fra una miriade di possibilità, in base a interessi e necessità degli utenti
![Page 7: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/7.jpg)
Recommender SystemsInformation filtering personalizzato
selezione di item fra una miriade di possibilità, in base a interessi e necessità degli utenti
suggeriscono interazioni con nuovi item analizzando le passate interazioni
![Page 8: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/8.jpg)
Recommender Systems
Affrontano efficacemente l'information overload
Forniscono valore aggiunto per utenti, imprese e relazioni fra loro
![Page 9: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/9.jpg)
Recommender Systems
La progettazione richiede conoscenze di varie discipline
statistics, machine learning,human-computer interaction,
social network analysis,psychology
![Page 10: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/10.jpg)
Recommender Systems
La progettazione richiede conoscenze di varie discipline
statistics, machine learning,human-computer interaction,
social network analysis,psychology
![Page 11: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/11.jpg)
http://www.slideshare.net/blueace/how-to-build-a-recommender-system-presentation
![Page 12: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/12.jpg)
Data
URM: user-rating matrix
![Page 13: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/13.jpg)
Data
http://www.slideshare.net/blueace/how-to-build-a-recommender-system-presentation
![Page 14: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/14.jpg)
14
Suggerisce item apprezzati da altri utenti che hanno preferenze simili
Output
Generalmente una lista di Top-N
suggerimenti: N item considerati più
accurati
http://www.youtube.com/feed/recommended
![Page 15: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/15.jpg)
15
Steps
Input:RatingOutput: Recommendation
1 – Training2 – Prediction3 – Ranking
(4 – Re-Ranking)
![Page 16: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/16.jpg)
16
Prediction
Stima della rilevanza di un item per un utente
f: U×I [0,1]→
![Page 17: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/17.jpg)
17
Suggerisce all'utente item simili a quelli che ha apprezzato in passato
Approaches
Collaborative filtering
Content Based filtering
Hybrid approaches
![Page 18: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/18.jpg)
18
Suggerisce item apprezzati da altri utenti che hanno preferenze simili
Content based filtering
![Page 19: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/19.jpg)
19
Suggerisce item apprezzati da altri utenti che hanno preferenze simili
Content based filtering
Punti di forza
indipendenza dell'utente
indipendenza dal numero utenti e dalla popolarità degli item
trasparenza (è possibile fornire spiegazioni)
Limiti
sensibilità a informazioni superficiali o incomplete
over-specialization
cold-start
![Page 20: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/20.jpg)
20
Content representation
Se il contenuto è rappresentato da una descrizione testuale, è necessaria una strutturazione tramite tecniche NLP
TokenizzazioneEliminazione Stop Words
StemmingAssegnazione di un peso ai token (tf-idf)
![Page 21: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/21.jpg)
21
Suggerisce item apprezzati da altri utenti che hanno preferenze simili
Collaborative filtering
![Page 22: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/22.jpg)
22
Suggerisce item apprezzati da altri utenti che hanno preferenze simili
Collaborative filteringPunti di forza
suggerimenti diversificati per categorie di itemindipendenza dal contenuto (che può non esistere)
molto accurati secondo valutazioni empiriche
LimitiDipendenza dal numero di utentiCold-start per nuovi item e utenti
Sparsità matrice user-item
![Page 23: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/23.jpg)
23
Neighborhood-based CFRS
Sono memorizzati gli item/utenti più simili (detti Neighbors) per ognuno di essi
Riduzione di complessità temporale e occupazione di memoria
![Page 24: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/24.jpg)
24
User-based Collaborative filtering
1- Similarità calcolata fra utenti
2 – Stima rating considerando le similarità
B. Sarwar, G. Karypis, J. Konstan, J. Riedl , “Item-Based Collaborative Filtering Recommendation Algorithms”, Proceedings of the 10th international conference on World Wide Web, pp. 285-295, 2001.
![Page 25: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/25.jpg)
25
Item-based Collaborative filtering
1- Similarità calcolata fra item
2 – Stima rating considerando le similarità
B. Sarwar, G. Karypis, J. Konstan, J. Riedl , “Item-Based Collaborative Filtering Recommendation Algorithms”, Proceedings of the 10th international conference on World Wide Web, pp. 285-295, 2001.
![Page 26: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/26.jpg)
26
Altre categorie di RS
Social Context-aware
Personality-basedKnowledge-based
Geographic
![Page 27: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/27.jpg)
27
Qualità dei suggerimenti
•Valutare l'accuratezza è necessario, ma non basta!
•
•Alcune sfide aperte:•Serendipità, Diversità, Novità
![Page 28: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/28.jpg)
28
Valutare le perfomance
Sperimentazione in vitro
Sperimentazioni con utenti
Solitamente si susseguono: molti algoritmi sono confrontati e ottimizzati in vitro, i migliori sono
valutati con utenti
![Page 29: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/29.jpg)
29
Sperimentazione in vitro
1- scegliere un dataset (Es. Movieles)
2 - Partizionare i rating di ogni utente(Es. Hold-out, Cross Validation)
3 – Per ogni (o qualche) utente nel dataset il RS è addestrato sull'intero dataset esclusi i
rating dell'utente considerato4 – I suggerimenti del RS sono confrontati con
i rating di test dell'utente
![Page 30: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/30.jpg)
30
Valutare l'accuratezza
Indica il grado di corrispondenza dei suggerimenti ad interessi e necessità degli utenti
Metriche di erroreMetriche di classificazione
![Page 31: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/31.jpg)
31
Metriche di errore
![Page 32: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/32.jpg)
32
Metriche di classificazione
![Page 33: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/33.jpg)
33
Diversity
Individual Div Aggregate Div
Definition diversity of recommendation sets for a givenindividual user
diversity ofrecommendations across all users
Resolve Over-specialization problem
Rich-get-richer phenomenon
Benefit User-experience Sales
![Page 34: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/34.jpg)
34
Trade-off accuratezza-diversity
Soluzioni?
Diversificare con minime perdite di accuratezza
Applicare meccanismi di bilanciamento parametrizzato
![Page 35: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/35.jpg)
35
G. Adomavicius, Y. Kwon , “Improving Aggregate Recommendation Diversity Using Ranking-Based Techniques”, IEEE Transactions on Knowledge and Data
Engineering, vol. 24. no. 5, pp. 896 - 911, 2012
![Page 36: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/36.jpg)
36
Individual Diversification
NP-difficileNon considera accuratezza
![Page 37: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/37.jpg)
37
Euristiche!
GreedyInterchange
NeighborhoodClustering
M. Drosou and E. Pitoura, "Comparing diversity heuristics", Technical Report, Computer Science Department, University of Ioannina, 2009
![Page 38: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/38.jpg)
38
M. Drosou and E. Pitoura, "Comparing diversity heuristics", Technical Report, Computer Science Department, University of Ioannina, 2009
![Page 39: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/39.jpg)
39
MMR – Maximal Marginal Relevance
Considera sia l'accuratezza che la distanza.È piuttosto efficiente ed efficace.
Un limite è l'assunzione di indipendenza fra
rilevanza e diversità
![Page 40: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/40.jpg)
40
Valutare individual diversity
![Page 41: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/41.jpg)
41
Aggregate Diversification
Euristiche di re-rankingG. Adomavicius, Y. Kwon , “Improving Aggregate Recommendation Diversity Using
Ranking-Based Techniques”, IEEE Transactions on Knowledge and Data Engineering, vol. 24. no. 5, pp. 896 - 911, 2012
Euristiche basate sulla teoria dei grafiG. Adomavicius, Y. Kwon , “Maximizing Aggregate Recommendation Diversity: A
Graph-Theoretic Approach ”, Proceedings of Workshop on Novelty and Diversity in Recommender Systems, Chicago, Illinois, USA, pp. 3-10, 2011
![Page 42: Diversità per Recommender Systems](https://reader034.vdocument.in/reader034/viewer/2022052323/559306991a28ab69768b4798/html5/thumbnails/42.jpg)
42
Valutare aggregate diversity
Coverage = percentuale di item suggeriti almeno una volta