big data mining & text mining(artefacts team 4bi4)

8/17/2019 Big Data Mining & Text Mining(Artefacts Team 4BI4)

1/35

Oddo BI solution

Big Data Mining

Hazem Ben Sassi Alaeddine Ghrab

Arwa ChettaouiRamzi FenniraMedAmine Jebari 1


2/35

Plan

• Introduction• Big Data

• Big Data Mining

• Besoins d’ODDO• Outils

• Solutions et analyses

• Conclusion

2


3/35

3

Introduction

Des

donnéesqui

proviennent de

partout

90%créées les

deuxdernièresannées.

2,5trillionsd’octets

dedonnéespar jour

Bi Dataou

volu!es!assi"s dedonnées.


4/35

Big Data

#olu!e

#élocité#éracité

#ariété


5/35

5

Big Data

#olu!e Les entreprises sont submerges de !olumes dedonnes "roissants de tous t#pes$ %ui se "omptent entrao"tets$ !oire en ptao"tets&

• 'rans(ormer les )* trao"tets de 'weets "rs%uotidiennement en anal#se pousse des opinions surun produit

•Con!ertir les +,- milliards de rele!s annuels de"ompteurs a.n de mieu/ prdire la "onsommationd0nergie


6/35

6

Big Data

#ariétéle Big 1ata se prsente sous la (orme de donnesstru"tures ou non stru"tures&

•2tiliser les "entaines de 3u/ !ido des "amras desur!eillan"e pour "ontr4ler les points d0intr5t

• 'irer parti de la "roissan"e de 6- 7 du !olume dedonnes image$ !ido et do"umentaires pour amliorerla satis(a"tion "lient


7/35

7

Big Data

#élocité8ar(ois$ * minutes "0est trop& 8our les pro"essus"hronosensibles tels %ue la dte"tion de (raudes$ le Big1ata doit 5tre utilis au .l de l0eau$ 9 mesure %ue les

donnes sont "olle"tes par !otre entreprise a.n d0entirer le ma/imum de !aleur&

•:/ploiter , millions d0!nements "ommer"iau/ par ;oura.n d0identi.er les (raudes potentielles

•Anal#ser en temps rel ,-- millions d


8/35

8

Big Data

#éracité

) d"ideur sur + ne (ait pas "on.an"e au/ donnes surles%uelles il se base pour prendre ses d"isions&

Comment pou!ons=nous nous appu#er sur l0in(ormationsi !ous n0a!ez pas "on.an"e en elle>

:tablir la "on.an"e dans les Big 1ata reprsente un d.

d0autant plus important %ue la !arit et le nombre desour"es augmentent&


9/35

Big Data Mining

Data !ining


10/35

1"

Big Data Mining

:mails1o"ument 81F

1o"ument word

8rsentation 88'


11/35

11

Big Data Mining

#e $e%t !ining sert&

• 9 "lassi.er automati%uement des do"uments

• 9 a!oir un aper?u du "ontenu d


12/35

Besoins d’ODDO

Le comportement

du client

L’efficacité

des

campagneCollecte

des

fonds

Performance

Email Variationdes

produits

Application

mobile

12


13/35

Outils

13

Hadoop est un (ramewor@ libre et open sour"e "rit en Ja!adestin 9 (a"iliter la "ration d0appli"ations distribues au ni!eaudu sto"@age des donnes et de leurs traitement&

Le no#au d0Hadoop est "onstitu d0une partie de sto"@age H1FSHadoop 1istributed File S#stem$ et une partie de traitement

appel MapRedu"e&

Le terme Hadoop se r(Dre aussi 9 son "os#stDme et 9l0ensemble des logi"iels %ui !iennent s0# "onne"ter "ommeCloudera


14/35

Outils

1'

La .rme Cloudera se "onsa"re au d!eloppement de logi"iels(onds sur Apa"he Hadoop$ permettant l0e/ploitation de Big 1ata$9 sa!oir des bases de donnes a""umulant plusieurs ptao"tets&


15/35

Outils

15

R est un langage de programmation dont le but est de pou!oir traiter etorganiser des ;eu/ de donnes a.n de pou!oir # appli%uer des testsstatisti%ues plus ou moins "omple/es et se reprsenter "es donnesgraphi%uement 9 l0aide d0une grande !arits de graphi%ues disponibles&


16/35

Outils

16

RStudio est un en!ironnement de d!eloppement multiplate(ormegratuit$ libre et open sour"e pour R$ un langage de programmation utilispour le traitement de donnes et l


17/35

Outils

17

E1A Miner est un logi"iel d


18/35

Outils

18


19/35

Outils

1


20/35

Outils

2"


21/35

Outils

21


22/35

Solutions et analyses

22


23/35


23


24/35


2'


25/35


25


26/35


26


27/35


27


28/35


28


29/35


2


30/35


3"


31/35


31


32/35


32


33/35


33


34/35


3'


35/35

• Elargir la vision avec le BIG DATA et le Data Mining:

35

Conclusion

big data mining & text mining(artefacts team 4bi4)

Documents