big data... big analytics à travers les âges, les industries et les technologies

A travers les âges, les industries et les technologiesHassan Lâasri

Juin 2015

http://www.hbmjpartners.com



























































Introduction

• La matière et l’énergie ont dominé les industries du XIXème et du XXème siècles… La Data en prend la direction pour ce siècle

• L’objectif de cette présentation est de démystifier le phénomène Big Data en décrivant son utilisation à travers les âges, les industries et les technologies sous-jacentes

Agenda• Qu’est ce que la Big Data ?

• Big Data dans l’industrie des médias et exemples (Amazon, Capital One, Sprint et Cisco)

• Big Data dans les industries lourdes et exemples de l’énergie

• Internet Des Objets

• Technologies et logiciels sous-jacentes : Big Data Technology Stack

• Références techniques, générales et films

Qu’est-ce que la Big Data ?(aujourd’hui)

“C’est vous”• Toute intention, sélection, consommation, recommandation ou dénigrement de

votre part intéresse une marque quelque part dans le monde

• Café, lait, céréales, jus de fruit, laitage que vous consommez le matin

• Savon, shampoing, dentifrice, lait, maquillage que vous utilisez avant de partir au travail

• Moyens de transport que vous pratiquez pour y aller

• Radio, télé, sites Web, appli mobile que vous consommez quand vous êtes chez vous

• Marques que vous aimez et que “likez” sur Facebook ou prenez en photo sur Instagram

• …

La “révolution” a démarré avec deux noms : Big Data

• Mai 2011, McKinsey & Company publie un rapport intitulé “Big data: The new frontier for innovation, competition, and productivity”

• Depuis, la Big Data est devenue le Graal de la technologie, celle qui va tout bouleverser, tout chambouler, tout révolutionner

• Les industries et les gouvernements y voient une sortie de la crise qui tétanise le monde depuis la crise systémique de 2008

Hassan Lâasri, Big Data : entre histoire, promesses et réalités, Les Echos

Mais la révolution n’est pas nouvelle

• Les opérateurs de télécom, d’énergie, d’eau et de transport collectent et analysent des alarmes, des compteurs de performances et des données clients — ils connaissent et peuvent prévoir vos consommations

• Les banques de détail et les chaînes de grande distribution traitent des millions de transactions par jour — elles connaissant et peuvent prévoir vos achats

Elle est même très ancienne

• Au XIX siècle, elle régnait déjà mais sous un autre nom : l’exhaustivité

• On recensait des informations sur tous les individus d’un pays : âge, occupation, CSP…

• C’était l’âge de la collecte manuelle, du papier, du crayon et du calcul mental

Catalyseurs de la (re)naissance de la Big Data

• Web ouvert à +3 milliards d’individus et du mobile à +6,8 milliards, à la fois consommateurs et citoyens qui laissent des empreintes et expriment leurs avis

• Coût réduit tendant vers la gratuité du stockage de la donnée

• Sortie des laboratoires des algorithmes de statistiques et d’apprentissage automatique

• La loi de Moore et IPv6 ouvrent Internet à tous les objets que l’humanité peut créer

• Pour épuiser la totalité des adresses IPv6, il faudrait 667 millions de milliards d’appareils connectés sur chaque millimètre carré de la surface de la Terre

Pionniers de cette renaissance

• Yahoo et Google à la recherche de solutions de stockage et de traitement parallèles de larges volumes de données sur des serveurs banalisés

• Mise en accès libre des technologies Hadoop, MapReduce, NoSQL, BigTable et la liste continue de s’allonger

• Amazon avec son algorithme de recommandation, disponible en accès libre sur le Web, depuis utilisé par d’autres comme Netflix

La Big Data aujourd’hui : principalement dans les médias

• La publicité, le marketing et les médias sont aujourd’hui les plus gros producteurs et consommateurs de la Big Data

• Personnalisation de compagnes de publicité en ligne, de marketing direct, de sites Web, d’applications mobiles et de réseaux sociaux

• Toutes les industries B2C et depuis peu toutes les industries B2B

Hassan Lâasri, Quand les médias rencontrent les mégadonnées, JDN

Hassan Lâasri, La Data, levier pour personnaliser sa présence digitale, JDN

Etude quantitative

318 dirigeants exécutifs sondés en 2013*

http://www.economistinsights.com/analysis/data-directive

http://www.economistinsights.com/analysis/data-directive

Echantillon

Pour les directions marketing & communication qui ont exploité la Data, celle-ci a été la clef pour atteindre leurs trois priorités clés : 1. Connaitre mieux le client 2. Le servir efficacement 3. Anticiper ses besoins

Plus d’un 1/3 des acteurs des industries lourdes : • Soit exploite déjà la Data • Soit s’y prépare

Les plus performants exploitent plusieurs sources de Data : • Access Point Data (site web) • Social Data (réseaux sociaux,

blogs) • Open Data (gouvernement)

Industries B2C à l’ère de la personnalisation

Un smartphone nouvellement commercialisé peut-être annoncé aux :

• Adolescents comme un appareil de musique

• Globe-trotteurs comme un dispositif de réservation

• Jeunes talents comme un dispositif social

• Geek comme un ordinateur mobile

• Grands-parents comme un téléphone

Andres Gonzalez et Hassan Lâasri, Data et agences de publicité, levier ou frein pour la

créativité, Forum d’Avignon

La Big Data dans le B2C : écosystème complexe

La Big Data pour la personnalisation

Site

Social

Data ONLINE Data OFFLINE

Raports &Dashboards

Corrélation

Analyse ad-hoc

Prédiction

Attribution

Clustering

Mobile

Pub Site SocialMobile

Pub

S’informe S’enregistre Consulte Commente Partage Evalue

Data brute

Data analysée

Collecte Analyse Personnalisation

Personnalisation

Comment ça marche ?

CONTEXTE ACTIONS

Prise en compte du contexte, des actions immédiates, de l’historique, des préférences et du réseau d’amis…

HISTORIQUE PRÉFÉRENCES RELATIONNEL

Google, Amazon, Youtube, Facebook, LinkedIn, Netflix, Shazam, NY Times…

Data exploitée : • Celles des profils les plus proches

Recommandations : • Produits similaires à ceux achetés par les profils les

plus proches• Produits recommandés par les profils• Produits dont les recommandations ont été

consultées : lui + profils• Produits consultés par lui + les profils

• Le profil le plus proche est activé• Plus il navigue, plus le profil est

affiné

Visiteur inconnu

Consulte

• Profil modifié • Profils similaires modifiés

Quitte

S’identifie/reconnu

Data exploitée : • Produits achetés• Produits consultés• Recommandations lues• Temps passé par produit• Régularité des visites

Recommandations : • Produits similaires à ceux déjà achetés• Produits dont il a lu les recommandations• Produits consultés

Profil activé


Quitte

Visiteur (re)connu

Profil activé


• Achète• Recommande• Consulte


Quitte

Visiteur (re)connu

Recommandations : • Produits similaires à ceux déjà achetés• Produits dont il a lu les recommandations• Produits consultés

S’identifie/reconnu

Data exploitée : • Produits achetés• Produits consultés• Recommandations lues• Temps passé par produit• Régularité des visites

Capital One Serveur [x+1]

BD NielsenBD Digital Envoy

DMP

(1) Se connecte

(2) Cookies utilisateur

(3) Code postal ?

(4) Code postal

(3) Cookies similaires ?

(4) Cookies similaires

(6) Segment (Age, CSP, salaire, risque dette)

(5) Cookies utilisateur + similaires + Code Postal

(7) Offre de crédit personnalisée

Contrairement à Amazon qui utilise un système fermé (données internes), Capital One utilise un système ouvert (données internes et externes)

Le temps que la page Capital One se charge

• Pendant le CES 2013, Sprint utilisait BrandLIVE de DigitasLBi pour surveiller les conversations en ligne sur trois initiatives marketing :

• Technologies vertes, innovation technologique et la technologie pour les seniors

• Réseaux sociaux pris en compte : • Facebook, Twitter, Google+, Vine, Instagram, Pinterest, LinkedIn

et Youtube

• Chaque jour, Sprint définissait des sujets que BrandLIVE traitait dans la journée même et diffusait à une communauté de 5,6 million de suiveurs

• Grâce à cette capacité, Sprint pouvait combiner des contenus planifiés, parfois 6 mois à l’avance, avec de contenus spontanés et les publier sur les réseaux sociaux

Depuis, Sprint a généralisé l’approche pour créer une sorte de Newsroom calquée sur le fonctionnement des médias d'information avec des :

• Rédacteurs en chef

• Creative technologists

• Data analysts

• Community managers

• Des journalistes

• Spécialistes des Social Ads

• 12 septembre 2012, Pendant que Tim Cook présentait iPhone5, Samsung et son agence media 72andSunny suivaient les conversations qui en résultaient sur les réseaux sociaux

• En même moment, Samsung démarrait la conception d’une publicité de son Galaxy S3 en tenant compte de ces conversations

• Une semaine après, la publicité était lancée à la télé et en ligne (+ 70 million de fois)

• 27 février 2013, Forbesannonçait « Galaxy bat iPhone dans la catégorie meilleur smartphone »

La Big Data ne s’arrête pas au secteur B2C

• Elle opère déjà dans le secteur B2B

• Analyse de la concurrence grâce au web crawling, au web scrapping et au text mining des sites concurrents

• Génération de prospects grâce aux mêmes technologies appliquées aux sites clients

• Localisation d’experts internes grâce à l’apprentissage statistique des questions-réponses

• … Hassan Lâasri, Data Tour : le secteur B2B est-il le prochain arrêt ?, JDN

La Big Data aujourd’hui• Opère derrière les sites Web, les applications mobiles, les

réseaux sociaux et en général toute la gestion de la relation client

• Dans le B2C :

• Personnalisent le contenant (taille, design et couleur) et le contenu (texte, image, audio, vidéo) de la publicité en ligne, du marketing direct et de la communication vers le client

• Dans le B2B :

• Analyse de la concurrence, génération de prospects et identification d’experts internes… La liste ne fait que démarrer

La Big Data et les industries lourdes

• Les sites Web, les applications mobiles, les réseaux sociaux ne sont que la partie visible de la Big Data

• Depuis peu, elles transforment la gestion des infrastructures, des équipements et des process industriels des industries lourdes

Hassan Lâasri, Les données massives et les industries lourdes, Les Echos

Vers l’Internet des Objets• 36,8% des entreprise de l’étude commune à

l’Economist Intelligence Unit et Wipro prévoient d’exploiter les données

• 46,9% de ces données vient des équipements eux-mêmes, de compteurs basiques ou de télémètres intelligents (e.g., Linky d’ERDF)

• L’ère de l’Internet Des Objets est né depuis IPv6 dont le but était de donner une adresse IP à chaque dispositif que l’humanité puisse créer

Utilisation de la Big Data dans le secteur de l’énergie

• Les majors et les électriciens disposent de ce que Google et compères rêveraient d’avoir — une information sectorielle stratégique non seulement pour les individus mais pour l’économie toute entière

• L’AIE, Total, EDF, ERDF, RTE… disposent de mégadonnées pour non seulement analyser la production et la demande mais aussi prévoir les conséquences économiques et géopolitiques de décisions de choix de bouquets énergétiques — prix, PIB…

• Sous la pression du respect du climat, les électriciens investissent de plus en plus dans les réseaux électriques intelligents (smart grids) —Linky n’est qu’un début

• Original : trading de l’énergie avec des modèles issus de la finance quantitative (prise en compte des sources d’énergie transitoires, des données météo, d’aléas divers et variés…)

• Plus original : la prospection, activité non seulement technique mais de plus en plus géopolitique, pousse certains majors à regarder de près la Big Data pour les aider à profiler leurs interlocuteurs dans les pays producteurs —IBM Watson Analytics permet d’analyser le profil d’un dirigeant à partir de ses discours

Exemple du transport maritime du pétrole et du gaz

• Flottes de navires de différente taille, de différents âges

• Les opérations journalières et régulières d’un navire génèrent des données techniques sur la distance parcourue, les vitesses observées et du carburant consommé

• Avec leurs capteurs plus intelligents, les nouveaux navires génèrent en plus des données sur le vent, les vagues et la houle

• Ajouter à cela les données commerciales et douanières et vous obtenez des mégadonnées beaucoup plus volumineuses que ce que génèrent l’industrie des médias

• Gains : amélioration dans la planification des voyages, dans l’attribution des navires et surtout dans la planification de la maintenance

Exemple de la maintenance prédictive d’installations

Exemples d’autres industries

• Pour optimiser le trajet d’un livreur chargé de 120 à 175 colis par jour, UPS recoupe les données générées par les capteurs de ses camions (vitesse, arrêts, freinages…) avec les données GPS

• Pour l’édition 2013 de la Coupe de l’America, le defender Oracle Team USA avait embarqué des systèmes intelligents d’aide aux navigants en temps réel (+300 capteurs, +200 gigabits de données par jour de navigation)… Edition gagnée

L’industrie du 21ème siècle : Matière, énergie et information

• Dans toutes les industries, non seulement les techniciens, les opérateurs et les gestionnaires génèrent de la donnée, mais aussi tous les dispositifs, petits et grands, qu’ils utilisent pour prendre leurs décisions et exécuter leurs opérations

• Une ère où la donnée prendra au sein de toute activité industrielle autant d’importance que les matières premières et les énergies qui transportent et transforment ces derniers en des biens d’équipements et des produits de consommation

Mais attention, trop d’information n’est pas la solution

• Notre cerveau est limité

• Herbert Simon, prix Nobel d'économie en 1978, est venu à la conclusion que ce qui nous manque n’est pas l'information, mais l’attention

• Daniel Kahneman, prix Nobel d'économie en 2002, est venu à la conclusion que notre cerveau n’est pas seulement limité, mais fait toujours des erreurs lorsqu’il est confronté à un trop grand nombre d’informations

• Il faut donc toujours commencer par savoir ce que l’on cherche à optimiser, ensuite identifier le type et les sources de données, ensuite les collecter, enfin les activer

La Big Data demain

• Humains, objets et applications connectés

• A la fois producteurs et consommateurs de la donnée

Je génère la donnée. Je consomme la donnée.

Gain accumulé

Internet d’applications connectées

Vie privée, un business demain

Version simplifiée de la “Big Data Technology Stack”

Logiciels• Pour expert développeur :

communauté des logiciels libres, en particulier Python et R

• Pour Data Scientist : logiciel libre R, logiciels propriétaires SAS, SPSS

• Pour simple utilisateur : plateformes IBM Watson Analytics, Amazon Machine Learning et Microsoft Azure Machine Learning

Algorithmes souvent utilisés• Statistiques :

• Régression multiple, analyse discriminatoire, analyse factorielle, analyse typologique, analyse conjointe, analyse multidimensionnelle…

• Modèles :

• Processus de Markov, théorie des files d’attente…

• Optimisation :

• Calcul différentiel, programmation linéaire, programmation par contraintes, théorie de la décision statistique, théorie des jeux, business rules…

• Apprentissage :

• Réseaux neuronaux, méthodes statistiques, chaines de Markov, programmation dynamique…

Références techniques• “OpenIntro Statistics”, David M Diez,

Christopher D Barr

• “Statistics without maths for psychology”, Christine P. Dancey, John Reidy

• “The Practice of Statistics for Business and Economics”, Moore, McCabe, Alwan, Craig, Duckworth

• “Probabilités, Analyse des Données et Statistique”, Gilbert Saporta

• “Forecasting methods and applications”, Spyros Makridakis, Steven C. Wheelwright, Rob J. Hyndman

• “Artificial Intelligence, A Modern Approach”, Stuart Russell, Peter Norvig

Références générales• “Big data: The new frontier for

innovation, competition, and productivity”, McKinsey & Company

• “Leading Digital, turning technology into business transformation”, George Westerman, Didier Bonnet, Andrew McAfee

• “Big data et objets connectés. Faire de la France un champion de la révolution numérique”, Institut Montaigne

• “La Data”, Revue Influencia, N° 9, Avril-Juin 2014

• Le site http://radar.oreilly.com/

http://radar.oreilly.com/

Films pour se distraire

• “Moneyball” avec Brad Pitt

• “Minority Report” avec Tom Cruise

Hassan Lâasri• Président et Consultant chez HB & MJ Partners

SAS, société de conseil et d’accompagnement dans le Digital et la Data. J’accompagne les entreprises à intégrer les nouvelles technologies pour accélérer leur transformation digitale. J’accompagne aussi les Start-Up à marketer et vendre leurs technologies digitales sous forme de projets de transformation où la technologie est intégrée dans les Data Factory ou les Systèmes d’Information de ces entreprises.

• Docteur en Informatique avec une spécialisation en Intelligence Artificielle, je dispose d’une expérience de plus de 25 ans dans le secteur des hautes technologies pour entreprises : 9 ans dans la recherche et le développement en intelligence artificielle, 11 ans dans le marketing et la vente de hautes technologies logicielles et 7 ans dans le management de projets complexes.

www.hassanlaasri.com

www.hbmjpartners.com

[email protected]

http://www.hassanlaasri.com


mailto:[email protected]

big data... big analytics à travers les âges, les industries et les technologies

Data & Analytics