les data warehouse -...

IntroductionMotivations

Mettre en œuvre un Data WarehouseModèles de représentation

Les Data WareHouse

Claude Duvallet

Université du HavreUFR Sciences et Techniques

25 rue Philippe Lebon - BP 54076058 LE HAVRE CEDEX

[email protected]://litis.univ-lehavre.fr/∼duvallet/

Claude Duvallet — 1/37 Les Data WareHouse



Plan du cours

Introduction et définition

Pourquoi un Data Warehouse?

Mettre en œuvre un Data Warehouse

Modélisation et implémentation

Conclusion




Introduction et contexte

En français : les entrepôts de données.

En anglais : les Data Warehouse.Définition d’un entrepôt de données selon Inmon (1992) :

L’entrepôt de données (ED) est une collection de donnéesthématiques, intégrées, non volatiles et historisées, organiséespour le support d’un processus d’aide à la décision.

Principe :Base de Données utilisée à des fins d’analyse.Caractéristiques :

orientation sujets (« métiers »),données intégrées,données non volatiles,données datées.




Caractéristiques des données d’un entrepôt de données

Orientées sujet : un ED rassemble et organise des donnéesassociées aux différentes structures fonctionnelles del’entreprise, pertinentes pour un sujet ou thème et nécessaire auxbesoins d’analyse.

Intégrées : les données résultent de l’intégration de donnéesprovenant de différentes sources pouvant être hétérogènes.

Historisées : les données d’un ED représentent l’activité d’uneentreprise durant une certaine période (plusieurs années)permettant d’analyser les variations d’une donnée dans le temps.

Non-volatiles : les données de l’ED sont essentiellementutilisées en interrogation (consultation) et ne peuvent pas êtremodifiées (sauf certains cas de rafraîchissement).




Data Warehouse : définition

Entrepôt de données :Ensemble de données

historisées variant dans le temps,organisées par sujets,consolidées dans une base de données unique,gérées dans un environnement de stockage particulier,aidant à la prise de décision dans l’entreprise.

Trois fonctions essentielles :Collecter des données de bases existantes et les charger,Gérer des données dans l’entrepôt,Analyser les données en de la prise de décision.

Magasin de données (Data Mart) :C’est un sous-ensemble de l’entrepôt de données qui contient lesdonnées pour un secteur particulier de l’entreprise.Exemple : un département, une direction, un service, une gammede produit,...




Caractéristiques des magasins de données

Ils contiennent une portion du contenu d’un entrepôt de données.

Ils se focalisent sur un seul sujet d’analyse tel que, par exemple,les ventes de produits ou leur livraison mais pas les deux.

Ils servent à faire des analyses simples et concentrées.

Le nombre de sources est limité et provient la plupart du tempsd’un même département.

L’extraction et le transfert de données rudimentaires sont souventfait par transfert de fichiers ou par du code propriétaire.

Le même processus de conception que les entrepôts de donnéesest utilisé mais il nécessite moins de ressources.




Comptoirs des données opérationnelles (1)

En anglais : Operational Data Store.Caractéristiques :

Ils intègrent et consolident des données de sources hétérogènesdans le but de faciliter certaines opérations de l’entreprise.Ils peuvent servir de sources à des systèmes opérationnels ou unentrepôt de données.

Utilisations :Ils servent à régler des règles d’affaires complexes impliquant desdonnées de plusieurs sources.Ils permettent d’analyser des données consolidées quasiment entemps réel.Ils simplifient le processus ETL (Extraction, Transformation etChargement) d’un entrepôt de données.




Comptoirs des données opérationnelles (2)

Comptoirs des données versus Entrepôts de données :Ils contiennent rarement des données historiques.Ils mettent à jour les données au lieu de les ajouter.Ils effectuent les changements presque instantanément au lieu deles faire en lots.Ils ne remplacent pas les entrepôts de données.

Exemples d’applications :Dans le domaine Bancaire, on peut valider en temps réel lasolvabilité d’un client demandant un prêt bancaire, lorsque lescomptes, les placements, et les dossiers de gestions de risquessont gérés par des applications différentes.Dans le domaine des Télécommunications, on peut suggérer unnouveau forfait à un client, en se basant sur des statistiquesrécentes d’utilisation.




Les méta-données (1)

Définitions :Ce sont des informations qui définissent et décrivent lesstructures, opérations et le contenu du système d’informatiquedécisionnelle.Il existe trois types de méta-données : technique, d’affaire et deprocessus.

Méta-données techniques :ETL (Extract-Transform-Load) : ce sont les sources et les ciblespour les transferts de données, les transformations, les règlesd’affaires, etc.Stockage : Ce sont les tables, les champs, les types, les indexes,les partitions, les dimensions, etc.Présentation : Ce sont les modèles de données, les rapports, lesprivilèges d’accès, etc.




Les méta-données (2)Méta-données d’affaires :

Elles décrivent le contenu de l’entrepôt de données dans destermes compréhensibles par les utilisateurs d’affaires.Exemples : les descripteurs des tables et des champs.

Méta-données de processus :Elles décrivent le résultats de diverses opérations du systèmed’informatique décisionnelle.Exemple : Les logs "ETL" (début, fin, écritures disques, ...), lesstatistiques sur les requêtes, etc.

Les méta-données permettent :de découpler la dépendance entre la technologie et son utilisation.de contrôler l’état et la performance de la solution reposant sur lesystème d’informatique décisionnelle.de fournir de la documentation pour le système.de déterminer l’impact d’un changement.

⇒ Dans l’idéal, il faudrait avoir un seul répertoire pour lesméta-données, partagé toutes les composantes de l’ED.




Définitions

Data Mining : Fouille de donnéesLe forage de données a pour but de mettre en évidence descorrélations éventuelles dans un volume important de donnéesafin de dégager des tendances.

OLAP : On-Line Analytical ProcessingLe but de l’OLAP est de permettre une analysemultidimensionnelle sur des bases de données volumineuses afinde mettre en évidence une analyse particulière des données(Cubes OLAP).




Motivations des entreprises

Besoin des entreprises :accéder à toutes les données de l’entreprise.regrouper les informations disséminées.analyser et prendre des décisions rapidement (OLAP).

Exemples d’applications concernées :Grande distribution : marketing, maintenance, ...

produits à succès, modes, habitudes d’achat.préférences par secteurs géographiques.

Bancaire : suivi des clients, gestion de portefeuillesmailing ciblés pour le marketing.

Télécommunications : pannes, fraudes, mobiles, ...classification des clients, détection fraudes, fuites de clients.




Les bénéfices (1)

Une meilleur capacité d’analyse :Il est possible de découvrir ainsi des tendances cachées.On possède une vue d’ensemble.On peut prendre de meilleures décisions.

Une augmentation de la productivité des employés :On peut générer des rapports au niveau des usagers.On a une meilleure synthèse de l’information et un tempsd’extraction réduit.On utilise une définition commune des données.

Une diminution des coûts :Il y a moins de rapports Ad Hoc pour les technologies del’information.Il y a donc aussi une baisse du coût d’accès à l’information.




Les bénéfices (2)

Une augmentation des revenus :De l’information non disponible via le ERP est désormaisdisponible.Il existe une meilleure communication entre les services.Il existe de meilleures analyses du marché et donc, des décisionsstratégiques peuvent être prises.

L’intégration des données sur une plateforme unique.L’accent est mis sur le client :

Les données concernant les clients sont disponibles etaccessibles par tout le monde.Il est possible d’effectuer des ventes croisées.




Concevoir le Data Warehouse

Export de données des sources :Hétérogènes et variées.Fichiers, BD patrimoniales, Web,...Définition des vues exportées.

Définition d’un schéma global :Il intègre les données utiles.Il s’appuie sur le modèle relationnel.

Nécessité d’une gestion des méta-données pour :la description des sources,la description des vues exportées,la description du schéma global.




Acquisition des données

Trois étapes :

Déterminer et recenser les données à entreposer : recherche desdonnées dans les sources de données de l’entrepriseNettoyage des données :

conversions de données,filtrages,intégration

Alimentation :Incrémental ou total,Hors ligne ou en ligne,Fréquence de chargement : chaque nuit, 1/mois...Détermination de la taille de l’historique (5 ans, 10 ans...).Réalisée généralement par des outils dédiés (e.g. Powermart, InfoSuite...)




Nettoyage et stockage des données

Nettoyage des données :Il s’agit par exemple d’uniformiser les unités de mesures utiliséesdans différentes données.Il aussi s’agit d’uniformiser les formats de dates.On peut aussi agréger des données présentes dans plusieursbases de données afin de réduire la redondance des données.

Choix de l’implémentation :MOLAP,ROLAP,HOLAP.

Implémentation du modèle en étoile et/ou des cubes et/ou desvues matérialisées.

Définition des indexes.

Stockage des données.




Restitution des données

C’est le but du processus d’entreposage des données.

Elle conditionne souvent le choix de l’architecture du DW et de saconstruction.

Elle doit permettre toutes les analyses nécessaires pour laconstruction des indicateurs recherchés.Les outils de restitution des données :

Les requêteurs et les outils d’analyse.Les outils de data mining.Exemples : Cognos PowerPlay, Impromptu (rapports), DBminer(Data Mining).




Les concepts d’un entrepôt de données




Les obstacles

Les coûts d’implantation :Technologie onéreuse.Les coûts cachés (matériel, logiciels, prestations de consultant,maintenance, mise à jour, administration, ...)

Les forces contradictoires : les méta-données sont tiraillés dansdes sens opposés entre les aspects intégration, consistance etuniformité d’un côté, et l’autonomie des usagers de l’autre côté.

Les sources de données incompatibles.

La nécessité d’obtenir un rendement immédiat.




Mesure de qualité d’un entrepôt de donnéesQualité d’affaires : Est-ce que cela aide à atteindre les butsorganisationnels?Qualité d’information : Est-ce que les usagers savent quand etcomment l’entrepôt de données peut les aider pour prendre demeilleures décisions économiques?Qualité technique : Est-ce que l’entrepôt de données satisfaitles usagers en terme de contenu d’information?

Trois types de succès :Succès économique : L’entrepôt de données possède un impactpositif sur les résultats financiers.Succès politique : L’entrepôt de données est utilisé par lesusagers.Succès technique : Il s’agit du plus facile à accomplir. Latechnologie est appropriée pour la tâche requise et ellefonctionne correctement.




Les facteurs de succès

Une définition commune des données.

Des règles de transformation des données bien définies.

Une formation des usagers adéquate.

Des attentes organisationnelles bien communiquées auxusagers.

Une implication des usagers.

Une implication de la hiérarchie.

L’équipe d’implantation possède les bonnes connaissancestechniques.

L’échéance du projet est réaliste.

Les bons outils ont été choisi (exemples : OLAP - MOLAP -ROLAP).




La structure multi-dimensionnelle

Les BD relationnelles ne sont pas adaptées à l’OLAP car :Pas les mêmes objectifs.Pas les mêmes données : Les données nécessaires à l’OLAPsont multi-dimensionnelles (i.e. ventes par vendeur, par date, parville...). Les tables en représentent une vue aplatie.Pas les mêmes traitements et requêtes : Non seulement perte deperformances mais aussi nécessité pour les utilisateurs de savoircomment trouver les liens entre les tables pour recréer la vuemulti-dimensionnelle.

Il est donc nécessaire de disposer d’une structure de stockageadaptée à l’OLAP, i.e. permettant de :

représenter les données dans plusieurs dimensions,manipuler les données facilement et efficacement.




L’implémantation d’un entrepôt de données

Trois méthodes :1 Relational OLAP (ROLAP)

Les données sont stockées dans un SGBD relationnel.Un moteur OLAP permet de simuler le comportement d’un SGBDmulti-dimensionnel.

2 Multidimensional OLAP (MOLAP)Structure de stockage en cubeAccès direct aux données dans le cube

3 Hybrid OLAP (HOLAP)Les données sont stockées dans SGBD relationnel (données debase).La structure de stockage en cube (données agrégées).




ROLAP

Idées :Données stockées en relationnel.La conception du schéma est particulière : schéma en étoile,schéma en flocon.Des vues (matérialisées) sont utilisées pour la représentationmultidimensionnelle.Les requêtes OLAP (slice, rollup...) sont traduites en SQL.Utilisation d’index spéciaux : bitmap.Administration (tuning) particulier de la base de données.

Avantages/Inconvénients :Souplesse, évolution facile, permet de stocker de gros volumes.Mais peu efficace pour les calculs complexes




MOLAP

Idées :Modélisation directe du cube.Ces cubes sont implémentés comme des matrices à plusieursdimensions.Le cube est indexé sur ses dimensions.

Avantages/Inconvénients :rapide.formats propriétaires.ne supporte pas de très gros volumes de données.




HOLAP

Idées :MOLAP + ROLAP.Les données sont stockées dans des tables relationnelles.Les données agrégées sont stockées dans des cubes.Les requêtes vont chercher les données dans les tables et lescubes.




Les entrepôts de données

Implémentation :ROLAPMOLAPHOLAP

Structure de la base de données :Les données sont redondantes et normalisées.Cela permet de faciliter l’utilisation et d’améliorer lesperformances lors de l’analyse des données.

Modèle de représentation :Cubes.Étoile et Flocon.Constellation de faits.




Hyper Cube

Base de données multi-dimensionnelleAxes : dimensions (date, type de produits, région).Chaque cellule de l’hypercube contient une valeur calculée (ventede produits).

Principe de base : ce sont les analyses des indicateurs quiintéressent l’utilisateur.Le modèle multidimensionnel contient 2 types d’attributs : lesdimensions et les mesures.Les mesures sont les valeurs numériques que l’on compare(exemple : montant_ventes, quantite_vendue) :

Ces valeurs sont le résultat d’une opération d’agrégation desdonnées.C’est un élément de donnée sur lequel portent les analyses, enfonction des différentes dimensions (Exemple : coût des travaux,nombre d’accidents, ventes).




Schémas en étoile, en flocons et en constellation de faitsSchéma en étoile :

Une table de faits centrale et plusieurs tables de dimensionsdénormalisées.Les mesures sont stockées dans la table de faits.Il existe une table de dimension pour chaque dimension avec tousles niveaux d’agrégation.

Schéma en floconVersion normalisée du schéma en étoile.Traitement explicite des hiérarchies de dimension (chaque niveauest représenté dans une table différente).Plus facile à maintenir, plus lent lors de l’interrogation.

Schéma en constellation de faits :La modélisation en constellation consiste à fusionner plusieursmodèles en étoile qui utilisent des dimensions communes.Un modèle en constellation comprend donc plusieurs tables defaits et des tables de dimensions communes ou non à ces tablesde faits.




Modélisation en étoile ou en flocons

Modélisation conceptuelle BD : entité et relation.Modélisation de l’entrepôt de données : dimensions et mesures.Les dimensions sont les points de vues depuis lesquels lesmesures peuvent être observées :

Exemple : date, localisation, produit, etc.Elles sont stockées dans les tables de dimensions.

Une dimension peut être définie comme :un thème, ou un axe (attributs), selon lequel les données serontanalysées.Exemple : Temps, Découpage administratif, Produits.

Une dimension contient des membres organisés en hiérarchie :Chacun des membres appartient à un niveau hiérarchique (ouniveau de granularité) particulier.Exemple : pour la dimension Temps : année – semestre – mois –jour.




Les faits

Un fait représente la valeur d’une mesure, mesurée ou calculée,selon un membre de chacune des dimensions :

Exemple : "250 000 euros" est un fait qui exprime la valeur de lamesure "coût des travaux" pour le membre "2013" du niveauannée de la dimension "temps" et le membre "Le Havre" duniveau "ville" de la dimension "découpage administratif".

La table des faits :Les mesures sont stockées dans les tables de faits quicontiennent les valeurs des mesures et les clés vers les tables dedimensions.




Le modèle en étoile (1)

Une (ou plusieurs) table(s) de faits comprenant une ou plusieursmesures.

Plusieurs tables de dimension dénormalisées : descripteurs desdimensions.

Les tables de dimension n’ont pas de liens entre elles.Avantages :

Facilité de navigation.Performances : nombre de jointures limité ; gestion des donnéescreuses.Gestion des agrégats

Inconvénients :Toutes les dimensions ne concernent pas les mesuresRedondances dans les dimensionsAlimentation complexe.




Le modèle en étoile (2)

"Data Warehouse Models and OLAP Operations", Franconi.Claude Duvallet — 34/37 Les Data WareHouse



Exemple de modèle en étoile

"Data Warehouse Models and OLAP Operations", Franconi.Claude Duvallet — 35/37 Les Data WareHouse



Conclusions

L’implantation d’un entrepôt de données et d’outils analytiquespermet d’améliorer l’intelligence d’affaire de l’entreprise.

C’est une décision d’ordre stratégique.

Ce sont des solutions plus adaptées pour les moyennes etgrandes entreprises.Travail à faire :

Installer Oracle Warehouse Builder 11g avec Oracle DataBasesous Linux ;


les data warehouse -...

Documents