la gestion des données de référence -...

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

La Gestion des Données de Référence Francois Briandet Didier Faure Consultant Consultant MDM Produit & Data Quality Expert JDE 18 Septembre 2014

Oracle Confidential – Internal/Restricted/Highly Restricted


Safe Harbor Statement

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

Oracle Confidential – Internal/Restricted/Highly Restricted 3


Agenda

1

2

3

4

La Gestion des Données de Référence : définitions

Les options de déploiement autour de JDE

Focus : outils de gestion de la qualité des données - démo

Retour d’expérience – CEVA Santé Animale



La Gestion des Données de Référence ou Master Data Managment Pourquoi ? Comment ?



La gestion des données de référence Toutes les données ne sont pas des données de référence

Comment les identifier ? • Leur nature :

– Une vente est une transaction , le client et les produits sont des données de référence

• Leur durée de vie

– Plus elle sera courte, plus elle aura tendance à être une données transactionnelle

• Le nombre d’éléments et la complexité

– Plus il y a d’entités clients / produits, plus cela devient intéressant de les traiter comme des données de référence

• Leur réutilisation

– Plus elles sont partagées par des systèmes ou des processus, plus se sont des données de référence

• Les besoins métiers à couvrir

– Multi-canal, …



L’exemple des données de référence Client

•Où gérer les données clients ?

•Quelles applications les mettent à jour ?

•Quelles applications transactionnelles les utilisent ?

•Quelles applications de reporting les utilisent ?

Flux de données

•Est-ce que Joseph Blatter et Sepp Blatter sont-ils la même personne ?

•Quelle est la bonne adresse de J. Blatter ?

•Quels sont les produits achetés par J. Blatter ?

Besoins Métiers

•Quelles applications clients ?

•Quellles informations ? Usage

•Profil utilisateur

–Nom, Adresse, Téléphone, Mail –Relations (employeur, foyer, enfants,…) –Produits et Services utilisés

•Fréquence de mise à jour

–

Données Nature & Durée de vie

Données de référence Client


Les données de référence Deux domaines principaux Deux secondaires


Tiers: Organizations, Contacts, Customers, Employees, Partners, Suppliers,

etc.

Produits: SKUs, names, descriptions, etc.

“X” Axis

“Y” Axis

Données de Références Externes: Credit,, Codifications, etc.

Localisation: GEO, Lat/Long, Spatial, etc.


La gestion des données de référence

• Mes données de référence sont gérées dans l’ERP, pourquoi m’en préoccuper ?

– L’ERP ne gère pas tout, les données de référence sont-elles à jour ? • Les définition Produit issues du PLM sont-elles à jour ?

• Les adresses Client de facturation sont-elles synchronisées avec le profil Client du CRM ?

– Suite aux rachats et fusions, il y a deux, voir N ERPs, quelles données font foi ?

– Les informations dans l’ERP servent l’ERP , sont-elles adaptées aux autres besoins métiers, peuvent être étendues ? • Où sont les dimensions et/ou les unités de mesure de mon produit ?

• Sont-elles pertinentes pour le multi-canal ?

– Les informations sont-elles correctes ? • Les adresses sont-elles correctes ?



“La gestion des données de référence ou Master Data Management (MDM) est une discipline à base de technologie pour laquelle Métiers et SI travaillent ensemble pour assurer l’uniformité, la précision, la gouvernance, la consistance sémantique et la traçabilité des données de référence officiellement partagées dans l’entreprise.”


http://www.gartner.com/it-glossary/master-data-management-mdm











La démarche MDM

• Identifier les sources des données de référence

• Identifier les producteurs et les consommateurs

• Collecter et analyser les meta-données associées

– Comprendre qui est le propriétaire des données

– Valider la couverture par rapport aux besoins métiers.

• Mettre en place un programme de gouvernance des données et définir les politiques de gestion des données (CRUD).

• Définir la couverture fonctionnelle du gestionnaire de données de référence

• Choisir et mettre en place la solution logicielle adaptée.



La démarche MDM : la plate-forme logicielle Importance du choix de la plateforme

logicielle MDM qui doit assurer:

• la définition du modèle

• La consolidation

• Le nettoyage

• La gouvernance

• Le partage

des données de référence identifiées.

De par sa nature structurante, le choix de la plateforme MDM doit dés les phases tactiques prendre en compte les besoins globaux de l’entreprise.


La plate-forme MDM – Définition du modèle de données

• Deux approches

– Une solution générique qui impose de définir son modèle de données. + Adaptabilité de la solution

- Risque de mauvaise conception / impact sur les performances

- Rigidité du modèle une fois défini

- Modèle de sécurité inexistant ou à construire

– Une solution verticalisée – client, produit, site, … + Modèle prédéfini configurable

+ Implémente les meilleurs pratiques

+ Fonctionnalités avancées – multi-langues, sécurité, gestion documents, …

- Validation nécessaire des capacités d’extension

- Validation de l’implémentation technique ( impact performances)



La plate-forme MDM – Consolidation

• Gestion des sources de données

– Imports

– Règles de transformation

– Identification des doublons

– Gestion des rejets

• Gestion de la fusion des données – Golden Record

– Règles de fusion

– Gestion des exceptions



La plate-forme MDM – Nettoyage

• Fonctionnalités de nettoyage des données intégrées

– Standardisation (Majuscules / minuscules / pattern)

– Validations simples

– Validations multicritères

– Validations à base de règles métiers

• Interface native avec une solution de Data Quality

– Profiling

– large Palette d’outils

– Mise en œuvre simple (type Drag / Drop)

– Indicateurs d’évolution de la qualité



La plate-forme MDM – Gouvernance

• Définir

– Définir des règles d’entreprise • Propriétaire / Responsable de la donnée

• Règles / outil de création de la donnée

• Règles de gestion des exceptions

• Administration du Hub

• Contrôler

– Bon fonctionnement du Hub • Import

• Publication

– Sources de données erronées

• Administrer

– Réaliser les opérations au jour le jour • Imports / publications

• Consolidation des enregistrements

• Gérer les exceptions

• Réparer

– Erreurs d’import / re-soumission

– Contrôles pro-actif des données

– Optimisation des règles de Data Qualité

– Optimisation des performances



La plate-forme MDM – Partage

• Mise à disposition de la donnée aux utilisateurs

– Fonctions de consultation ( Web)

– Moteur de recherche

• Publication de la données vers applications cibles

– Règles métiers de publication

– Règles de synchronisation

– Connectivité vers systèmes cibles



La démarche MDM – Modéle de Maturité Oracle Une approche phasée pour éviter le big Bang

Objectif

Moyen

Niveau 1 Opportuniste

Capitaliser sur la technologie et les outils

en place

Utiliser l’ERP, le CRM ou une application

métier comme MDM

Organiser et planifier

Fiabilisation manuelle des données CRM Exemple

Niveau 2 Tactique

Mise en place d’un hub

“de fondation”

Prouver la vision et la solution

Périmètre limité

Ebauche du rôle de

datasteward

Apprentissage organisationnel

Implémentation tactique

Customer hub pour une entité spécifique

Niveau 3 Stratégique

Vision des processus métiers de l’entreprise

Attentes de gains élevés

MDM piloté par une cellule d’urbanistes

Gouvernance de données

Outils DQ, ESB

Automatisation et amélioration des

processus

Prévention des doublons contrôlée p/ un enregistrement

de référence

Leadership sur son secteur et dans son

écosystème

Processus opérationnels et

systèmes décisionnels fiabilisés,

consommateurs d’information MDM

Niveau 5 Industrialisé

Industrialisation du MDM

Convergence des processus B2B et B2C

MDM étendu : Analytics, BPM, SOA

Niveau 4 MDM d’enterprise

KPIs sur les données maîtres

Tableaux de bord de qualité des données, orchestration de

processus

Mesure et suivi

Source: Oracle Industries Business Unit


Les options de déploiement autour de JDE



Framework d’intégration Enterprise One Permet de répondre à toutes les typologies de déploiment du référentiel MDM

• Service Oriented Architecture

– Business Services, Real Time Events, Oracle SOA Suite

• Intégration Batch directe

– Oracle Data Integrator (ODI), JD Edwards Z-file et EDI

• Application Integration Architecture (AIA)

– Exploite les possibilités SOA et Batch

– Process Integration Pack (PIP)

• Interface Utilisateur (aka on-the-glass)

– Intégrations Portails sur base de standard WSRP

– Composite Application Framework

– Pages EnterpriseOne

• Intégration directe Point à Point

– XML, Java, COM, C++, EDI

Déterminer la bonne approche d’intégration en fonction de la typologie d’utilisation du référentiel, des technologies disponibles, de la fréquence de rafraichissement des données et de laréutilisabilité.

Service Oriented Architecture

On the glass

Batch Integrations

Intégration JD Edwards

EnterpriseOne

AIA

Point à Point

http://www.iconfinder.com/icondetails/24881/128/application_glade_mime_x_icon


Les options de déploiement autour de JDE Appliquer le modèle de maturité Oracle de façon pragmatique (1/3)

• Niveau 1:

– Utiliser l’ERP (JDE) comme référentiel • Les données de gestion ( client , fournisseur, article) supportent suffisamment d’information pour

les besoins métiers

• Peu ou pas de besoin de consolidation entre les données de sources différentes (toutes les informations constituant le « GOLDEN RECORD » sont déjà dans l’ERP)

– Mettre en place des solutions simples d’alimentation / publication ( Batch / ETL)

– Si les besoins métiers évoluent, ne pas essayer de tordre l’ERP pour les faire rentrer, passer au niveau 2 ou 3.



Processus d’alimentation / publication du référentiel JDE

E1 Cible

Flat Files

ODBC JDBC

Système

Source

Z-Table F0101Z2

UBE R01010Z

Alimentation Tiers


Oracle Data Integrator « ODI » et son KM JDE Faciliter et automatiser l’intégration

Systèmes “source”

ERP

--- --- --- ---

--- ---

MDM

- - -

Legacy

--- --- --- ---

--- --- ---

--- --- ---

--- ---

Best-of-breed Applications

Patrimoine…

Outil d’Integration de données

Data Warehousing

Master Data Management

Real Time Messaging

Federation Migration

- - - - - -

- - - - - -

Data Synchronization

Avec un outil unique

Systèmes “cible”

ERP

--- --- --- ---

--- ---

MDM

- - -

Legacy

--- --- --- ---

--- --- ---

--- --- ---

--- ---

Best-of-breed Applications

Patrimoine…


E1 Cible

Flat Files

ODBC JDBC

Système

Source

Z-Table F0101Z2

1ere étape = Mapping

UBE R01010Z

Avec ODI Alimentation Tiers



• L’administrateur gère l’accès aux serveurs et aux données

• Le fonctionnel applique les règles métiers et gère le mapping (via drag & drop)

Séparation des règles métiers et des technologies employées

Oracle Data Integrator “Interface”

Declarative Design

Le fonctionnel effectue le mapping

L’administrateur défini les accès aux bases et tables

Mapping dans ODI


E1 Cible

Flat Files

ODBC JDBC

Système

Source

Z-Table F0101Z2

1ere étape = Mapping

UBE R01010Z

2eme étape = déclenchement

de l’UBE

Sans ODI Alimentation Tiers Avec ODI



Déclenchement de l’UBE dans ODI

• Utilisation du module de

connaissance (KM

JDE pour spécifier les

paramètres nécessaires :

– UBE,

– Version,

– Profil,

– Environnement

– …

• L’alimentation / publication

de donnée pourra ainsi

être automatisée


Les options de déploiement autour de JDE Comment déclencher la publication des données depuis JDE

• Par des tâches planifiées

– Utilisation du planificateur ODI

• Sur déclenchement d’événéments – Utlisation des Real Time Events JDE

– A chaque “master Business function” de JDE est associée un “Real Time Event”

– Le RTE offre une livraison garantie via la file d’attente JMS



JDE Integration Oracle Sales Cloud Services

JMS

Client

RTE

Exemple de publication avec RTE Création Client dans JDE –> Création compte dans le CRM


Création d’un client dans JDE Evénement alimentant une file d’attente JMS


JDE Middleware Oracle Sales Cloud Services

JMS ODI , SOA Suite Web services

Client

RTE

Compte

Exemple de publication avec RTE Création Client dans JDE –> Création compte dans le CRM


Les options de déploiement autour de JDE Appliquer le modèle de maturité Oracle de façon pragmatique (2/3)

• Niveau 2:

– Mettre en place une solution simple de référentiel • L’ERP (JDE) n’est qu’une source / destination des données

• Définir un modèle de données permettant de satisfaire aux besoins métiers

• Définir les règles d’alimentation / publication

– Utiliser les fonctionnalités étendues de l’ETL (Oracle Data Integrator) pour définit: – Modéliser le référentiel

– Les règles de transformation

– Les règles de fusion des sources pour définir le GOLDEN RECORD

– Les références croisées éventuelles

– Doit rester une solution tactique temporaire • Difficile à faire évoluer / risque de dérapage non maitrisé des coûts



Les fonctions avancées d’ODI

• Un référentiel central pour :

– Contrôle des versions des objets

– Gestion complète du cycle de développement

– Analyse d’impact

– Références Croisées

– Documentation des flux


Les options de déploiement autour de JDE Appliquer le modèle de maturité Oracle de façon pragmatique 3/3)

• Niveau 3 et +:

– Mettre en place une plateforme MDM à haute valeur ajoutée • L’ERP (JDE) n’est qu’une source / destination des données

• La plate-forme fournit les outils permettant d’assurer la cohérence et la qualité des données

• La plate-forme fournie les outils permettant de garantir la bonne gouvernance des données • workflow de création de nouveaux articles

• Gestion de version

• Module de gestion de la qualité des données

• La plateforme facilite le partage des données • Portail de consultation / recherche

• Règles fonctionnelles de publication

– Les HUB Oracle fournissent ces fonctionnalités • Déploiement on-premise / dans le Cloud Oracle



Le MDM d’Entreprise Oracle Moderne , Multi-Domaine, Conçu pour le métier

Pro

du

ct

Fin

anci

al

OLAP/BI

WEB.COM

Legacy…

CRM

SFA

ERP

“Big Data”

Cu

sto

mer

Sup

plie

r

Emp

loye

e

Ass

et

Loca

tio

n

http://www.pixmule.com/


Complètude Agilité Métier et SI

• Data Quality intégrée

• Gouvernance

• Intégration

• Scalable

• Spécialisation par industrie

• Multi-Source, Canal

• Best practices “Out-of-Box”

• Modèle de données robuste

• Configuration

• Orienté métier

• ROI élévé

« Best Practices »

Oracle MDM : les points clés « Enabler » à la mise en place de bonnes partiques de gouvernance des donnéees


History & Audit

Events & Policies

Data Governance

Manager

List Import Workbench

Identification & Cross-Reference

Source Data History Rules based

Survivorship

Address Validation

Enrich

Manage Decay

Enhanced Match & Merge Unmerge

Multi-language

Publish & Subscribe

Transports & Connectors

Authorization Registry

Roles & Relations des Tiers Variantes Multi-Canal

Golden Customer Record

Gouvvernance intégrée

Configuration

Modèle ouvert pour une spécialisation par

industrie Modèle de publication Nombreuses technologies disponibles

Data Quality intégré

Modules dédiés à la validatiion des donéesClient

“heavy duty”

import

Web Services Library

Les points clés du MDM – Exemple: Oracle Customer Hub La référence des données clients pour l’entreprise


Plus de 1850+ Clients

Oracle MDM

RETAIL

MFG & DIST

HIGH TECH

FINANCIAL SVC

COMMS & MEDIA

http://www.symantec.com/index.jsp

http://www.scottrade.com/index.asp

http://www.kpn.com/


La Qualité des données

- Un enjeu majeur

du Référentiel



Les approches “traditionnelles” de correction des données ne fonctionnent pas

L’approche manuelle

– Trop chère

– Trop lente

– Pas scalable

;3.5 MM 20 MM

* ^ | G = "MM" | ^ | G = "MM" | [{FM}="CATHETER" ] |

[{T1}="BALLOON"]| [{BR}!="OPTIPLAST"]

COPY [1] temp1

COPY_A [2] {Q1}

COPY "X" {C1}

COPY [3] temp2

COPY_A [4] {Q2}

RETYPE [1] 0

RETYPE [2] 0

RETYPE [3] 0

RETYPE [4] 0

CALL Ballon_Measurements

Le code spécifique

– Trop long à construire

– Trop d’exceptions à gérer

– Qualité du résultat aléatoire

Mettre en place un outil de qualité de données

- Accélère et automatise les procédures de correction

- Permet de mesurer la qualité des données et son évolution

- Contribue à garanti la qualité des données de référence


Oracle Enterprise Data Quality

La plus large couverture fonctionnelle DQ • Meilleurs fonctionnalités pour les Données Tiers et Produit

• Profiling, standardisation, matching, gouvernance

L’offre DQ la plus opérationnelle • Offre complètement intégrée ( tiers / produit)

• Conçue pour les utilisateurs métiers et techniques

• Visibilité totale sur les traitements & résultats – (pas de boite

noire)

Opérations pervasive pour une gouvernance

d’entreprise de la qualité de données • Applications historiques et MDM

• Pour la migration / le chargement de données

• A la saisie / capture des données

• Pendant le déplacement / transfert de données

Profile

Standardize

Match

Govern

Quickly understand data content

Drive conformance to standards

Identify & merge duplicates

Monitor effectiveness & resolve problems

Com

mon A

ccess/U

I

Enterprise DQ Platform


Project Browser

Main Canvas

Results Browser

Tool Palette

Oracle EDQ – Orienté Utilisateurs Fonctionnels


Fonctionnalités Clés : Librairie de processors Un large ensemble de fonctionnalités de DQ sous la même interface


La Qualité des données Produit – un processeur dédié La donnée Produit / Article – une problématique spécifique

10hp motor 115V Yoke mount

mtr, ac(115) 10 horsepower 115volts

MOT-10,115V, 48YZ,YOKE

This 10hp yoke mounted motor is rated

for 115V with a 5 year warranty

10 Caballos, Motor, 115 Voltios

TEAO HP = 10.0 1725RPM 115V 48YZ YOKE MTR

Motor, TEAO, 1725 RPM, 48YZ, 15 Voltios,

Montaje de Yugo, hp = 10

Item Motor

Classification 26101600

Power 10 horsepower

Voltage 115

Mounting Yoke


‘Nettoyage’ des données Produit

Category

Piping & plumbing

Fasteners

Headgear

Capacitors

Wine

Extracted Attributes

Diameter = 4 inch

Length = 4 inch

Quantity = 4

Capacitance = 4ESU = 4.45 picofarad

Volume = 750ml; varietal = Merlot

Standardized Description

End cap, 4 inch

Hex cap screw, 4 inch

Baseball cap, 4 per box

Capacitor, 4.45pf (4 ESU)

Wine: Merlot, 750ml, screw cap

Missing information

Material; Thread

Thread; Diameter; Material

Color

Manufacturer; Mount type; Operating characteristics

Input Description

4” end cap

4 in cap screw

4 in box b-ball cap

4 ESU cap

750ml Merlot, screw cap

1. Analyze selmantique basée sur le contexte pour identifier les catégorie et la signification

2. Utilisation de modèles sémantiques spécifiques à la catégorie pour extraire les attributs

3. Modèles sémantiques spécifiques permettent d’identifier les données manquantes pour remédiation

4. Les données sont transformées, standardisées et assemblées en fonction de la cible

Semantic Rec.

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 46

EDQP: Governance Studio Dashboard

Process metrics – Combien d’items

traités en détail

Tendances sur la durée Metrics de Qualité par

fournisseurs / source

Résultats de

Classification


ERP

Logistique

Patenaires

MarketPlace

Catalogue

Web

CRM

End

eca

Navigation

Recherche

Web Store Multi-canaux

eCommerce ; Exemple d’intégration EDQP / MDM produit Pour une meilleure gouvernance des données Produit

• Automatiser la standardisation des données multi-sources.

• Identification immédiate les problèmes de qualité des données produits

• Réutiliser les règles et bonnes pratiques définies au niveau ENDECA Mise en exploitation plus rapide Contrôle aval de la cohérence des

données produits

Data Quality for Product Server

Gouvernance Studio


Enterprise Data Quality for Product Demonstration


Q & R

Oracle Confidential – Internal/Restricted/Highly Restricted


Retour d’expérience CEVA Santé Animale

50

la gestion des données de référence -...

Documents