change data capture options

8/8/2019 Change Data Capture Options

1/24

People Process Performance

SDG - MDM Training & HR Acts:

Change Data Capture


2/24

2

People Process Performance Copyright 2009 SDG group. All rights reserved. www.sdggroup.com

Che cos il CDC ?

Change Data Capture efficiently identifies and captures data that has beenadded to, updated in, or removed from relational tables and makes thischange data available for use by applications or individuals.

CDC most commonly used to capture transactional changes from an OLTPsystem and publish the changes to one or more subscription systems.


3/24

3


Vantaggi

Ottimizza la fase di estrazione in un processo di ETL

estrazione full

estrazione delta

CDC

Conosco a priori i record da inserire, aggiornare o cancellare

Table compare non pi necessario

Minimi impatti sul DB sorgente

Facile da usare


4/24


5/24

5


Utenti

Publisher (editore)

chi cattura e pubblica i record cambiati

usualmente un DBA

package DBMS_CDC_PUBLISH

Subscribers (abbonati)

utenti o applicazioni che accedono ai record modificati

crea una subscription

sono i clienti del publisher

package DBMS_CDC_SUBSCRIBE


6/24

6


Nozioni

Log writer process (LGWR): il processo di Oracle che scrive e gestisce iredo log file

Redo log file: ha la funzione primaria di registrare tutti i cambiamenti fattisui dati allo scopo di preservare i dati da possibili guasti (es. caduta dellacorrente). Ogni database ha 2 o pi redo log file.

Archive log file: possibile salvare i redo log file nellarchive log file. Se ilDB settato in modalit ARCHIVELOG viene fatto automaticamente.

Oracle Stream: permette la gestione e la propagazione dei dati allinternodel DB e tra DB diversi


7/24

7


Terminologia

Source DB: il DB dove sono contenuti i dati da caricare. Contiene sourcetable e redo log file.

Change source: rappresentazione logica del source DB

Change set: insieme di change table e di dati transazionalmente

consistenti. Un change set pu appartenere ad un solo change sourceChange table: tabelle contenenti i record catturati dal CDC e metadati (es.informazioni di controllo). I subscribers leggono da queste tabelle


8/24

8


Change Data Capture System


9/24


10/24

10


Synchronous Change Data Capture

Utilizza Triggers creati automaticamente sul source DB

Supportato dallOracle 9 i in poi

Non c latenza, i record modificati sono catturati immediatamente con lacommit

Aumento dellelaborazione sul sistema sorgente

Esiste un predefinito change source: SYNC_SOURCE

Le change table risiedono sul source DB


11/24

11


Synchronous Change Data Capture


12/24

12


Asynchronous HotLog

Utilizza online redo log file

Supportato dallOracle 10 g in poi

Breve latenza tra la commit e i record catturati disponibili

Minimo incremento dellelaborazione sul sistema sorgente

Esiste un predefinito change source: HOTLOG_SOURCE

Le change table risiedono sul source DB


13/24

13


Asynchronous HotLog


14/24

14


Asynchronous Distributed HotLog

Estensione del caso precedente

Attivit e oggetti del CDC sono in parte sul source DB e in parte sullostaging DB. Bisogna definire due publishers, un per il source DB e uno perlo staging DB

Non esiste un predefinito change source, bisogna crearseloSi definiscono due DB Link per la connessione e propagazione dei dati

Source DB e staging DB possono girare su hardware diversi e sistemioperativi diversi


15/24

15


Asynchronous Distributed HotLog


16/24

16


Asynchronous AutoLog

Utilizza un insieme di redo log file

Il redo transport services gestisce il trasferimento automatico dei redo logfile dal source DB allo staging DB

Sia online redo log che archive redo log

Supportato dallOracle 10 g in poi

Breve latenza tra la commit e i record catturati disponibili

Minimo incremento dellelaborazione sul sistema sorgente

Non esiste un predefinito change source, bisogna crearselo

Source DB e staging DB devono girare sullo stesso hardware, stesso

sistema operativo e stesso versione di Oracle


17/24


18/24

18


Fattori di scelta quale modalit usare


19/24

19


Subscribers

Chi consuma i record

Crea una o pi subscription dalle publication disponibili

La subscription genera viste oracle

La subscription viene creata a partire dal change set, quindi

transazionalmente consistente

Segnala quando pronto a ricevere i record

Segnala quando ha finito di processare i record


20/24

20


Osservazioni best practice

Operazioni non logged non sono catturate

Modalit asincrona necessita logging supplementare

Il costo computazionale proporzionale alla quantit di dati da catturare,quindi catturare solo le colonne necessarie (vale anche per le colonne dicontrollo)

Creare uno schema apposito per gestire le pubblicazioni

Per minimizzare gli impatti sulle performance possibile spostare lesource table in un tablespace e impostarlo force logging anzich forzaretutto il database

DBMS_CDC_PUBLISH.PURGE: per cancellare dati obsoleti dalle changetable


21/24

21


Dizionario

PUBLISHER CHANGE_SOURCESCHANGE_SETSCHANGE_TABLESDBA_PUBLISHED_COLUMNS( ALL,USER)

SUBSCRIBER DBA_SOURCE_TABLES (ALL, USER)DBA_SUBSCRIPTIONS (ALL,USER)DBA_SUBSCRIBED_TABLESDBA_SUBSCRIBED_COLUMNS (ALL,USER)


22/24

22


CDC e DI

creare un datastore che punti allo schema del cdc

flaggare Enable CDC

importare le change table

importare tabelle gi esistenti

creare change table con DI

tasto-dx sul datastore - open - tasto-dx nel vuoto - new (inizioprocedura) - selezionare modalit, tabella sorgente, tabella cdccon campi, change set e parametri vari

DI aggiunge di suo altre due colonne

DI_SEQUENCE_NUMBER: sequenza

DI_OPERATION_TYPE: tipo opeazione (I,U,D,B)


23/24

23


CDC e DI

uso della tabella - definizione della subscription

drag in un DF - solo source

open dell'editor, tab CDC Options - inserire nome subscription e flag"Enable check-point"

Map_CDC_Operation

Manutenzione: drop cdc table, Drop Subscription

tasto-dx sul datastore - open - click Repository Metadata - tasto-dxsulla tabella - selezionare "CDC maintenance"

limitazioni

con una cdc table non possibile usare Table_Comparison,Key_Generation, and SQL transforms e funzioni

una sola cdc table per DF


24/24

24


FINE

change data capture options

Documents