new data warehousingejvm/olap/olap.pdf · 2009. 3. 30. · data warehousing joão gama jgama @...

52
Data Warehousing João Gama jgama @ ncc .up.pt

Upload: others

Post on 09-Oct-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

Dat

a W

areh

ousi

ng

João

Gam

a

jgam

a@nc

c.up

.pt

Page 2: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a2

Mot

ivaç

ão

•O

mod

elo

rela

cion

al d

e B

D (

3FN

) fo

i des

enha

do p

ara:

–F

lexi

bilid

ade

para

ext

ensõ

es.

–E

ficiê

ncia

no

proc

essa

men

to

on-l

ine

de tr

ansa

cçõe

s.

–P

ersp

ectiv

a do

Info

rmát

ico

•Q

uand

o o

obje

ctiv

o é

anal

isar

dad

os

–A

dis

pers

ão d

este

s po

r di

fere

ntes

tabe

las

é pr

oble

mát

ico.

–A

exe

cuçã

o de

um

a C

onsu

lta n

uma

BD

Req

uer

oper

açõe

s de

Jo

in e

ntre

as

tabe

las

•P

ara

BD

suf

icie

ntem

ente

gra

ndes

est

a op

eraç

ão p

ode

leva

r di

as.

–O

s da

dos

suje

itos

a an

ális

e po

derã

o es

tar

num

SG

BD

rel

acio

nal

•N

ão (

nece

ssar

iam

ente

) na

3F

N.

Page 3: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a3

Dat

a-W

areH

ouse

•D

ataW

areh

ouse

–È

um

am

bien

te n

ão u

m p

rodu

to.

–M

ultid

imen

sion

al

–P

ersp

ectiv

a da

org

aniz

ação

(bu

sine

sspe

rspe

ctiv

e)

–A

nális

e de

Info

rmaç

ão

–D

ataW

areh

ousi

ng•

O p

roce

sso

de c

riaçã

o de

um

a D

ata

War

eHou

se.

Page 4: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a4

Ana

lisar

Dad

os

•A

nalis

ar d

ados

é u

m p

roce

sso

inte

ract

ivo

e ite

rativ

o qu

e en

volv

e:–

Des

envo

lver

e c

ompr

eend

er o

dom

ínio

de

aplic

ação

.

–A

dqui

rir o

u se

lecc

iona

r o

conj

unto

de

dado

s ob

ject

ivo.

–In

tegr

ar e

val

idar

o c

onju

nto

de d

ados

.

–P

re-p

roce

ssar

os

dado

s:•

Lim

par

os d

ados

, tra

nsfo

rmar

os

dado

s.

–C

onst

ruçã

o de

hip

ótes

es

–E

scol

ha d

e al

gorit

mos

apr

opria

dos

–In

terp

reta

ção

dos

resu

ltado

s e

visu

aliz

ação

–A

valia

ção

e ve

rific

ação

dos

mod

elos

.

Page 5: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a5

Ana

lisar

Dad

os

•A

nalis

e de

dad

os, d

uas

pers

pect

ivas

–1ª

Per

spec

tiva

•O

ana

lista

sug

ere

hipó

tese

s

•O

com

puta

dor

aval

ia a

s hi

póte

ses

–2ª

Per

spec

tiva

•O

com

puta

dor

suge

re e

ava

lia h

ipót

eses

•O

ana

lista

ver

ifica

a sign

ificâ

ncia

da h

ipót

ese.

Page 6: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a6

Tip

os d

e P

robl

emas

•P

roce

ssam

ento

de

dado

s–

Sel

ecci

onar

, filt

rar,

agr

egar

, obt

er a

mos

tras

, lim

par,

tran

sfor

mar

–A

utom

atiz

ar e

stes

pro

cess

os.

•P

redi

ção

–D

ados

um

item

de

dado

s e

um m

odel

o pr

edic

ativ

o•

Pre

ver

o va

lor

de u

m a

trib

uto

espe

cífic

o pa

ra o

item

.

•R

egre

ssão

e C

lass

ifica

ção

–A

nalis

ar a

dep

endê

ncia

dos

val

ores

de

uma

variá

vel e

m r

elaç

ão a

os

valo

res

das

outr

as v

ariá

veis

.

•A

grup

amen

tos

e A

ssoc

iaçõ

es–

Seg

men

taçã

o em

sub

conj

unto

s (

clus

ters)

•V

isua

lizaç

ão d

e M

odel

os.

Page 7: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a7

Enc

adea

men

to b

ásic

o

Bas

es d

e da

dos

OLT

P

Ext

rair

Tra

nsfo

rmar

Lim

par

Act

ualiz

arC

onve

rter

Dat

a w

areh

ouse

Met

a D

ata

OLA

P

Dat

a M

arts

Fer

ram

enta

s

Rel

atór

ios

Vis

ualiz

ação

Dat

aM

inin

g

Page 8: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a8

Nív

eis

de A

bstr

acçã

o do

s D

ados

Page 9: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a9

Nív

eis

de Abs

traç

ão

•D

ados

Ope

raci

onai

s–

Alte

raçõ

es p

erm

anen

tes

–C

resc

imen

to e

xpon

enci

al

Page 10: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a10

Nív

eis

de Abs

traç

ão

•A

greg

ação

–È

der

ivad

a do

s da

dos

oper

acio

nais

–S

umar

izaç

ão, C

onde

nsaç

ão, A

greg

ação

•U

m d

os o

bjec

tivos

de

um

Dat

aWar

ehou

secon

sist

e em

es

tabi

lizar

est

a in

form

ação

.

•O

Acc

ess

disp

onib

iliza

ferr

amen

tas

para

agr

egar

dad

os–

Con

sulta

s de

Sum

ariz

ação

•S

QL

com

GR

OU

P B

Y

–C

onsu

ltas

de Cro

ssT

ab

Page 11: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a11

Exe

mpl

o de

Agr

egaç

ão•

SE

LEC

T cl

ient

es.c

lient

e, c

lient

es.N

ome,

Sum

(([qu

ant_

prod

]![qu

antid

ade]*

[pre

ço])

) A

S T

otal

FR

OM

pro

duto

sIN

NE

R J

OIN

((c

lient

esIN

NE

R J

OIN

fact

uras

ON

clie

ntes

.clie

nte

=fa

ctur

as.c

lient

e)

INN

ER

JO

IN q

uant

_pro

d O

N fa

ctur

as.fa

ct =

qua

nt_p

rod.

fact

) O

N pr

odut

os.id

= q

uant

_pro

d.id

GR

OU

P B

Y cl

ient

es.c

lient

e, c

lient

es.N

ome;

Page 12: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a12

Con

sulta

s de

Tab

ulaç

ãoC

ruza

da

•C

onsu

ltas

de su

mar

izaç

ão.

•A

info

rmaç

ão é

dis

post

a nu

ma

mat

riz–

Em

col

una:

os

valo

res

de u

m c

ampo

–E

m L

inha

: os

valo

res

de o

utro

cam

po

–E

m c

ada

célu

la:

uma

funç

ão d

e ag

rega

ção

•N

ão e

xist

e no

SQ

L st

anda

rd

Page 13: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a13

Que

ries “

Cro

ssT

ab”

TR

AN

SF

OR

M S

um([q

uant

_pro

d]![q

uant

idad

e]*[p

reço

]) A

S E

xpr1

SE

LEC

T fa

ctur

as.c

lient

eF

RO

M p

rodu

tosI

NN

ER

JO

IN (f

actu

rasI

NN

ER

JO

IN q

uant

_pro

d O

N fa

ctur

as.fa

ct =

qua

nt_p

rod.

fact

) O

N

prod

utos

.id =

qua

nt_p

rod.

idG

RO

UP

BY

fact

uras

.clie

nte

PIV

OT

For

mat

([da

ta],"m

mm

") In

("J

an",

"Fev

","M

ar")

;

Page 14: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a14

Tab

elas

“P

ivot

•S

emel

hant

e ás

Con

sulta

s de

ta

bula

ção c

ruza

da–

Ger

a um

a F

olha

de

Cal

culo

•E

xpan

são

•C

ontr

ação

Page 15: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a15

Esq

uem

a da

Bas

e de

Dad

os

•D

esen

ho fí

sico

dos

dad

os o

pera

cion

ais

•D

icio

nário

da

Bas

e de

Dad

os–

Tab

elas

•C

ampo

s, ti

pos

de C

ampo

s,

indi

ces

–C

onsu

ltas

•O

s S

GB

D tê

m fe

rram

enta

s pa

ra a

nális

e do

esq

uem

a da

BD

–G

erad

ores

de

dici

onár

ios

de D

ados

Page 16: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a16

Met

a-D

ata

•M

odel

o ló

gico

dos

Dad

os–

Dia

gram

a E-R

–Q

ue a

plic

açõe

s us

am q

ue in

form

ação

•C

omo

e qu

ando

det

erm

inad

a in

form

ação

est

á di

spon

ível

.

–D

escr

ição

das

tran

sfor

maç

ões

dos

dado

s.

•T

axin

omia

s

Page 17: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a17

Dat

a W

areh

ouse

-D

efin

ição

•“A

dat

a w

areh

ouse

isa c

opy

ofa

tran

sact

iond

ata

spec

ifica

lly s

truc

ture

dfor

quer

ying

, ana

lysi

s, an

d re

port

ing”

–A

lgun

s po

ntos

:•

Cop

ia d

e da

dos

tran

sacc

iona

is–

Incl

uind

o ag

rega

ções

•E

stru

tura

da d

e fo

rma

espe

cífic

a

•O

bjec

tivo

de:

–C

onsu

lta

–A

nalis

e

–E

labo

rar

rela

tório

s

Page 18: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a18

Pro

prie

dade

s e

Con

ceito

s

•D

imen

são

–M

ega,

Gig

a, Ter

aB

ytes

–N

ão e

xist

e um

a fr

onte

ira fi

xa.

•A

info

rmaç

ão é

gua

rdad

a pa

ra a

nális

e:–

de fo

rma

a po

der

ser

aced

ida

de fo

rma

mai

s ef

icie

nte

–se

para

da d

o si

stem

a op

erac

iona

l

–S

upor

tam

sis

tem

a so

fistic

ados

de

anal

ise

on-li

ne•

Ana

lise

Mul

ti-d

imen

sion

al

•In

tegr

ar in

form

ação

pro

veni

ente

de

mai

s qu

e um

sis

tem

a op

erac

iona

l.–

Inte

grar

info

rmaç

ão s

obre

sal

ário

s, fi

nanç

as, m

arke

ting,

pro

duçã

o.

–P

ossi

bilid

ade

de c

ruza

r in

form

ação

Page 19: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a19

Pro

prie

dade

se C

once

itos

•D

ifere

nça

entr

e pr

oces

sos

oper

acio

nais

e a

nalít

icos

–P

roce

sso

oper

acio

nal

•A

lta p

erfo

rman

ce

•R

espo

sta

rápi

da

•C

onst

ante

act

ualiz

ação

•P

roce

ssos

pré-d

efin

idos

–P

roce

sso

anal

ítico

•A

nális

e ex

plor

atór

ia d

e da

dos

–D

emor

ada

–N

ão é

pré-

defin

ida

»In

tera

ctiv

a e

Itera

tiva

•In

form

ação

mai

s es

táve

l

•Lo

nga

dura

ção

Page 20: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a20

O m

odel

o da

Dat

a w

areh

ouse

•D

eve

ser

exte

nsív

el e

est

rutu

rado

de

form

a a

que

poss

a im

port

ar

dado

s de

dife

rent

es a

plic

açõe

s.

•O

mod

elo

lógi

co d

eve

segu

ir a

pers

pect

iva

do a

nalis

ta e

não

o m

ode

lo

dos

dado

s pa

ra u

ma

dada

apl

icaç

ão–

Dife

rent

es p

arte

s de

um

a or

gani

zaçã

o tê

m d

ifere

ntes

mod

elos

par

aos

dad

os

•N

ão m

anté

m o

est

ado

da in

form

ação

ope

raci

onal

–A

info

rmaç

ão o

pera

cion

al a

ltera-se

cons

tant

emen

te•

A q

uant

idad

e ex

iste

nte

em s

tock

de

um p

rodu

to

–A

dat

a war

ehou

senã

o m

anté

m in

form

ação

sob

re e

ntid

ades

ou

atrib

utos

que

al

tera

m c

onst

ante

men

te.

•O

mod

elo

rela

cion

al fa

cilit

a m

ante

r re

laçõ

es d

inâm

icas

ent

re a

s en

tidad

es.

•U

ma

data

war

ehou

se ca

ptur

a as

rel

açõe

s en

tre

as e

ntid

ades

num

dad

o in

stan

te.

Page 21: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a21

Des

-Nor

mal

izaç

ão do

s da

dos

•N

orm

aliz

ação

–D

esdo

bra

uma

rela

ção

em v

ária

s re

laçõ

es in

depe

nden

tes.

–A

umen

ta a

flex

ibili

dade

do

mod

elo

•D

es-n

orm

aliz

ação

–C

onca

tena

var

ias

rela

ções

num

a ún

ica

–R

eduz

a n

eces

sida

de d

e op

eraç

ões

de

Join

em c

onsu

ltas.

–C

ampo

s C

alcu

lado

s

Page 22: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a22

Tra

nsfo

rmaç

ão fí

sica

dos

dad

os o

pera

cion

ais

•H

omog

enei

zar

e lim

par

os d

ados

–D

ados

inco

mpl

etos

e in

cons

iste

ntes

–O

s te

rmos

usa

dos

no s

iste

ma

oper

acio

nal p

odem

ter

que

ser

unifo

rmiz

ados

ent

re a

plic

açõe

s:•

Nom

es d

e at

ribut

os

•T

ipos

e d

imen

sões

de

cam

pos

–T

erm

os c

ompl

exos

pod

erão

ser

red

efin

idos

•O

cód

igo

de u

m p

rodu

to c

onte

m–

Tip

o, fa

míli

a, g

éner

o, e

tc.

•D

icio

nário

de

dado

s

Page 23: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a23

Sum

ariz

ação

de d

ados

•M

uita

s co

nsul

tas

e re

lató

rios

são

agre

gaçõ

es b

asea

dos

em

parâ

met

ros

pré-d

efin

idos

.–

Ven

das

por

sem

ana,

mês

, ou

trim

estr

e

•U

ma

dife

renç

a im

port

ante

:–

Num

sis

tem

a op

erac

iona

l o q

ue e

xist

e fis

icam

ente

é a

def

iniç

ão d

a co

nsul

ta.

•A

exe

cuçã

o da

con

sulta

orig

em a

um

a ta

bela

virt

ual q

ue e

xist

eap

enas

en

quan

to a

con

sulta

est

á a

ser

exec

utad

a.

–N

uma

data

war

ehou

seex

iste

um

a ta

bela

que

é c

riada

e m

antid

a in

depe

nden

tem

ente

do

utili

zado

r.

•E

ficiê

ncia

na

obte

nção

de

resp

osta

.–

Nov

as té

cnic

as d

e in

dexa

ção.

Page 24: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a24

Fer

ram

enta

s

•C

lem

entin

e

•E

nter

pris

e M

iner

•In

telli

gent

Min

er

•D

iam

ond

Page 25: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a25

Cle

men

tine

Page 26: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a26

O E

nter

pris

e M

iner

Page 27: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a27

Apl

icaç

ões

•G

enom

a H

uman

o–

Sem

elha

nças

ent

re s

equê

ncia

s de

DN

A

•T

elec

omun

icaç

ões

–D

etec

ção

de c

lient

es in

satis

feito

s

–M

onito

rizaç

ão d

e pr

oble

mas

ope

raci

onai

s

•S

ervi

ços

banc

ário

s e

Fin

ança

s–

Cré

dito

–P

redi

ção

de ta

xas

de c

ambi

o

•D

istr

ibui

ção

•M

arke

ting

Page 28: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a28

Dat

a w

areh

ouse

•U

ma

data

war

ehou

seé

um a

mbi

ente

–E

stru

tura

do d

e fo

rma

flexí

vel

–D

esen

hado

par

a a

anál

ise

de d

ados

per

man

ente

s

–Ló

gica

e fi

sica

men

te d

eriv

ados

a p

artir

de

•m

últip

las

font

es

•m

últip

las

aplic

açõe

s

–m

antid

a e

actu

aliz

ada

para

um

long

o pe

ríod

o de

tem

po

–ex

pres

sa e

m te

rmos

da

orga

niza

ção

–e

sum

aria

da p

ara

anál

ise

efic

ient

e.

Page 29: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

OLA

P

Bas

es d

e D

ados

M

ultid

imen

sion

ais

João

Gam

a

jgam

a@nc

c.up

.pt

Page 30: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a30

On-

line

Ana

lytic

al P

roce

ssin

g -O

LAP

•O

rgan

izaç

ões

anal

isam

dad

os h

istó

ricos

–Id

entif

icar

pad

rões

na

defin

ição

est

raté

gica

da

orga

niza

ção.

•A

aná

lise

é:–

Com

plex

a, in

tera

ctiv

a, e

xplo

rató

ria

–S

obre

um

vol

ume

de d

ados

mui

to g

rand

e•

Vár

ias

font

es d

e da

dos

•O

LAP

ver

sus

OLT

P

•T

erm

inol

ogia

OLA

P :

–B

ases

de

dado

s mul

tidim

ensi

onai

s•

Fac

tos

e di

men

sões

–C

onsu

ltas

mat

eria

lizad

as.

–C

ubo

Page 31: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a31

OLA

P e

Dat

a W

areh

ouse

•D

ata

war

ehou

se–

Info

rmaç

ão p

rove

nien

te d

e va

rias

font

es é

inte

grad

a nu

m ú

nico

re

posi

tório

.

–In

tegr

ação

sem

ântic

a.

–S

incr

oniz

ação

de

répl

icas

.

•O

LAP

–S

QL

para

con

sulta

s co

mpl

exas

.•

Qua

l o lu

cro

gera

do p

or u

m n

ovo

prod

uto

–P

or m

ês, n

as lo

jas

da z

ona

cent

ro,

–re

lativ

amen

te à

ver

são

ante

rior

do p

rodu

to?

–C

onsu

ltas

inte

ract

ivas

e

on-li

ne.

Page 32: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a32

O M

odel

o Mul

tidim

ensi

onal

-E

xem

plo

•U

nidi

men

sion

al•

Mul

tidim

ensi

onal

Page 33: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a33

O M

odel

o Mul

ti-d

imen

sion

al•

Col

ecçã

o de

fact

os n

umér

icos

qu

e de

pend

em d

e vá

rias

dim

ensõ

es.

•E

xem

plo:

–F

acto

s:

•so

bre

as v

enda

s

–D

imen

sões

•P

rodu

to

•Lo

calid

ade

•T

empo

1

2

3tim

eId

Loca

lId

811 12 13

PID

10

15

1010

3020

50

258

Page 34: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a34

O M

odel

o Mul

tidim

ensi

onal

(Sta

r S

chem

a)•

Fac

tos

–T

abel

a no

rmal

izad

a

–G

rand

e vo

lum

e de

dad

os

•D

imen

sões

–T

abel

as n

ão-no

rmal

izad

as

–P

ara

cada

dim

ensã

o o

conj

unto

de

valo

res

pode

est

ar o

rgan

izad

o hi

erar

quic

amen

te.

•P

eque

no v

olum

e de

dad

os

•U

pdat

es/In

sert/

Del

eter

aros

F A C T O S

TE

MP

OP

RO

DU

TO

LOC

AL

Page 35: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a35

Mod

elos

OLA

P

•M

odel

o em

est

rela

–F

acto

s e

dim

ensõ

es

•M

odel

o em

floc

o de

nev

e–

Sup

orta

vár

ias

tabe

las

de fa

ctos

–A

s di

men

sões

pod

erão

est

ar r

elac

iona

das

com

out

ras

tabe

las

•M

odel

o em

Con

stel

ação

Page 36: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a36

Exe

mpl

odo

Mod

elo

em E

stre

la

time_

key

day

day_

of_t

he_w

eek

mon

thqu

arte

rye

ar

time

loca

tion_

key

stre

etci

typr

ovin

ce_o

r_st

reet

coun

try

loca

tion

Sal

es F

act T

able

time_

key

item

_key

bran

ch_k

ey

loca

tion_

key

units

_sol

d

dolla

rs_s

old

avg_

sale

s

Mea

sure

s

item

_key

item

_nam

ebr

and

type

supp

lier_

type

item

bran

ch_k

eybr

anch

_nam

ebr

anch

_typ

e

bran

ch

Page 37: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a37

Exe

mpl

odo

Mod

elo

em F

loco

de N

eve

time_

key

day

day_

of_t

he_w

eek

mon

thqu

arte

rye

ar

time

loca

tion_

key

stre

etci

ty_k

ey

loca

tion

Sal

es F

act T

able

time_

key

item

_key

bran

ch_k

ey

loca

tion_

key

units

_sol

d

dolla

rs_s

old

avg_

sale

s

Mea

sure

s

item

_key

item

_nam

ebr

and

type

supp

lier_

key

item

bran

ch_k

eybr

anch

_nam

ebr

anch

_typ

e

bran

ch

supp

lier_

key

supp

lier_

type

supp

lier

city

_key

city

prov

ince

_or_

stre

etco

untr

y

city

Page 38: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a38

Exe

mpl

ode

Fac

t Con

stel

latio

n ship

per_

key

ship

per_

nam

elo

catio

n_ke

ysh

ippe

r_ty

pe

ship

per

time_

key

day

day_

of_t

he_w

eek

mon

thqu

arte

rye

ar

time

loca

tion_

key

stre

etci

typr

ovin

ce_o

r_st

reet

coun

try

loca

tion

Sal

es F

act T

able

time_

key

item

_key

bran

ch_k

ey

loca

tion_

key

units

_sol

d

dolla

rs_s

old

avg_

sale

s

Mea

sure

s

item

_key

item

_nam

ebr

and

type

supp

lier_

type

item

bran

ch_k

eybr

anch

_nam

ebr

anch

_typ

e

bran

ch

Shi

ppin

g F

act T

able

time_

key

item

_key

ship

per_

key

from

_loc

atio

n

to_l

ocat

ion

dolla

rs_c

ost

units

_shi

pped

Page 39: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a39

Sup

orte

s O

LAP

•M

OLA

P–

Bas

es d

e D

ados

M

ultid

imen

sion

al•

Ora

cle E

xpre

ss S

erve

r

•R

OLA

P–

Bas

e de

Dad

os R

elac

iona

l

RO

LAP

MO

LAP

Per

form

ance

Com

plex

idad

e

Page 40: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a40

Hie

rarq

uias

em

Dim

ensõ

es•

Um

a di

men

são

pode

est

ar o

rgan

izad

a em

hie

rarq

uias

.

•S

e o s

erve

r OLA

P–

Sup

orta

hie

rarq

uias

=>

pos

sibi

lita

oper

açõe

s de

•E

xpan

ção

•C

ontr

acçã

o

–N

ão s

upor

ta h

iera

rqui

as•

Cad

a ní

vel d

a hi

erar

quia

cor

resp

onde

a u

ma

dim

ensã

o

Tem

poA

no

sem

estr

e

Trim

estr

e

Loca

lP

aís

Dis

trito

Cid

ade

Mês

Sem

ana

Dia

Page 41: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a41

Des

enho

de

Tab

elas

Fac

tuai

s (

Fac

t Tab

les)

•P

erce

ber

o pe

ríod

o de

tem

po n

eces

sário

par

a a

tabe

la

fact

ual.

•S

elec

cion

ar o

s ca

mpo

s ap

ropr

iado

s.

•M

inim

izar

a d

imen

são

dos

cam

pos.

•S

elec

cion

ar c

have

s ap

ropr

iada

s.

•D

esen

har

o te

mpo

com

o um

cam

po d

a ta

bela

fact

ual.

Page 42: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a42

Des

enho

de

Dim

ensõ

es

•A

nalis

e de

con

sulta

s típ

icas

–A

plic

am r

estr

içõe

s a

uma

dim

ensã

o.

•C

oloc

ar to

da a

info

rmaç

ão r

estr

itiva

num

a ún

ica

tabe

la.

•E

xem

plo:

–A

nális

e de

ven

das

–C

onsu

ltas

típic

as:

•G

rupo

s de

pro

duto

s–

Ves

tidos

de

senh

ora

•C

onsu

ltas

que

envo

lvem

tam

anho

, cor

, est

ilo

–A

s co

nsul

tas

pode

rão

ser

acel

erad

as s

e a

info

rmaç

ão s

obre

os

prod

utos

est

iver

num

a ún

ica

tabe

la.

•S

ituaç

ões

onde

o a

crés

cim

o de

info

rmaç

ão n

ão r

elev

ante

é g

rand

e po

de s

er

cont

rapr

oduc

ente

.

Page 43: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a43

Dat

a M

arts

•P

artiç

ões

de d

ados

par

a an

ális

es e

m s

ecto

res

espe

cífic

os

Page 44: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a44

Con

sulta

s OLA

P

•In

fluên

cia

do S

QL

e F

olha

s de

cal

culo

•A

ope

raçã

o m

ais

com

um é

ag

rega

çãod

e um

a qu

antid

ade

sobr

e um

a ou

mai

s di

men

sões

.–

Enc

ontr

ar o

tota

l de

vend

as.

–E

ncon

trar

o to

tal d

e ve

ndas

por

cid

ade,

ou

dist

rito,

ou

país

.

Page 45: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a45

Con

sulta

sOLA

P

•A

greg

ação

a d

ifere

ntes

nív

eis

da h

iera

rqui

a de

um

a di

men

são

–C

ontr

acçã

o:•

Ten

do o

tota

l de

vend

as p

or c

idad

e, c

ontr

acçã

o dá

o to

tal d

e ve

nda

s po

r di

strit

o.

–E

xpan

são

•da

dos

o to

tal d

e ve

ndas

por

por

dis

trito

, obt

er a

s ve

ndas

por

ci

dade

.

•P

ivot

ing

–A

greg

ação

por

var

ias

dim

ensõ

es•

Piv

otin

gso

bre

Loca

l e T

empo

–T

abul

ação

-cru

zada

•S

licin

g an

d D

icin

g

Exc

el

Page 46: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a46

Com

para

ção c

om S

QL

•T

abul

ação

cru

zada

(p

ivot

ing)

pod

eser

obtid

a us

ando

vár

ias

cons

ulta

sSQ

L.

SELECT Sum(V.Vendas)

FROM Vendas V, Tempo T, Local L

WHERE V.timeId = T.timeId AND V.timeId = L.timeId

GROUP BY T.year, L.cidade

SELECT Sum(V.Vendas)

FROM Vendas V, Tempo T

WHERE V.timeId = T.timeId

GROUP BY T.year

SELECT Sum(V.Vendas)

FROM Vendas V, Local L

WHERE V.timeId = L.timeId

GROUP BY L.cidade

Page 47: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a47

Con

sulta

s O

LAP

–A

nalis

ar a

info

rmaç

ão d

o cu

bo p

ode

requ

erer

vis

ualiz

ar o

cub

o so

bre

uma

qual

quer

das

vis

tas.

–O

pera

ções

de

Cor

tar

e R

odar

(“

Slic

e an

d D

ice”

)

Exc

el

Page 48: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a48

O O

pera

dor C

UB

E

•P

ara

k di

men

sões

exi

stem

:–

2^k

poss

ívei

s co

nsul

tas

SQ

L Gro

up B

y

–ob

tidas

sob

re s

ubco

njun

tos

das

dim

ensã

o.

•O

ope

rado

r C

UB

E•

(intr

oduz

idop

orG

ray

et a

l.’96

)

–C

UB

E p

id, l

ocid

, tim

eid

BY

SU

M V

enda

s•

Exi

stem

8 s

ubco

njun

tos

do c

onju

nto

{pi

d,lo

cid,

timei

d}

•C

ada

subc

onju

nto

corr

espo

nde

a um

a co

nsul

ta S

QL

da fo

rma:

SELECT Sum(V.Vendas)

FROM Vendas V

GROUP BY <lista>

Page 49: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a49

•E

xem

plo

SE

LEC

T it

em, c

ity, y

ear,

SU

M (

amou

nt)

FR

OM

SA

LES

CU

BE

BY

item

, city

, yea

r

•N

eces

sitac

alcu

laro

sse

guin

tesG

roup

-Bys

(ite

m, c

ity,

yea

r),

(ite

m, c

ity)

, (it

em, y

ear)

, (ci

ty, y

ear)

,

(ite

m),

(ci

ty),

(ye

ar)

()

(item

)(c

ity)

()

(yea

r)

(city

, ite

m)

(city

, yea

r)(it

em, y

ear)

(city

, ite

m, y

ear)

O O

pera

dor C

UB

E

Page 50: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a50

Téc

nica

s de

Impl

emen

taçã

o

•N

ovas

técn

icas

de

inde

xaçã

o–

Inde

xes B

itmap

–Jo

inIn

dexe

s•

Inde

xaçã

o en

tre

tabe

las

–R

epre

sent

ação

de arra

ys•

Dad

os e

spar

sos

–P

re-c

ompu

taçã

o de

con

sulta

s de

agr

egaç

ão.

Page 51: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a51

Res

umo

•O

bjec

tivos

do

OLA

P–

Sum

ariz

ação

da in

form

ação

–A

nális

e da

Info

rmaç

ão

•T

ecni

cas

–C

onso

lidaç

ão d

e Que

ries

–B

ases

de

Dad

os

Mul

tidim

ensi

onai

s

•A

ess

ênci

a da

tecn

olog

ia O

LAP

:–

Fle

xibi

lidad

e,

–R

espo

sta

rápi

da

•P

ossi

bilid

ade

de sum

ariz

ar da

dos

sobr

e vá

rias

dim

ensõ

es–

Aná

lise

mul

tidim

ensi

onal

•A

nális

e de

tend

ênci

as s

obre

o te

mpo

Page 52: New Data Warehousingejvm/OLAP/olap.pdf · 2009. 3. 30. · Data Warehousing João Gama jgama @ ncc.up.pt. 2001 João Gama 2 Motivação •O modelo relacional de BD (3FN) foi desenhado

2001

João

Gam

a52

Bib

liogr

afia

•P

edro

Dom

ingo

s “A

ceta

tos

sobr

e D

ata

-Min

ing

•S

. Ana

hory

, D. M

urra

y, “

Dat

a W

areh

ousi

ng in th

e re

al

wor

ld”,

Adi

son-

Wes

ley,1

997

•M

.Ber

ry, G

. Lin

off,

“D

ata

Min

ing

Tec

hniq

ues fo

r M

arke

ting,

Sal

es, an

d C

usto

mer

Sup

port”, W

iley

Com

pute

r P

ublis

hing,

199

7

•V

icki

Sau

ter; D

ecis

ion

Sup

port

Sys

tem

s; J

ohn

Wile

y &

S

ons;

199

7