an architecture for data quality1

8/10/2019 An Architecture for Data Quality1

http://slidepdf.com/reader/full/an-architecture-for-data-quality1 1/20



!""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""#

"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""#

$%$""""""""""""""""""""""""""""""""""""""""" &

'%("""""""""""""""""""""""""""""""&

)% """""""""*

!$)""""""""""""""""""""""""""""""""""""""""""""""""""""""*

+$%))( """""""""""""""""""""""""""""",

-%""""""""""""""""""""""""""""""""""""""""""""""""""""""""",

.%$!! """""""""""""""""""""""""/

0)1!"""""""""""""""""""""""""""""""""""""/

!2+ """"""""""""""""""""""""""""3

!"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""4

)%""""""""""""""""""""""""""""""""""""""""""""""""""""56

) """""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""5#

)"""""""""""""""""""""""""""""""""""""""""""""""""""""""5*

))%- """""""""""""""""""""""""""""""""""""""""""""""""""""""""""5*

!!% """"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""54

)%"""""""""""""""""""""""""""""""""""""""""""54

""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""67



!!!!

-$9$%)

:9$%)%):

)$")))%)

$))%$)

";%9%$)!!%:%")%

1)9))%

):"

))"!)54379

)$<%=<->)?%))))579777-"

$1%@))%)1!9A)!

$1B?=>"""

%%!);"

)<-%))9

$A%1 19%9)$)A

$%"C$$$"1%""

%D677/"%)"



$%$ $%$ $%$ $%$

$%)):

%E"09%)F

-))-)%G

%$9)677/91$)%$1)

:H"!)9%E)))))9)$)9)

%%))):)"))9

))))%)%%

1))"

$%%):%"

09%%9H-"

$):)

"%E1

):")$)

:%$%E)):"1):-"-

-)%)2):)

-"$):%

)$-"

'%('%('%('%(

-%%))

)$"-)1$9)IIJ)K

%%%%A%)$

)))"$)

:%)"

)$1%):9$

1%$%"%

1$$1)$9)$

1)$%%"!$):

444A44A44449))$

4?")()1$))

)%9$))?

?9)$K

@+919%%

=+544&>91):$

%-)$%"%

+2F!%):99)

1"G.)%

):9$$

"



)%)%)%)%

))):$

:%E"

L%:)

%EM:)9')$

$1")9%1%)%9$$)

))%"9$

H)))%)"

))E"

))H"H)%)$

"$)"'

))")9)%

)"09

))%9%)

)%"+$))%):(

+9)%9%E))%):2

5" %):"

6" %%"

#" !))"

&" !)%"

*" !)%$$1"

," )AA)$"

/" )"

3" ):"

4" )):"

)%9))

))))?"

?)$1

))1$"%

)))$))"))AA)

$)):%"

!$)!$)!$)!$)

)$))%%E%)99)))$)9)

%)%))"+9$

)))9$-%E"+$9

?)$))H

"

9%%"!$)$)

)9)$1%%A9)



)%9$%E

:)"

!)$)):=>

$)))$)"

))))"

%%%=->")$

9$$)))-%E"

')))9

)9)99))=I>9

%%)))%I"9):

)1):

"$)))$"

%$1))%))

I$1%")%)%%)

9))$

)"

+$%))(+$%))(+$%))(+$%))(

')%E$1)9

")$

%):"'%%)2

• )%)%):"

• !)))%

)"

• !))))I"

• 0$1%):"

• 0$1%):"

• )))"

-%-%-%-%

%))99

)"-9!I-!-.

%:)))%)%")

A)$)%"-)$9$)

)$%"J$

))%%H%

))%):"

%)%)"%%)

$H9)))))9:1)

%)))G%<%G)



)%$H"-)%)$

)$)%)))K):)

$9

)$")

E

H"

.%$!!.%$!!.%$!!.%$!!

%A%%)")$

)9)))):"+$

)$)))%

$"%9

))%%)%)

:)%A$)"

1%$)

%$)$1$):)

"

)$)A

%%9

)"-)9%$:

)))%))$H

%<-)))

%9)<-))$))

%%"$)$)"

0)1!0)1!0)1!0)1!

-)%=@@>9)9)9

))%F%)G

")))$))

@@9))

):@@%)

=!'>"%)

$):%E)))9

1%)))K

1)$$%)

@@9$%$"-I1 =677&>9$)%9)A

)%9%)%)))

)1)%)@@

)"-)9)$)%

%?1)%))1

9)!%))

)"



!2+!2+!2+!2+

)$::

)%1I)$":

9)I)%"-

9%))"

9$2

• ) 9)

• 9))%)

%)"

%:9))

9)%)"+$$

%E):))L1'919

2 =@%6776>2

•

• !•

)$%"9

$"L1'%

1)9$9)$$$1)

+)2

• C"

• C))"

• C$%"

•

C)N4444"• C%*"

• C"

• C1"

!)"$)

)="%"9AA

>"!)%%1<1

$)$9))%$1

))))"

L1'?)2• )1

)%"

•

"

• "

• "

• )"



)

%"09

)))9:%I

:*)

$:")%%%

) ):191%

@-)))%1)$"-9$)@-

)"

L1'))%9

)%)9)9)"

!)2

• :))

:"

• -))E9:))

E"

• ))

))$")

)"

)2

• $

"

• ))%)1)

) "

C2

• )

))$)%

9A)%%)

%"

• C)H%

)AA57O"

!!!!

E))$

)$:$)

$I"%$%)$%9

)%)%=->9

$)%)$%"

$0%5"



0%5"!"0%5"!"0%5"!"0%5"!"

"-%2

$=))>:$I)%

"%)$

)":))

9))))"

))))9

H$)9)$))"

))))9

)$)E

)9$1)))"AA)

)A$)"

%$

1)$$)A%)%"

)%))

)%H$)"

)%E)))%$

))9)")

I$1$9)))2

• ))A

• %))%)A

•

))• )

• )

• 999))1

• @

)1)

H%)%%91H

%)%"-9

"

)))) 1=> !)!)!)!)

)=> )=0> !1=>

!1=0> !

1=0> I)

)))) ) !%)

1=> !

%P

))))

1=0>

=0>

))=0>

0))=0>

)

%P)



))$)$

))"-)$)$$

"!))2

• !299")

%)$)%9

-9%9-9-"$)$%%%%"

• I)2)9)%

I9)%$:

)))")$))

I)%)

)I"

• !%)2)%$))%

$))9)$

)%)"-

9)))"

• 29))

9%)")

"%E)

)$$)M$

)M)$)%%))

%")$%)

))"

• ')$%2

=%)$%7"75"7>)$"!

)%

9)"

%1$

19)))9)%1

)"1911)9

%1%%%):)

)))"1)$

))))"

+$?"%)1

$)%)%"

.)$))%!!%:%

)%)$)")%%!

!%#"&"

)))%!!%"-

))9$%

$%%F%E)G



):$"!%7"7

5"79)))%$%)9)

9%"J$!!%

)%$%)%K

))) $

%"))))))))"

%%%)%

%))"$)

%19$%1$%"-

$)95AA$)

)))"

))9)9)9))9)

1$))99))

%%")A

)9A)))

))A9))%%%)$)%)

)"

$:%

"

))I9

)H)$

%)"-$91)

%":)

))%$$)$I"')

%)$))$%9)

)%1I%"'

9%$I%?)

%K

-%%9)9)

))I9))%E)

"9I)$

"))%

9))))%

$)

:"

)%)%)%)%

)1):))$

$$"25>%M6>)%

)%)=>%M)#>%%%

))%%")

9$"+%



:)%9H9

"!)%)

$)$))))

";)))$9%

):)%")%

)%")%%%)

$)$1$"))%%)$))))")))

%%)%))%%%)

%%)$:)"

@%)))$)2

%)%)$%)

)"))):))

)"@)$

$)))?11%)"

))%):%

$.;II9$9E"-9$)%)$%";%)

%)"

))))

))))1

I")))

$0%6"

0%6"!))!0"0%6"!))!0"0%6"!))!0"0%6"!))!0"

!0!0!0!0 ) ) ) )

')Q)=0> )Q1=>!Q)=0> :

Q)=0>

!Q=0> )

!Q=0> AA)

)=0> )

=0> )))

=0>

!=0>

)Q1=0>

')Q=> I

!Q=>

IQ=>

Q %=0>

%Q)

)Q)Q)

Q)

Q)

5) 5)

)) )



-0%69%)

%1)$09)%))$9

)))"$1))

)))1"

))0%6)))

$))"'%$)))K)%):)

))"

E$))))9%

)))"!)$

$%%)"-$$)%)

)))$))))))"

))$))

%?)"+))$)%)")

))$)))%)

1%:)

.$%"-$))

$))%%)AA)9)

))$)))))"-$

%$))))"

:))$)

9N9@9@H"))9:)

))):5

)))))"

"

9)9))))

$))

)"1)%

))))"

$)))"

C)$)%%)

=)>")

)$)))

)))):")

)))

)"

)))

)")))$$)

))")

%%9$))%

)"-$%)%9

)))$))5



$"-9))))%)

$)))$)))

$)))")

$%%)=!>))

1 1)"

9)$%))):"

09)

)$

%%)$)$)"

)%1%

"!%%))

)%$%))%"

))$)$$

$))))$"!

$$$$))"

) ) ) )

$))$)

)$0%#"

0%#".)-);%)"0%#".)-);%)"0%#".)-);%)"0%#".)-);%)"

$%)$

%%%"$$AA)

))))$)$)")):%9)$

"

))%- ))%- ))%- ))%-

-9$)%)

)))"

Normal ReportProduct Ship From Qty Shipped RevenueAxon East 1438 $235,000Axon West 2249 $480,000

Instrumented Report (add Out of Bounds Indicator to SELECT)Out of BoundsProduct Ship From Indicator Qty Shipped RevenueAxon East Abnormal 14 2,350$Axon East OK 1424 232,650$Axon West Abnormal 675 144,000$Axon West OK 1574 336,000$



;%

0%6$%1))%

%"0%&%

"

0%&")%0%6"0%&")%0%6"0%&")%0%6"0%&")%0%6"

$%)

$"-))):

)9$))%

)%:%"$$)

9$$))%$))"

)$)))).%"!

0%*$%%1:64/#"

0%*")$)"0%*")$)"0%*")$)"0%*")$)"

-))$)Q)

%%))):$%9))

)$)%1#*/*%)$$0%*"

$%)%

0.)%$)91

0%#"$)1$:%"

=0>

0.%

Key Fact Name Rating

2973 number_units Normal

2973 gross_dollars Normal

2973 discount_dollars Normal

2973 terms_dollars Normal

2973 revenue_dollars Normal

2973 return_dollars Normal

Key Fact Name Rating

3575 number_units Normal

3575 gross_dollars Normal

3575 discount_dollars Out of Bounds

3575 terms_dollars Normal

3575 revenue_dollars Normal

3575 return_dollars Normal



%%1%1%A%!

%)I$))H)9

9)$))))

%191"))

%=@@>")A)%

$%1)FAG1"991

%1)99$

0%,"

0%,"!$%1'%.0%,"!$%1'%.0%,"!$%1'%.0%,"!$%1'%.

""""

-0%,91$))A

))%1)%"

)1%%

$"-$$:

%9%1

%$)%19

%)9

)$)A)"

%@)C+

!$1),779$#7)"539777)"

):119)%))

)9$H)%539777%

)%))%"

))):"

)

=>

=.>

.

!

!

)

)))

0=0>

-=0> %)

-=0> A))

@@%-=0> $)%

)-=0>



:)):1)

%)$?))"%11

%9))):"

:)$

)))9))).A59$.

))";9):1

9$9%91A%I"$1%1

!;@!I!)!;@!;!I!9$$=5<=.A5>>R

=!;@!;!I!A=5<.>R!;@!I!R!;@!I!>"1%K

!$$C9))1

#))))

112

SELECT s.storename, p.departmentname, sum(f.sales)

FROM fact f, store s, product p, time t, accumulatingdept a

WHERE

(first, joins between tables... )

f.storekey = s.storekey and f.productkey = p.productkey and

f.timekey = t.timekey and s.storename = a.storename and

p.departmentname = a.departmentname and

=9)%$)))"""> t.full_date = #October 13, 2007# and

=91)))"""> HAVING ABS(sum(f.sales) - (1/a.N)*a.SUM_SALES) > 3*SQRT(a.VAR)

)C)".9!;@

!I!)!;@!;!I!"))%%))))"

$):$)1

9$)%$FC"G

))%$:2

@'))))I!!

)))$"@)

$"$)%)!

!I)?1+C-."-%

)=9@)))$

)!)>9)))J'0%

)))"-$9)?

))))"

)1%)$)%!I9

)%!;@!I!)!;@!;!I!H))%

)?))?:99

%)")$?)"



%)@I

-)))$9$I

9$))9$

):":))

$))%))

:"+$91)%9%))HI):

%))"

$)%)$)

)1:"0))$0%

69$$):99)9))

H)))")

)%)))$

%"

!!%!!%!!%!!%

)$$

%)%:"-

%$)9!!%:)$

)$#"&)"

)1%!!%)

:"))))

))%E?$1$)

))H"

)%)%)%)%

):)))))%)$)%$

)"')9:

%$))")$

:)2%%%9

))%)"

)%%I9)%

)H$)$))))I

"

%))

):9)%$I%)"$

9%$"!

)))9$I)))

"

'9):%%)

:9)")



)$)%):9

$)91)=->9)"

)1)):)9$

%"))9A

)99))%):

9$%)%):)

$"

an architecture for data quality1

Documents