preparing the data

Preparing the Data

What is Data?• Kumpulan obyek data dan

atributnya• Atribut adalah property atau

karakteristik suatu obyek▫ Contoh: warna mata,

temperature, dll▫ Atribut dikenal sebagai variable,

field, ataupun karakteristik• Kumpulan dari atribut

menggambarkan obyek▫ Obyek dikenal juga sebagai

record, point, case, sample, entitas

Tid Refund Marital Status

Taxable Income Cheat

1 Yes Single 125K No

2 No Married 100K No

3 No Single 70K No

4 Yes Married 120K No

5 No Divorced 95K Yes

6 No Married 60K No

7 Yes Divorced 220K No

8 No Single 85K Yes

9 No Married 75K No

10 No Single 90K Yes 10

Attributes

Objects

Attribute Values• Nilai atribut adalah angka2 atau symbol2 yg

diassign ke suatu atribut• Perbedaan antara atribut dan nilai atribut

▫Atribut yg sama dapat dipetakkan ke nilai atribut yg beda Misal: ketinggian dapat diukur dalam feet atau meter

▫Atribut yg beda dapat dipetakan ke himpunan nilai yg sama Contoh: nilai atribut untuk ID dan age adalah integer Tetapi property nilai atribut dapat berbeda:

ID tidak mempunyai batasan nilai maksimum dan minimum

Attribute Types•Ada jenis2 atribut yg berbeda:

▫Nominal Contoh: nomor ID, warna mata, kode pos

▫Ordinal Rangking/ tingkatan (contoh rasa dari kripik kentang dalam

skala 1-10), grade, tinggi dalam {tinggi, sedang, rendah}▫Interval

Contoh: tanggal kalender, temperature dalam Celsius atau Fahrenheit

▫Ratio Contoh: temperature dalam Kelvin, panjang, waktu, jumlah

Properties of Attribute Values /1• Jenis atribut tergantung pada properti berikut yg

mana dia miliki▫Distinctness: = ▫Order: < > ▫Addition: + - ▫Multiplication: * /

▫Nominal attribute: distinctness▫Ordinal attribute: distinctness & order▫Interval attribute: distinctness, order & addition▫Ratio attribute: all 4 properties

Properties of Attribute Values /2Attribute

TypeDescription Examples Operations

Nominal The values of a nominal attribute are just different names, i.e., nominal attributes provide only enough information to distinguish one object from another. (=, )

zip codes, employee ID numbers, eye color, sex: {male, female}

mode, entropy, contingency correlation, 2 test

Ordinal The values of an ordinal attribute provide enough information to order objects. (<, >)

hardness of minerals, {good, better, best}, grades, street numbers

median, percentiles, rank correlation, run tests, sign tests

Interval For interval attributes, the differences between values are meaningful, i.e., a unit of measurement exists. (+, - )

calendar dates, temperature in Celsius or Fahrenheit

mean, standard deviation, Pearson's correlation, t and F tests

Ratio For ratio variables, both differences and ratios are meaningful. (*, /)

temperature in Kelvin, monetary quantities, counts, age, mass, length, electrical current

geometric mean, harmonic mean, percent variation

Properties of Attribute Values / 3Attribute

LevelTransformation Comments

Nominal Any permutation of values If all employee ID numbers were reassigned, would it make any difference?

Ordinal An order preserving change of values, i.e., new_value = f(old_value) where f is a monotonic function.

An attribute encompassing the notion of good, better best can be represented equally well by the values {1, 2, 3} or by { 0.5, 1, 10}.Interval new_value =a * old_value + b

where a and b are constantsThus, the Fahrenheit and Celsius temperature scales differ in terms of where their zero value is and the size of a unit (degree).Ratio new_value = a * old_value Length can be measured in meters or feet.

Discrete and Continuous Attributes •Discrete Attribute

▫ Mempunyai himpunan nilai terbatas atau tak terbatas▫ Contoh: zip codes, himpunan kata dalam kumpulan dokumen▫ Sering direpresentasikan sbg variable integer▫ Note: binary attributes special case

•Continuos Attribute▫ Memiliki angka2 real sebagai nilai atribut▫ Contoh: temperatur, tinggi atau berat▫ Dapat diukur dan direpresentasikan menggunakan sejumlah

digit terbatas▫ Ciri khasnya direpresentasikan sebagai variable pecahan

Asymmetric Attributes• Hanya keberadaannya (non zero attribute value)

diperhatikan• Contoh:

▫ Kata-kata muncul di dokumen▫ Item-item muncul di transaksi customer

Document 1

season

timeout

lost

win

game

score

ball

play

coach

team

Document 2

Document 3

3 0 5 0 2 6 0 2 0 2

0

0

7 0 2 1 0 0 3 0 0

1 0 0 1 2 2 0 3 0

Types of data setsRecord

▫ Data Matrix▫ Document Data▫ Transaction Data

Graph▫ World Wide Web▫ Molecular Structures

Ordered▫ Spatial Data▫ Temporal Data▫ Sequential Data▫ Genetic Sequence Data

Important characteristics of structured data•Dimensionality

•Sparsity▫Hanya menghitung kemunculan

•Resolution▫Pola2 bergantung skala

Record Data•Data yg berisi kumpulan record, yg mana masing-

masing berisi suatu himpunan atribut yang ditentukan.Tid Refund Marital

Status Taxable Income Cheat

1 Yes Single 125K No

2 No Married 100K No

3 No Single 70K No

4 Yes Married 120K No

5 No Divorced 95K Yes

6 No Married 60K No

7 Yes Divorced 220K No

8 No Single 85K Yes

9 No Married 75K No

10 No Single 90K Yes 10

Data Matrix• Jika objek data mempunyai kumpulan atribut numerik yg ditentukan ,

kemudian data objek dapat dipandang sebagai titik dalam ruang multidimensional, di mana setiap dimensi merepresentasian suatu atribut yang berbeda.

• Seperti data set dapat direpresentasikan dengan suatu matrik m dengan n di mana ada m baris, satu dari setiap objek dan n kolom, satu untuk setiap atribut.

1.12.216.226.2512.65

1.22.715.225.2710.23

Thickness LoadDistanceProjection of y load

Projection of x Load

1.12.216.226.2512.65

1.22.715.225.2710.23

Thickness LoadDistanceProjection of y load

Projection of x Load

Document Data• Setiap document menjadi suatu ‘term’ vector,

▫ Setiap term adalah komponen (atribut) dari vector▫ Nilai setiap komponen adalah banyaknya waktu yg

berhubungan terms terdapat dalam document

Document 1

season

timeout

lost

win

game

score

ball

play

coach

team

Document 2

Document 3

3 0 5 0 2 6 0 2 0 2

0

0

7 0 2 1 0 0 3 0 0

1 0 0 1 2 2 0 3 0

Transaction Data• Jenis spesial dari data rekord , dimana

▫ Setiap record (transaksi) mencangkup kumpulan item-item

▫ Contoh: Toko penjualan bahan makanan. Sejumlah produk dibeli customer selama perjalanan pembelian merupakan suatu transaksi, namun produk yg dibeli merupakan item

TID Items

1 Bread, Coke, Milk

2 Beer, Bread

3 Beer, Coke, Diaper, Milk

4 Beer, Bread, Diaper, Milk

5 Coke, Diaper, Milk

Graph Data•Contoh: Generic graph and HTML Links

5

2

1 2

5

<a href="papers/papers.html#bbbb">Data Mining </a><li><a href="papers/papers.html#aaaa">Graph Partitioning </a><li><a href="papers/papers.html#aaaa">Parallel Solution of Sparse Linear System of Equations </a><li><a href="papers/papers.html#ffff">N-Body Computation and Dense Linear System Solvers

Chemical Data•Benzene Molecule: C6H6

Ordered Data /1•Sequence of

transaction

An element of the sequence

Items/Events

Ordered Data /2•Genomic sequence data

GGTTCCGCCTTCAGCCCCGCGCCCGCAGGGCCCGCCCCGCGCCGTCGAGAAGGGCCCGCCTGGCGGGCGGGGGGAGGCGGGGCCGCCCGAGCCCAACCGAGTCCGACCAGGTGCCCCCTCTGCTCGGCCTAGACCTGAGCTCATTAGGCGGCAGCGGACAGGCCAAGTAGAACACGCGAAGCGCTGGGCTGCCTGCTGCGACCAGGG

Ordered Data /3•Spatio-Temporal data

Average Monthly Temperature of land and ocean

Data Quality•Jenis masalah apa kualitas data?•Bagaimana kita dapat mendeteksi masalah

dengan data?•Apa yg dapat kita lakukan tentang masalah

ini?•Contoh masalah kualitas data:

▫Noise & outliers▫Missing Values▫Duplicate data

Noise• Mengacu pada modifikasi nilai original• Contoh: distorsi suara seseorang ketika berbicara

Two Sine Waves Two Sine Waves + Noise

Outliers /1• Outliers adalah

obyek data dengan karakteristik berbeda dengan kebanyakan data obyek lain dalam data set.

Outliers /2• Contoh: suatu data set merepresentasikan gambaran umur dengan 20 nilai yg

berbeda, ▫ Age = {3, 56, 23, 39, 156, 52, 41, 22, 9, 28, 139, 31, 55, 20, -67, 37, 11, 55, 45, 37}

• Maka parameter statistika yg berhubungan:▫ Mean = 39.9▫ Standard deviation = 45.65Jika kita memilih nilai threshold untuk distribusi normal data :Theshold = Mean ± 2 x Standard Deviation

maka seluruh data yg diluar range [-54.1, 131.2] adalah potential outliers. Dan oleh karena age >0, mungkin mengurangi range menjadi [0, 131.2]. Sehingga ada outlier berdasarkan kriteria yg diberikan: 156, 139dan -67

Dengan kemungkinan yg tinggi, dapat disimpulkan 3 data tersebut ada mistypo (data yg dimasukkan dengan penambahan digit atau tanda ‘-’)

Missing Values• Beberapa alasan missing values:

▫ Informasi tidak terkumpul(misal: orang2 menolak memberikan info umur dan berat mereka)

▫ Atribut mungkin tidak dapat diaplikasikan je semua kasus(misal: pendapatan tidak dapat diaplikasikan ke anak2)

• Mengatasi missing values:▫ Eliminasi obyek data▫ Mengestimasi missing value selama analisis▫ Mengganti dengan semua nilai kemungkinan (pembobotan

oleh kemungkinannya)

Duplicate Data•Data set mungkin terdapat obyek data yang

duplikat, atau hampir duplikasi dari yg lain▫Isu utama dengan menggabungkan sumber yg

berbeda2

•Contoh: orang yg sama dengan berbagai email address

•Data cleaning▫Proses perlakuan dengan isu data duplikasi

Data Preprocessing: Why is Needed?• Data di dunia riil cenderung kotor

▫ Incompete: kekurangan nilai atribut, kurang atribut ttt yg menarik, atau hanya berupa kumpulan data

▫ Noise: berisi errors atau outliers▫ Inconsistent: berisi berbeda format dalam code dan nama

• Data yg tidak berkualitas, tidak ada hasil2 mining yg berkualitas▫ Keputusan kualitas harus didasarkan pada data kualitas▫ Data warehouse memerlukan integritas konsisten dari data

kualitas

Major task in Data Preprocessing•Data Cleaning•Data Integration•Data Transformation•Data Reduction•Data Discretisation

Forms of Data Preprocessing

Transforming Data•Centering

▫Mengurangi setiap data dengan rata2 dari setiap atribut

•Normalization▫Hasil dari centering dibagi dengan standard deviasi

•Scaling▫Merubah data sehingga berada dalam skala tertentu