analisis metode generalized ridge regression …digilib.unila.ac.id/31705/3/skripsi tanpa bab...

49
ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI MASALAH MULTIKOLINEARITAS (Skripsi) Oleh JELLI KIKI OKTRANSISKA NAINGGOLAN JURUSAN MATEMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS LAMPUNG BANDAR LAMPUNG 2018

Upload: doanhanh

Post on 15-Jun-2019

222 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR)

DALAM MENGATASI MASALAH MULTIKOLINEARITAS

(Skripsi)

Oleh

JELLI KIKI OKTRANSISKA NAINGGOLAN

JURUSAN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS LAMPUNG

BANDAR LAMPUNG

2018

Page 2: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

ABSTRAK

ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR)

DALAM MENGATASI MASALAH MULTIKOLINEARITAS

Oleh

JELLI KIKI OKTRANSISKA N

Tujuan dari penelitian ini adalah untuk mengetahui performa Generalized Ridge

Regression (GRR) dalam mengatasi multikolinearitas dan membandingkan nilai

dugaan GRR dan Metode Kuadrat Terkecil (MKT). Data yang digunakan adalah

data simulasi dan dirancang untuk memiliki multikolinearitas penuh dari semua

variabel bebas. Performa GRR dapat dihitung dengan nilai MSE dan AMSE.

Hasil analisis menunjukkan bahwa GRR dapat mengatasi multikolinearitas lebih

baik dari pada MKT terutama pada jumlah data yang lebih besar.

Keyword: multikolinearitas, Metode Kuadrat Terkecil, Generalized Ridge

Regression

Page 3: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

ABSTRACT

ANALYSIS OF GENERALIZED RIDGE REGRESSION (GRR) METHOD

TO SOLVE MULTICOLINEARITY PROBLEM

By

JELLI KIKI OKTRANSISKA N

The purpose of this study is to evaluate the performance of Generalized Ridge

Regression (GRR) in handling multicolinearity and compare its estimates with

GRR and Ordinary Least Square (OLS). Simulation data were used and designed

to have full multicolinearity among all independent variables. The performance of

GRR is evaluated by MSE and AMSE values. The results show that GRR can

solve the multicolinearity better than OLS particularly in greater sample sizes.

Keyword: multicolinearity, Ordinary Least Square, Generalized Ridge

Regression

Page 4: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR)

DALAM MENGATASI MASALAH MULTIKOLINEARITAS

Oleh

JELLI KIKI OKTRANSISKA N

Skripsi

Sebagai Salah Satu Syarat untuk Mencapai Gelar

SARJANA SAINS

pada

Jurusan Matematika

Fakultas Matematika dan Ilmu Pengetahuan Alam

Universitas Lampung

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS LAMPUNG

BANDAR LAMPUNG

2018

Page 5: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI
Page 6: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI
Page 7: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI
Page 8: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

RIWAYAT HIDUP

Penulis bernama lengkap Jelli Kiki Oktransiska N. lahir di Rawajitu, Tulang

Bawang pada 25 Oktober 1995. Penulis merupakan anak kedua dari 5

bersaudara, pasangan bapak H. Nainggolan dan ibu L. Sipayung.

Penulis menempuh pendidikan dasar di SDN 01 Medasari, Kecamatan

Medasari, Tulang Bawang dari tahun 2002-2003. Kenaikan kelas 3 SD penulis

pindah sekolah ke SDS Citra Insani, Kecamatan Gedung Karya Jitu, Tulang

Bawang dari tahun 2003-2008. Kemudian melanjutkan pendidikan di SMPN 01

Rawajitu Timur, Tulang Bawang dan lulus pada tahun 2011. Kemudian

menempuh pendidikan di SMA Fransiskus Bandar Lampung dan lulus pada tahun

2014.

Pada tahun 2014, penulis diterima sebagai mahasiswi di Jurusan Matematika

Fakultas Matematika dan Ilmu Pengetahuan Alam Universitas Lampung melalui

jalur Seleksi Nasional Masuk Perguruan Tinggi Negeri (SNMPTN). Selain

menjalani pendidikan akademiknya, penulis juga mengikuti organisasi kampus

yaitu POM-MIPA (Persekutuan Doa Oikumene Mahasiswa MIPA) sebagai

anggota dan pada semster 3 penulis mendapatkan beasiswa KSE Unila. Penulis

medapat beasiswa KSE UNILA selama II periode, periode I sebagai bendahara

divisi Kominfo dan periode II sebagai anggota KWU (Kewirausahaan). Penulis

Page 9: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

juga pernah berkesempatan mengikuti pelatihan Kepemimpinan Camp 1 Batch 4

BPJS Ketenagakerjaan. Pada tahun 2017 penulis melakukan Kerja Praktik di

Kantor Wilayah BRI Bandar Lampung dan sebagai salah satu bentuk pengabdian

kepada masyarakat penulis melaksanakan Kuliah Kerja Nyata di Desa Sidomulyo,

Kecamatan Sidomulyo, Kabupaten Lampung Selatan.

Page 10: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

KATA INSPIRASI

“Segala perkara dapat kutanggung di dalam Dia yang memberi kekuatan

kepadaku ”

(Filipi 4:13)

“Bersukacitalah dalam pengharapan, sabarlah dalam kesesakan,

dan bertekunlah dalam doa“.

(Roma 12:12)

“Kegagalan adalah satu-satunya kesempatan untuk memulai lagi dengan

lebih cerdik”

(Henry Ford)

Page 11: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

PERSEMBAHAN

Karyaku yang sederhana ini kupersembahkan kepada:

Bapak dan Mama

Terima kasih kepada Bapak dan Mama yang selalu mendo’akan kesuksesanku,

memberi semangat, nasihat, dukungan serta kasih sayang yang tiada henti.

Kakakku Yeni dan Adik-adikku Novri, Selina, Ales

Terima kasih kepada kakakku Yeni dan adik-adikku novri, selina, ales yang

selalu memberikan semangat, do’a, dan motivasi yang sangat berharga.

Sahabat-sahabatku Citra, Febi, Ana, dan Icha

Terima kasih kepada para sahabatku yang selalu memberikan semangat, do’a, dan

motivasi, serta kenangan indah selama ini.

Almamater dan Negeriku

Page 12: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

SANWACANA

Puji syukur penulis panjatkan kehadapan Tuhan Yang Maha Esa atas

perlindungan dan segala kemudahan yang diberikan-Nya, sehingga penyusunan

tugas akhir yang berjudul ” Analisis Metode Generalized Ridge Regression

(GRR) dalam Mengatasi Masalah Multikolinearitas” ini dapat terselesaikan

dengan baik dan tepat waktu.

Dalam penyusunan tugas akhir ini, penulis banyak mendapatkan bantuan,

semangat, dan dorongan positif dari semua pihak baik secara langsung maupun

tidak langsung. Pada kesempatan ini penulis mengucapkan rasa terima kasih yang

sebesar-besarnya kepada :

1. Ir. Netti Herawati, M.Sc., Ph.D., sebagai pembimbing I, yang telah banyak

memberikan bimbingan, saran dan nasihat yang sangat membantu bagi penulis

dalam penulisan tugas akhir ini.

2. Nusyirwan, S.Si, M.Si, sebagai pembimbing II yang senantiasa memberikan

bimbingan, saran dan motivasi yang sangat membantu penulis dalam

penyempurnaan penulisan tugas akhir ini.

3. Eri Setiawan, S.Si, M.Si, sebagai dosen penguji yang senantiasa memberikan

saran yang sangat membantu dalam penyempurnaan penulisan tugas akhir ini.

Page 13: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

4. Amanto, S.Si, M.Si, sebagai pembimbing akademik yang telah memberikan

masukan selama penulis menempuh perkuliahan di jurusan ini.

5. Prof. Dra. Wamiliana, M.A., Ph.D., sebagai Ketua Jurusan Matematika FMIPA

Universitas Lampung.

6. Seluruh dosen Jurusan Matematika FMIPA Universitas Lampung atas

ilmu yang diberikan selama perkuliahan.

7. Kedua orang tua beserta kakak dan adik-adik tercinta yang senantiasa

memberikan dukungan, perhatian, dan selalu memfasilitasi segala kebutuhan

yang diperlukan penulis.

8. Sahabat-sahabatku, Citra, Febi, Ana, dan Icha serta semua teman-teman

angkatan 2014, terima kasih untuk canda tawa, dukungan dan bantuan kalian

selama ini.

9. Keluarga Besar Paguyuban KSE Unila yang senantiasa memberikan semangat.

10. Kakak-kakak dan adik-adik kelas di jurusan Matematika serta semua pihak

yang telah memberikan dukungan dalam penyusunan tugas akhir ini.

Penulis menyadari dalam penyusunan tugas akhir ini sangat jauh dari sempurna,

saran dan kritik yang membangun sangat diharapkan agar penyusunan tugas akhir

ini menjadi lebih baik.

Bandar Lampung, Mei 2018

Penulis

Page 14: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

DAFTAR ISI

Halaman

DAFTAR TABEL ............................................................................................... xv

DAFTAR GAMBAR ........................................................................................ xvii

I. PENDAHULUAN ...........................................................................................1

1.1 Latar Belakang dan Masalah ..................................................................... 1

1.2 Tujuan Penelitian ....................................................................................... 2

1.3 Manfaat Penelitian .................................................................................... 3

II. TINJAUAN PUSTAKA .................................................................................4

2.1 Matriks dan Operasi Matriks ..................................................................... 4

2.1.1 Definisi dan Hasil Matriks ............................................................... 4

2.1.2 Operasi Matriks ............................................................................... 5

2.1.3 Trace Matriks ................................................................................... 5

2.1.4 Invers Matriks .................................................................................. 5

2.1.5 Matriks-Matriks Khusus .................................................................. 6

2.1.6 Rank Matriks .................................................................................... 7

2.1.7 Nilai Eigen dan Vektor Eigen .......................................................... 8

2.1.8 Diagonalisasi .................................................................................... 9

2.1.9 Dekomposisi Spektral .................................................................... 10

2.2 Ukuran Pemusatan dan Penskalaan (Centering dan Scaling) ................. 10

2.3 Regresi Linear Berganda ......................................................................... 13

2.4 Metode Kuadrat Terkecil (MKT) ............................................................. 15

2.5 Multikolinearitas ....................................................................................... 19

2.5.1 Konsekuensi Multikolinearitas ...................................................... 19

2.5.2 Mendeteksi Adanya Multikolinearitas........................................... 20

2.5.3 Cara Mengatasi Multikolinearitas ................................................. 21

2.6 Generalized Ridge Regression (GRR) ...................................................... 22

2.7 Pemilihan Nilai Konstanta Bias yang Optimal .................................... 25 2.8 Mean Square Error (MSE) ....................................................................... 27

Page 15: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

III. METODOLOGI PENELITIAN .................................................................28

3.1 Waktu dan Tempat Penelitian.......................................................... ........ 28

3.2 Data Penelitian ......................................................................................... 28

3.3 Metode Penelitian .................................................................................... 29

IV. HASIL DAN PEMBAHASAN ....................................................................31

4.1 Kolinearitas dan VIF Antarvariabel Bebas Data Simulasi...................... 31

4.2 VIF Antarvariabel Bebas Setelah Dilakukan Analisis GRR................. . 33

4.3 Analisis Metode GRR dan MKT .......................................................... . 34

V. KESIMPULAN ............................................................................................ 45

DAFTAR PUSTAKA

LAMPIRAN

Page 16: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

DAFTAR TABEL

Tabel Halaman

1. Korelasi dan VIF Antarvariabel Bebas dengan n=25 ......................................31

2. Korelasi dan VIF Antarvariabel Bebas dengan n=50 ......................................32

3. Korelasi dan VIF Antarvariabel Bebas dengan n=75 ......................................32

4. Nilai VIF Setelah Dilakukan Analisis metode GRR pada n=25, 50, dan 75 ...33

5. Nilai dan MSE dari setiap Metode MKT dan GRR pada n= 25 .................35

6. Nilai dan MSE dari setiap Metode MKT dan GRR pada n= 50 .................36

7. Nilai dan MSE dari setiap Metode MKT dan GRR pada n= 75 .................37

8. Nilai AMSE Metode MKT dan GRR pada n=25,50, dan 75 ...........................39

Page 17: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

DAFTAR GAMBAR

Gambar Halaman

1. Diagram nilai MSE metode MKT dan GRR untuk ......................................40

2. Diagram nilai MSE metode MKT dan GRR untuk ......................................40

3. Diagram nilai MSE metode MKT dan GRR untuk ......................................41

4. Diagram nilai MSE metode MKT dan GRR untuk ......................................42

5. Diagram nilai MSE metode MKT dan GRR untuk ......................................42

6. Diagram nilai MSE metode MKT dan GRR untuk ......................................43

7. Diagram nilai AMSE metode MKT dan GRR pada n=25, 50, dan 75 .............44

Page 18: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

1

I. PENDAHULUAN

1.1 Latar Belakang dan Masalah

Analisis regresi adalah suatu teknik statistik untuk memodelkan dan menganalisis

hubungan antara variabel bebas dan variable terikat.Model regresi adalah model yang

menyatakan hubungan antara variabel bebas dan variabel terikat. Model regresi yang

umumnya digunakan adalah model regresi linier sederhana dan model regresi linier

berganda. Model regresi linear berganda adalah model linier yang menghubungkan

antara variabel terikat dengan lebih dari satu variabel bebas.

Pada umumnya, estimasi parameter pada model regresi linier berganda menggunakan

metode kuadrat terkecil (MKT) yang menghasilkan estimasikuadrat terkecil.Estimasi

kuadrat terkecilyang dihasilkan oleh MKT adalah estimasi parameter model regresi

dengan sifat tak bias dan variansi minimum. MKT akan dapat mengestimasi

parameter dengan baik jika diantara variabel bebasnya tidak saling bergantung linier.

Multikolinieritas dalam model regresi linear berganda adalah keadaan dimana

variabel-variabel bebasnya hampir bergantung linear. Adanya multikolinieritas

Page 19: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

2

menyebabkan pemakaian MKT menjadi kurang tepat, karena variansi estimasi

parameter regresinya menjadi besar, sehingga estimasi parameter regresinya tidak

stabil. Multikolinieritas yang terjadi pada model regresi linier berganda juga dapat

menyebabkan salah tanda pada estimasi parameter regresi dan interpretasi terhadap

model menjadi kurang tepat.

Ada beberapa teknik yang bisa digunakan untuk mengatasi masalah multikolinieritas,

antara lain adalah pengambilan data tambahan, respesifikasi model, dan pemakaian

metode-metode estimasi alternatif selain MKT. Hoerl dan Kenard (1970),

memperkenalkan metode alternatif estimasi parameter model regresi linier berganda

yang dikenal dengan metode Generalized Ridge Regression (GRR). Metode ini

adalah pengembangan dari metode regresi ridge, jika dalam metode regresi ridge

hanya terdapat satu nilai untuk konstanta bias k, maka dalam metode GRR, terdapat

konstanta bias sebanyak jumlah variabel independennya. Dalam skripsi ini, penulis

akan membahas tentang estimasi metode GRR sebagai estimasi parameter pada

model regresi linier berganda untuk mengatasi masalah multikolinieritas.

1.2 Tujuan Penelitian

Tujuan dari penelitian ini adalah:

1. Untuk mengetahui metode GRR dalam mengatasi multikolinearitas.

2. Untuk mengetahui perbandingan efektivitas metode GRR dan metode MKT

dalam mengatasi multikolinieritas.

Page 20: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

3

1.3 Manfaat Penelitian

Manfaat dari penelitian ini adalah:

1. Mengetahui salah satu metode regesi yang dapat digunakan untuk mengatasi

masalah multikolinearitas.

2. Menambah khazanah keilmuan statistika terutama dalam analisis data dengan

menggunakan metode GRR.

Page 21: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

4

II. TINJAUAN PUSTAKA

2.1 Matriks dan Operasi Matriks 2.1.1 Definisi dan notasi matriks

Matriks adalah himpunan skalar yang disusun / dijajarkan secara khusus dalam

bentuk baris dan kolom sehingga membentuk empat persegi panjang atau persegi.

Sebuah matriks dengan hanya satu kolom disebut matriks kolom (vektor kolom), dan

sebuah matriks dengan hanya satu baris disebut matriks baris (vektor baris). Matriks

dan vektor dinotasikan dengan huruf bercetak tebal. Suatu matriks � berukuran � × �

didefinisikan sebagai susunan angka-angka dengan m baris dan n kolom, yang

anggotanya ��� dimana � terletak pada baris ke-i dan kolom ke-j dari matriks �

tersebut. Matriks � dapat dituliskan sebagai berikut :

�(���) = �

��� ��� ⋯ ���

��� ��� ⋯ ���

⋮���

⋮���

⋱ ⋮⋯ ���

� (1)

Sebuah matriks dikatakan sebagai matriks persegi, jika matriks tersebut berukuran

� × �, yang artinya matriks tersebut memiliki jumlah baris dan jumlah kolom yang

sama (Anton, 2005).

Page 22: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

5

2.1.2 Operasi Matriks

Penjumlahan dari dua matriks � dan � terdefinisi jika kedua matriks tersebut

berukuran sama. Misalkan � = ����� dan � = ����� adalah matriks berukuran � × �

maka penjumlahan dari matriks � dan � adalah � + � = ���� + ���� dan hasil

perkalian antara skalar � dengan matriks � = ����� adalah �� = �� = ������. Jika �

adalah sebuah matriks � × p dan � adalah sebuah matriks p × n, maka hasil kali ��

adalah matriks � × n. Untuk mencari entri dalam baris i dan kolom ke-j dari ��,

pilih baris i dari matriks � dan kolom j dari matriks �. Kalikan entri-entri yang

berpadanan dari baris dan kolom secara bersama-sama dan kemudian jumlahkan hasil

kalinya (Anton, 2005).

2.1.3 Trace Matriks

Jika � adalah suatu matriks bujur sangkar, maka trace dari � dinyatakan dengan

tr(�), didefinisikan sebagai jumlah entri-entri pada diagonal utama �.

��(�) = ∑ ��� = ��� + ��� + ⋯ . . +������� (2)

Trace � tidak terdefinisi jika � bukan matriks bujur sangkar (Anton, 2005).

2.1.4 Invers Matriks

Menurut Anton (2005), Jika � adalah sebuah matriks bujur sangkar, dan jika sebuah

matriks � yang berukuran sama dapat ditentukan sedemikian sehingga �� = �� =

Page 23: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

6

�, maka � disebut dapat dibalik dan � disebut invers dari �. Jika � adalah suatu

matriks yang dapat dibalik, maka

��� =�

���(�)���(�) (3)

2.1.5 Matriks-Matriks Khusus

Menurut Anton (2005), dalam matriks dikenal beberapa istilah yaitu:

1. Matrik nonsingular dan singular

Jika adalah sebuah matriks bujur sangkar, dan jika � adalah sebuah matriks yang

berukuran sama dengan � dan memenuhi �� = �� = �, maka matriks �

dikatakan nonsingular atau invertible dan matriks � disebut invers dari �. Jika

tidak terdapat matriks � yang memenuhi persamaan tersebut, maka � dikatakan

matriks singular.

2. Matriks Diagonal

Matriks bujur sangkar yang semua entri nondiagonal utamanya nol disebut

matriks diagonal. Suatu matriks diagonal umum � berukuran n x n dapat ditulis

sebagai

� = �

�� 0 ⋯ 00 �� ⋯ 0⋮0

⋮0

⋱ ⋮⋯ ��

� (4)

Suatu matriks diagonal mempunyai invers jika dan hanya jika semua entri

diagonalnya bernilai tidak nol.

Page 24: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

7

3. Matriks Simetris

Sebuah matriks � disebut matriks simetris jika:

� = �� (5)

Jika � dan � adalah matriks-matriks simetris dengan ukuran yang sama, dan jika

� adalah sembarang skalar, maka :

1) �� simetris

2) � + � dan � − � simetris

3) �� dan �� adalah simetris

4. Matriks Ortogonal

Suatu matriks bujur sangkar � dengan sifat

�� = ��� (6)

disebut suatu matriks ortogonal. Teorema matriks ortogonal sebagai berikut:

1) Invers dari suatu matriks ortogonal adalah ortogonal

2) Hasil kali matriks-matriks ortogonal adalah ortogonal

3) Jika � ortogonal, maka det( �) = 1 atau det( �) = −1

2.1.6 Rank Matriks

Rank dari suatu matriks � yang berukuran � × �didefinisikan sebagai jumlah kolom

dari matriks � yang bebas linier, atau jumlah baris dari matriks � yang bebas linier.

Matriks � berukuran � × �, maka �(�) ≤ min (�, �) dimana �(�) adalah notasi

dari rank(�). Matriks � berukuran � × � dikatakan full rank jika �(�)= min (�, �).

Page 25: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

8

Matriks � berukuran � × � dikatakan full colomn rank jika �(�)= �. Matriks �

berukuran � × � dikatakan full row rank jika �(�) = �.

2.1.7 Nilai Eigen dan Vektor Eigen

Eigen dalam bahasa Jerman berarti asli, jadi nilai eigen adalah nilai asli atau nilai

karakteristik. Jika � adalah sebuah matriks �� , maka sebuah vektor tak nol � pada

�� disebut vektor eigen (eigen vector) dari � jika �� adalah kelipatan skalar dari �

dengan �� =�� untuk suatu skalar �. Skalar � disebut nilai eigen (eigenvalue) dari �,

dan � dinamakan vektor eigen dari � yang bersesuaian dengan �. Untuk memperoleh

nilai eigen dari matriks � yang berukuran �� ditulis dalam bentuk sebagai berikut:

�(���) = �

��� ��� ⋯ ���

��� ��� ⋯ ���

⋮���

⋮���

⋮⋯ ���

� , �(���) = � =

⎣⎢⎢⎢⎡1 0 0 ⋯ 00 1 0 ⋯ 00⋮0

0⋮0

1⋮0

0

0⋮1⎦

⎥⎥⎥⎤

, � =

⎣⎢⎢⎢⎡��

����

⋮��⎦

⎥⎥⎥⎤

(7)

�� = ��, � ≠ 0

�� = ���

�� − ��� = 0

(� − ��)� = 0 (8)

Agar � dapat menjadi nilai eigen, harus terdapat satu solusi tak nol dari persamaan

(8). Persamaan ini memiliki solusi tak nol jika dan hanya jika � ≠ 0, |� − � �| = 0.

Persamaan ini disebut persamaan karakteristik matriks �, skalar-skalar yang

memenuhi persamaan ini adalah nilai-nilai eigen A. Nilai � diperoleh dengan

menyelesaikan persamaan karakteristik |� − ��| = 0.

Page 26: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

9

��� − � ��� ⋯ ���

��� ��� − � ⋯ ���

⋮���

⋮��� ⋯

⋮��� − �

� = 0 (9)

Jika nilai eigen �� disubstitusi pada persamaan (� − � �)� = 0, maka vektor eigen

adalah solusi dari (� − �� �)�� = 0 (Anton, 2005).

2.1.8 Diagonalisasi

Suatu matriks bujur sangkar dikatakan dapat didiagonalkan jika ada suatu matriks �

yang dapat dibalik sedemikian sehingga ����� =� adalah suatu matriks diagonal,

sehingga matriks � dikatakan mendiagonalkan �. Misalkan � merupakan matriks

berukuran n x n dan dapat didiagonalkan, maka matriks � dapat dibentuk menjadi

������ = �, dimana

����� = � = �

�� 0 ⋯ 00 �� ⋯ 0⋮0

⋮0

⋱ ⋮⋯ ��

� (10)

Dengan �� merupakan nilai eigen ke-i yang berpadanan dengan vektor eigen �����⃗ ,

i=1,2,3..,n. Diketahui sebuah matriks � berukuran � × �. Jika terdapat matriks

� ortogonal sedemikian sehingga matriks ����� = ���� adalah suatu matriks

diagonal, maka � disebut dapat didiagonalkan secara ortogonal dan � disebut

mendiagonalkan � secara orthogonal (Anton, 2005).

Page 27: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

10

2.1.9 Dekomposisi Spektral

Jika � adalah matriks simetris, � adalah matriks yang kolom-kolomnya dibentuk oleh

vektor eigen dari � dan � adalah matriks diagonal dimana entri ke-j pada diagonal

utamanya adalah nilai eigen dari � yang bersesuaian dengan vektor eigen kolom ke-j.

Matriks � dan � didefinisikan sebagai :

� = ���, ��, … , ��� ; � = �

�� 0 ⋯ 00 �� ⋯ 0

⋮0

⋮0

⋱0

⋮��

� (11)

dimana ��, ��, … , �� adalah vektor eigen dari �. Dekomposisi spektral dari matriks �

dinyatakan sebagai � = ���′ dimana � adalah matriks ortogonal (Anton, 2005).

2.2 Ukuran Pemusatan dan Penskalaan (Centering and Scaling)

Pemusatan dan penskalaan data merupakan bagian dari pembakuan (standardized)

peubah. Hal ini dilakukan untuk meminimumkan kesalahan pembulatan dalam

perhitungan dan menjadikan satuan koefisien regresi dapat dibandingkan. Pemusatan

merupakan perbedaan antara masing-masing pengamatan dengan rata-rata dari semua

pengamatan untuk peubah. Sedangkan penskalaan meliputi gambaran pengamatan

pada kesatuan (unit) standar deviasi dari pengamatan untuk peubah. Dalam

persamaan regresi yang memiliki model :

�� = �� + ����� + ����� + ⋯ + ����� + �� (12)

Page 28: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

11

Persamaan tersebut di atas dapat dibentuk menjadi :

�� = �� + ��(��� − ��) + ���� + ��(��� − ��) + ���� + ⋯ + ��(��� −

��) + ���� + �� (13)

�� = (�� + ���� + ⋯ + ����) + ��(��� − ��)+. . . +��(��� − ��) + �� (14)

Berdasarkan rumus untuk mendapatkan �� :

�� = � − ���� − ���� − ⋯ − ���� (15)

maka berlaku :

� = �� − ���� − ���� − ⋯ − ���� (16)

sehingga dari persamaan (16) :

�� = (�� + ���� + ���� … + ����) + ��(��� − ��) + ��(��� −

��). . . + ��(��� − ��) + �� (17)

�� − (�� + ���� + ���� … + ����) = ��(��� − ��) + ��(��� −

��). . . +��(��� − ��) + �� (18)

�� − � = ��(��� − ��) + ��(��� − ��). . . +��(��� − ��) + �� (19)

dengan:�� = �� − �

��� = ��� − ��

maka didapatkan persamaan baru :

�� = ����� + ����� + ⋯ . +����� + �� (20)

Prosedur untuk membentuk persamaan pertama menjadi persamaan terakhir disebut

dengan prosedur pemusatan (Centering). Prosedur ini mengakibatkan hilangnya

��(intercept) yang membuat perhitungan untuk mencari model regresi menjadi lebih

sederhana. Bila dari persamaan (20) dibentuk persamaan :

��∗ = ����� + ����� + ⋯ . +����� + ��

∗ (21)

Page 29: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

12

dengan:

��∗ =

��

��=

����

��

��� =���

��

maka prosedur ini disebut dengan prosedur Scaling atau penskalaan (Chatterjee,

2006).

Hubungan penduga parameter regresi dalam model standarisasi dengan penduga

parameter regresi dalam model awal adalah:

��� = ���∗ �

��

���

��� = ���∗ �

��

���

��� = ���∗ �

��

��� (22)

��� = �� − ����̅� − ����̅� − ⋯ − ����̅� (23)

dengan :

�� = �∑ (�����)��

���

���

�� = �∑ (�����̅�)��

���

��� , � = 1, … , �

���= penduga parameter regresi dalam model awal

���∗ = penduga parameter regresi dalam model standarisasi

�� = galat baku dari data awal Y

�� = galat baku dari data awal X ke-k

Page 30: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

13

2.3 Regresi Linier Berganda

Analisis regresi merupakan alat statistik yang memanfaatkan hubungan antara dua

atau lebih peubah kuantitatif sehingga salah satu peubah bisa diramalkan dari peubah-

peubah lainnya. Pada analisis regresi akan dihasilkan sebuah model regresi. Model

regresi merupakan suatu cara formal untuk mengekspresikan dua unsur penting suatu

hubungan statistik, yaitu suatu kecenderungan berubahnya peubah tidak bebas Y

secara sistematis sejalan dengan berubahnya peubah bebas X dan perpencaran titik-

titik di sekitar kurva hubungan statistik itu. Selain melihat pola hubungan antar

peubah, analisis regresi juga bertujuan untuk melihat kontribusi relatif dari masing-

masing peubah bebas terhadap peubah tak bebas dan melakukan prediksi terhadap

nilai dari peubah tak bebas dari peubah bebas yang diketahui.

Menurut Montgomery (2001), asumsi-asumsi yang harus dipenuhi dalam metode

regresi linear terdapat hubungan linear antara peubah tak bebas Y dengan peubah

bebas X, galat (ε) menyebar normal dengan nilai tengah 0 dan ragam konstan ��, dan

tidak terdapat korelasi antar sisaan. Selain itu pada analisis regresi linear berganda

terdapat asumsi yang harus dipenuhi yaitu tidak terjadi multikolinearitas. Analsis

regresi linear yang melibatkan lebih dari satu peubah bebas dinamakan analsis regresi

linear berganda. Model umum dari regresi linear berganda adalah

�� = �� + ����� + ����� + ⋯ . +����� + �� (24)

Page 31: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

14

dengan:

y = nilai amatan dari peubah tak bebas;

� = parameter regresi atau koefisien regresi;

� = peubah bebas yang diketahui nilainya;

� = sisaan yang saling bebas dan menyebar normal : N(0,��);

� = 1,2,…,�

Persamaan regresi linear berganda dapat dinyatakan dalam notasi matriks. Notasi

matriks adalah bentuk perluasan dari model regresi linear secara umum. Notasi

matriks dijabarkan dengan tujuan aljabar matriks dapat mengindikasikan langkah-

langkah penting dalam menemukan solusi. Berikut ini adalah notasi matriks dalam

model regresi linear:

� = �� + � (25)

dengan:

� = �

��

��

⋮��

� � = �

1 ��� ��� ⋯ ���

1 ��� ��� ⋯ ���

⋮1

⋮���

⋮���

⋱⋯

⋮���

� � = �

��

��

⋮��

� (26)

dengan � adalah vektor � × 1dari observasi-observasi pada variabel terikat, � adalah

matriks � × � dari observasi-observasi pada k-variabel bebas, � adalah vektor � × 1

dari koefisien regresi dan � adalah vektor � × 1 dari error dengan ��~���(0, ��).

Model regresi ini dapat digunakan untuk memprediksi nilai variabel terikat apabila

diberikan nilai dari variabel bebas. Oleh karena itu, dugaan model yang didapatkan

Page 32: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

15

sebaiknya memenuhi kriteria model yang baik sehingga mampu digunakan sebagai

prediksi dengan error yang kecil. Berdasarkan Teorema Gauss-Markov, apabila

asumsi error di atas dipenuhi, maka dugaan parameter yang diperoleh adalah dugaan

yang BLUE (Best Linear Unbiased Estimator).

2.4 Metode Kuadrat Terkecil (MKT)

Metode pendugaan yang digunakan untuk menduga koefisien regresi dalam analisis

regresi berganda adalah metode kuadrat terkecil. Metode ini bertujuan untuk

meminimumkan jumlah kuadrat dari error. Jumlah kuadrat dari error dinyatakan

sebagai berikut:

�(�) = ∑ ����

��� = ���

= (� − ��)�(� − ��)

= ��� − ����� − ���� + ������

= ��� − ������ + ������ (27)

Catatan: ����� adalah matriks 1 × 1 atau suatu skalar dan nilai transposenya

(�����)� = ���� adalah skalar yang sama.

Dalam metode kuadrat terkecil harus dipenuhi:

�����

���

��= −���� + ������ = 0 (28)

Sehingga diperoleh:

����� = ��� (29)

Page 33: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

16

�� = (���)����� (30)

Matriks ��� dari persamaan (30) diatas adalah matriks simetris (� + 1) × (� + 1)

yang mana elemen-elemen diagonalnya adalah jumlah kuadrat dari elemen-elemen

kolom dalam matriks � dan elemen-eleman diluar diagonal adalah jumlahan hasil

kali � dari elemen-elemen dalam kolom yang sama. Pada dasarnya ��� mempunyai

peranan penting dalam sifat-sifat penduga � dan sering menjadi faktor utama dalam

kesuksesan atau kegagalan dugaan MKT.

Berikut ini akan dibahas karakteristik dari dugaan MKT, yaitu sifat tak bias, dan

variansi dari dugaan MKT.

1. Tak Bias

�(��) = �[(�′�)���′y]

= �[(�′�)���′(�� + �)]

= �[{(�′�)���′��} + {(�′�)���′�}]

= �[(�′�)���′��] + �[(�′�)���′�]

= (�′�)���′��(�) + (�′�)���′�(�) (31)

Karena �(�) = � dan (�′�)���′� = I maka

�(��) = � (32)

Jadi �� merupakan penduga tak bias bagi �.

2. Matriks Variansi-Kovariansi dugaan MKT

������� = � ���� − �������

��� − ������� (33)

Karena �� adalah penaksir tak bias untuk �, (��) = �, maka

Page 34: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

17

������� = � ���� − ����� − ���� (34)

Persamaan � = �� + � disubtitusikan ke persamaan �� = (���)����� diperoleh

�� = (���)�����

= (���)����(�� + �)

= (���)������ + (���)�����

= � + (���)�����

�� − � = (���)����� (35)

Dengan menyubtitusikan Persamaan (2.8) pada Persamaan (2.7) diperoleh

matriks kovariansi dari ��, yaitu :

������� = �(�(���)�������(���)�������)

= �(���)��������((���)��)′)

= (���)�����(���)�(���)�� (36)

Karena ���(�) = ����′� = �2� maka matriks kovariansi dari �� dapat ditulis

sebagai berikut :

������� = (���)�����2��(���)��

= �2(���)�����(���)��

= ����′��−�

(37)

dimana ����′��−�

adalah matriks simetris berukuran p× p dimana entri diagonal

utamanya adalah variansi dari ��� dan entri selain diagonal utamanya adalah

kovariansi antara ��� dan ��� (Montgomery, 2001).

Page 35: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

18

3. Dugaan untuk ��

Pada praktiknya, �� tidak diketahui, sehingga nilai �� harus diduga

menggunakan data. Pendugaan untuk �� adalah ����� (Residual Mean Square)

yang didapat dari ����� (Residual Sum of Square) dibagi dengan derajat

bebasnya.

����� = ∑ ����

��� = ���

= �� − ������� − ����

= ��� − ������ − ����� + (���)�(���)

= ��� − ������ − ������ + ��������

= �′� − ������� + ��������

= �′� − ������� + ������

= �′� − ������

����� =�����

��� (38)

dimana n adalah banyaknya pengamatan dan p adalah banyaknya variabel bebas.

Jadi, penaksir dari �� dapat ditulis sebagai

�� = �����

=�����

���

=�′��������

��� (39)

Page 36: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

19

2.5 Multikolinearitas

Menurut Ragnar (1934), Multikolinearitas adalah keadaan dimana adanya hubungan

linear atau korelasi yang kuat diantara beberapa atau semua peubah bebas dalam

model regresi. Dalam bentuk matriks, multikolinearitas adalah suatu kondisi buruk

atau ill condition dari matriks �’�. Jika multikolinearitas terjadi antara dua peubah

atau lebih dalam suatu persamaan regresi, maka determinan dari matriks �’� akan

mendekati 0 sehingga akanmenyebabkan nilai matriks tersebut hampir singular yang

mengakibatkan nilai dari penduga paremeternya tidak stabil.

2.5.1 Konsekuensi Multikolinearitas

Menurut Farrar (1967), Terdapat beberapa masalah penting yang sering muncul

apabila peubah-peubah bebas yang disertakan ke dalam model regresi berkorelasi

satu sama lain atau mengalami multikolinearitas:

1. Pemasukan atau pengeluaran peubah bebas mengubah koefisien regresi.

2. Jumlah kuadrat ekstra yang berasal dari suatu peubah bebas berubah-ubah,

bergantung pada peubah bebas mana yang sudah ada di dalam model.

3. Galat baku dugaan koefisien-koefisien regresi menjadi besar bila peubah-

peubah bebas di dalam model regresinya saling berkorelasi tinggi satu sama

lain.

4. Secara individual koefisien-koefisien regresi dugaan mungkin tidak nyata

secara statistik walaupun tampak jelas adanya hubungan statistik antara

Page 37: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

20

peubah tidak bebas dengan peubah-peubah bebas.

Masalah-masalah ini juga bisa muncul meskipun tidak terdapat multikolinearitas,

namun hanya dalam situasi yang sangat langka yang jarang ditemui dalam praktek.

2.5.2. Mendeteksi Adanya Multikolinearitas

Menurut Budiono (2002), Suatu metode formal untuk mendeteksi adanya

multikolinearitas pada regresi linear berganda adalah Variance Inflation Factors

(VIF). VIF menunjukkan seberapa besar ragam koefisien regresi dugaan membesar di

atas nilai idealnya, yaitu dimana diantara peubah-peubah bebasnya tidak terjadi

korelasi linier

���� = (1 − ���)�� (40)

disebut sebagai VIF pada setiap bagian (untuk setiap peubah bebas-j) dalam model.

��� merupakan koefisien determinasi ganda dengan meregresikan �� dengan p-1

peubah bebas lainnya. Adapun batasan yang biasa digunakan untuk menyatakan

bahwa peubah bebas sudah tidak terlibat dalam masalah multikolinearitas adalah ≤ 10

atau ≤ 5, tergantung kepada keputusan peneliti. Apabila terdapat satu atau lebih nilai

VIF yang lebih besar dari batasan yang digunakan maka dapat disimpulkan terjadi

masalah multikolinearitas. Selain itu, VIF juga dapat membantu mengidentifikasi

peubah-peubah bebas yang mana yang terlibat dalammasalah multikolinearitas.

Page 38: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

21

2.5.3 Cara Mengatasi Multikolinearitas

Menurut Montgomery (2001), ada beberapa tehnik yang yang umumnya digunakan

untuk mengatasi masalah multikolinieritas, diantaranya adalah dengan pengambilan

data tambahan, respesifikasi model, dan pemakaian metode alternatif selain metode

MKT.

1. Pengambilan Data Tambahan

Pengambilan data tambahan seringkali dianjurkan untuk mengatasi

multikolinieritas. Data tambahan diambil untuk memberikan informasi

tambahan pada variabel bebas sehingga kemungkinan terjadi multikolinieritas

antarvariabel bebas menjadi tidak ada. Namun sayangnya hal ini tidak selalu

dapat dilakukan, karena sampel untuk proses yang sedang diselidiki belum

tentu tersedia. Biasanya penambahan data juga berkaitan dengan penambahan

dana, sehingga adanya keterbatasan dana juga menyebabkan hal ini tidak

dapat dilakukan. Jadi, penambahan data tidak selalu menjadi solusi yang baik

untuk mengatasi masalah multikolinieritas.

2. Respesifikasi Model

Multikolinieritas seringkali disebabkan oleh pemilihan model, saat terdapat

dua atau lebih variabel bebas yang mempunyai korelasi kuat dipakai dalam

model. Dalam situasi seperti ini, respesifikasi beberapa persamaan regresi bisa

mengurangi multikolinieritas yang terjadi. Suatu pendekatan untuk

respesifikasi model adalah mendefinisikan kembali variabel-variabel

bebasnya. Misalnya, jika ��, ��, �� adalah variabel-variabel bebas yang

Page 39: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

22

hampir bergantung linier, bisa jadi dengan menemukan beberapa fungsi

misalnya � =�����

�� atau � = ��, ��, �� akan membantu mengurangi

multikolinieritas dengan mempertahankan informasi yang ada.

3. Metode Alternatif Selain Metode MKT

Munculnya masalah multikolinieritas menyebabkan pemakaian metode MKT

untuk menaksir parameter regresi menjadi tidak tepat, karena variansi taksiran

parameternya menjadi besar sehingga taksiran parameternya cenderung tidak

stabil. Oleh karena itu digunakan metode alternatif yang dapat memberikan

hasil penaksiran yang lebih baik, yaitu metode regresi ridge.

2.6 Generalized Ridge Regression (GRR)

Pada tahun yang sama, Hoerl dan Kennard membuat pengembangan pada metode

regresi ridge, dengan menggunakan konstanta bias k yang terpisah untuk masing-

masing variabel bebas. Metode ini disebut metode generalized ridge regression

(GRR).

Misalkan � adalah sebuah matriks berukuran p × p dengan kolom-kolomnya adalah

vektor eigen dari matriks ���, � = (��, ��, … . , ��). Berdasarkan Teorema

Dekomposisi Spektral, untuk setiap � dimana � = ���, dengan � adalah matriks

simetris, terdapat matriks ortogonal � sedemikian sehingga

��(���)� = � (41)

Page 40: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

23

dengan � adalah matriks diagonal berukuran p × p yang entri diagonal utamanya

adalah nilai eigen �j dari matriks ���, j = 1,2,...,p. Model regresi linier berganda yang

umum digunakan ditulis dalam bentuk matriks

� = �� + � (42)

Karena matriks � adalah matriks ortogonal, dimana �� = ���, maka ��� = ��� = �,

sehingga persamaan di atas bisa ditulis

� = �(���)� + �

= (��)(���) + �

� = �∗� + � (43)

dengan �∗ = �� dan � = ���

dengan asumsi mengenai komponen error adalah sebagai berikut :

1) �(�) = �

2) ���(�) = ���

Dugaan MKT dari � adalah solusi dari:

�(�) = (� − �∗�)�(� − �∗�)

= ��� − ���∗�� − ���∗� + ���∗��∗�

= ��� − ���∗�� − ���∗�� + ���∗��∗�

= ��� − 2���∗�� + ���∗��∗� (44)

Untuk mendapatkan nilai minimumnya diperoleh dengan mendiferensialkan �(�)

terhadap � dan menyamakannya dengan nol, sehingga diperoleh :

���

���

��= −��∗�� + ��∗��∗�� = 0 (45)

�∗��∗�� = �∗�� (46)

Page 41: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

24

Dengan mengalikan kedua ruas dengan (�∗��∗)��, diperoleh

(�∗��∗)���∗��∗�� = (�∗��∗)���∗��

�� = (�∗��∗)���∗�� (47)

Karena (�∗��∗) = ��(���)� = �, maka (�∗��∗)�� = ��� sehingga persamaannya

menjadi

�� = ����∗�� (48)

Dugaan �� dikaitkan dengan persamaan � = ��� menjadi:

�� = ���� (49)

dengan mengalikan kedua ruas dengan matriks �, diperoleh

��� = �����

�� = ��� (50)

Didefinisikan dugaan metode GRR:

�� = (�∗��∗ + �)���∗�� (51)

Dimana � adalah matriks diagonal dengan entri diagonal utamanya adalah konstanta

bias ��, ��, … , ��. Pada pendugaan parameter dengan MKT, matriks ��� hampir

tidak mempunyai invers karena determinan dari matriks ��� mendekati nol yang

menandakan bahwa ada nilai eigen dari matriks ��� yang sangat kecil. Agar matriks

��(���)� = �∗��∗ tetap definit positif maka nilai �� yang ditambahkan pada

diagonal utama matriks �∗��∗ haruslah bernilai positif.

Page 42: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

25

2.7 Pemilihan Nilai Konstanta Bias �� yang Optimal

Berikutnya akan dicari nilai konstanta bias �� yang optimal. Nilai optimal untuk ��

bisa didapat dengan meminimumkan MSE dugaan metode GRR, yaitu �.

���(����) = �

= ∑�������

����

(�����)�

���� (52)

Fungsi � diturunkan secara parsial satu kali terhadap k� dan hasil turunannya sama

dengan nol. Turunan dari fungsi � terhadap k� adalah

��

��� =

������(�����)���(�������

����)(�����)

(�����)�

=��������[��

����������������������

��]

(�����)�

=��������(��

�����������

������������

�)

(�����)�

=����������(����

����)

(�����)� (53)

Karena matriks simetris ��� definit positif, maka λ� > 0, � = 1,2, … , �. Nilai

minimum diperoleh dengan ��

���= 0, sehingga

k�α�� − �� = 0

k�� = ��

k� =��

��� (54)

Namun, nilai k� yang optimal bergantung pada parameter �� dan α� yang tidak

diketahui nilainya. Hoerl dan Kennard (1970), Pendekatan iterasi akan digunakan

Page 43: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

26

untuk mendapatkan nilai k�. Solusi dari MKT digunakan sebagai nilai awal dari k� .

Sebagai contoh

��� =

���

���� (55)

Nilai awal dari k� digunakan untuk menghitung dugaan awal GRR dari

����� = (�∗��∗ + ��)���∗�� (56)

dimana �� adalah matriks diagonal yang entri diagonal utamanya adalah

���, ��

�, … , ���. Nilai awal ����

� kemudian digunakan untuk menghitung kembali nilai

k� . Selanjutnya akan dihitung nilai ���

��� =

���

(����,�� )�

(57)

Nilai baru dari ��� digunakan untuk memperbaiki nilai dugaan ����. Proses iterasi

akan terus berlangsung hingga didapat nilai taksiran parameter yang stabil.

Ukuran yang biasa digunakan untuk mengukur kestabilannya adalah kuadrat panjang

dari ����� ����. Dalam kasus data ini, apabila selisih kuadrat panjang ����

� ���� dari

iterasi ke i dan iterasi ke � − 1 kurang dari 10��, maka iterasi berakhir. Jika tidak,

maka proses iterasi dilanjutkan kembali (Montgomery, 2001) .

Setelah mendapatkan penduga koefisien regresi dari metode GRR, perlu dipastikan

apakah peubah-peubah bebas yang terlibat dalam model sudah tidak terlibat masalah

multikolinearitas dengan melihat nilai VIF. ����(�) sebagai fungsi dari K merupakan

unsur diagonal ke j dalam matriks

(�′� + �)−1�′�(�′� + �)−1 (58)

Page 44: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

27

Apabila nilai VIF dari masing-masing peubah bebas yang dalam hal ini merupakan

unsur diagonal ke j dalam matriks persamaan (40) sudah lebih kecil dari 10, maka

dapat dipastikan bahwa peubah-peubah bebas yang terlibat dalam model sudah tidak

terlibat masalah multikolinearitas (Montgomery, 2001).

2.8 Mean Square Error (MSE)

Dalam kenyataan, seseorang mungkin dihadapkan pada pilihan untuk menggunakan

penaksir bias dibandingkan penaksir tak bias. Jika diberikan dua penaksir parameter

yaitu penaksir bias dengan variansi yang kecil dan penaksir tak bias dengan variansi

yang besar maka penaksir bias dengan variansi kecil lebih dipilih sebagai penaksir

parameter. Ukuran yang digunakan untuk membandingkan kedua hasil taksiran di

atas disebut mean square error (MSE). Jika dalam penelitian menggunakan data

simulasi yang direplikasi makan ukuran yang digunakan untuk membandingkan

kedua hasil taksiran disebut Average mean square error (AMSE). Misalkan �� adalah

penaksir parameter �. MSE dan AMSE dari �� yaitu didefinisikan oleh :

��� ���� = ∑ ���� − �����

��� ; � = 1,2, … , � (59)

���� ���� =�

�∑ ���� − ���

����� ; � = 1,2, … , � (60)

dengan m adalah banyaknya ulangan (replikasi) dalam simulasi. Semakin kecil nilai

MSE dan AMSE menunjukkan bahwa suatu metode semakin baik (Montgomery,

2001).

Page 45: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

28

III. METODOLOGI PENELITIAN

3.1 Waktu dan Tempat Penelitian

Penelitian ini dilaksanakan pada semester ganjil tahun ajaran 2017/2018 bertempat di

Jurusan Matematika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas

Lampung.

3.2 Data Penelitian

Data yang digunakan dalam penelitian ini adalah data simulasi, data dibangkitkan

sebanyak � variabel bebas dan � observasi. Jumlah variabel bebas yaitu p= 6 dengan

banyaknya data yaitu n=25, 50, dan 75.Untuk setiap simulasi, distribusi dari galat

observasi adalah �(0,1) yang diulang sebanyak 100 ulangan. Observasi ke-n

dibangkitkan berdasarkan model matriks sebagai berikut :

�� = �� + ����� + �� untuk � = 1,2, … , � (61)

��� dibangkitkan berdasarkan distribusi normal N(0, 1) dengan �� = 0 dan �� =

�� = … = �� = 1. Untuk mendapatkan data kolinearitas pada setiap data set, ��

dibangkitkan menggunakan simulasi Monte Carlo dengan persamaan sebagai berikut

Page 46: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

29

��� = (1 − ��)�/���� + ���� ; � = 1, 2, … , � � = 1,2, … , � (62)

dengan ���, ���,....,��� ~ �(0,1) dan � = 0.99. Untuk lebih jelasnya dapat dilihat

sebagai berikut.

Simulasi data ��� :

��� = �(0, 1) j = 1, 2, ...,7

��� = (1 − ��)�/���� + ����

��� = (1 − ��)�/���� + ����

��� = (1 − ��)�/���� + ����

��� = (1 − ��)�/���� + ����

��� = (1 − ��)�/���� + ����

��� = (1 − ��)�/���� + ���� (63)

Variabel terikat (�) untuk � variabel bebas diperoleh berdasarkan model � = �� + �

dimana � adalah ��,� = 1 ; untuk i = j , dan 0 selainnya. Dengan ��� ~�(0,1)

sehingga Y merupakan kombinasi linear dari p variabel bebas ditambah galat yang

ditampilkan pada tabel berikut.

� = ���� + ���� + ⋯ + ���� + �(0, 1) � = 1,2, 3, … , 6 (64)

3.3 Metode Penelitian

Penelitian ini dilakukan secara studi pustaka, untuk mempermudah perhitungan dan

hasil yang akurat penelitian ini menggunakan software R-3.4.3 untuk mencari nilai

koefisien regresi dugaan dan MSE dari metode GRR dan kemudian dibandingkan

Page 47: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

30

dengan nilai koefisien regresi dan MSE yang didapat dari MKT. Adapun langkah-

langkah yang dilakukan pada penelitian ini antara lain:

1. Melakukan simulasi data

2. Mengidentifikasi multikolinearitas dengan melihat nilai VIF

3. Melakukan standarisasi data dengan proses centering and scaling

4. Melakukan analisis menggunakan MKT

5. Melakukan analisis menggunakan GRR dengan langkah – langkah sebagai

berikut :

Melakukan proses ortogonalisasi pada variabel-variabel bebas

menentukan nilai � yang merupakan matriks diagonal dengan anggota

(��, ��, … , ��) menggunakan rumus ��� =

������

�����

menentukan penduga parameter dengan metode GRR

memastikan bahwa sudah tidak terjadi multikolinearitas dengan melihat

nilai VIF

6. Menghitung nilai MSE dari setiap �� metode GRR dan MKT dengan rumus

��� ���� = ∑ ���� − �����

��� ; � = 1,2, … , �

7. Membandingkan nilai MSE dari �� metode GRR dan MKT

8. Menghitung nilai AMSE dari �� metode GRR dan MKT dengan rumus

���� ���� =�

�∑ ���� − ���

����� ; � = 1,2, … , �

9. Membandingkan nilai AMSE dari �� metode GRR dan MKT

Page 48: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

45

V. KESIMPULAN Kesimpulan dari penelitian ini adalah:

1. Dalam menduga parameter regresi yang mengalami masalah multikolinearitas

metode GRR lebih baik dari pada MKT yang dibuktikan dengan nilai VIF setelah

dilakukan analisis dengan metode GRR kurang dari 10 dan nilai MSE metode

GRR lebih kecil dari pada MKT.

2. Semakin besar jumlah pengamatan pada data yang mengalami multikolinearitas

maka semakin baik metode GRR menduga parameter regresi dari pada metode

MKT.

Page 49: ANALISIS METODE GENERALIZED RIDGE REGRESSION …digilib.unila.ac.id/31705/3/SKRIPSI TANPA BAB PEMBAHASAN.pdf · ANALISIS METODE GENERALIZED RIDGE REGRESSION (GRR) DALAM MENGATASI

46

DAFTAR PUSTAKA

Aziz, A. 2010. Ekonomietrika.UIN-Maliki Press, Malang. Boediono. 2002. Ekonomi Mikro. BPFE-UGM, Yogyakarta. Chatterjee, S. and Hadi, A.S. 2006. Regression Analysis by Exampl. 4th ed. John

Wiley & Sons, New York. Farrar, D.E. and Glaubert, R. 1967. Multicollinearity In Regression Analysis.

Chapman and Hall, New York. Hoerl, A.E. and Kennard, R.W. 1970. An Explicit Solution for Generalized Ridge

Regression. John Wiley & Sons, New York. Montgomery, R.V., Peck, E.A and Vining, G.. 2001. Introduction to Linear

Regression Analysis. John Wiley & Sons, New York. Ragnar, F. 1934. Statistical Confluence Analysis by Means of Complete Regression

Systems. Institute of Economics, Olso University. Ruminta. 2009. Matriks Persamaan Linier dan Pemrograman Linier. Rekayasa

Sains, Bandung.