Time series Linier ModelsWe have learned simple extrapolation techniques for deterministic and stochastic time series models. In addition, we also have learned stationery and non stationery time series data.

• We will develop models that can explain the movement of time series data by relating the data with :(i). Previous data (autoregressive) and / or(ii). Current and past random deviation (moving average)

• The models focus on linear models for practical reason, simple and easy. These models can be used to analyze stationery data and not stationery data but homogeneous.

• The models that we are studying assume that the parameters are time invariant

• More specifically the models that we are analyzing:(i). Moving average models – for stasionery process(ii). Autoregresive models - for stasionery process(iii). Mixed between moving average and

autoregressive models - for stasionery process(iv). Integrated models between moving average and

autoregresive - for stasionery process.

Moving average models

Moving Average model order q, MA(q), assumes that each observation is a weighted average of deviation (disturbances) of the last q periodes.

Mathematically, MA(q) is represented as:

yt = μ + et - θ1 et-1 - θ2 et-2 - . . . - θq et-q

While θ1,θ2 . . .θq the parameters that can be positive or negative

Dalam hal ini, diasumsikan pula bahwa:et ∼ i i d N ( 0, σe

2); kovarians γk = 0, k ≠ 0atau E(et) = 0; E(et

2) = Var (et) = σe2; E(et et-k) = 0

Dengan asumsi ini, mean dari proses moving average tidak tergantung pada waktu yaitu E(yt) = μ. Apakah MA (q) stasioner?

Proses MA (q) dapat ditentukan melalui q + 2 parameter yaitu: μ, σe

2, θ1, θ2, . . . , θq. Bagaimana karakteristik dari θi ?

Secara khusus, varians dari proses moving average dapat dilihat sebagai:

Var (yt) = γ0 = E(yt - μ)2

= E( et - θ1 et-1 - θ2 et-2 - . . . - θq et-q)2

= E( et2 + θ12 e2

t-1 + θ22 e2

t-2 + . . . + θq2 e2

t-q)

= σe2 + θ1

2σe2 + θ2

2σe2 + . . .+ θq

2σ2

= σe2 (1+ θ1

2 + θ22 + . . .+ θq

2);

Hasil ini menggunakan fakta bahwa et iid dan E(et et-k) = 0

Perhatikan bahwa besaran var (yt) tergantung pada besar Σθi2

yang cenderung besar kalau tidak kita batasi. Oleh karena itu, jika yt merupakan suatu realisasi dari proses random yang stasioner, maka Σθi

2 < ∞. Untuk model MA(q) dan q tidak besar, persyaratan tersebut mudah dipenuhi. Bagaimana untuk MA dengan order yang sangat besar (q ∞ ). Hal ini bisa dipenuhi bila θi mengecil seiring dengan membesarnya indeks i. Jika persyaratan terakhir ini terpenuhi, maka akan diperoleh bahwa Σθi

2 akan konvergen ke suatu nilai.

Dari diskusi ini dapat ditarik kesimpulan bahwa bila kita mengharapkan yt dari suatu model MA, model ini akan stasioner jika θi mengecil pada saat indeks i membesar.

The simplest moving average models MA (1)

yt = μ + et - θ1 et-1

Mean: μ, Variance: σe

2(1 + θ12)

Lag 1 Covariance:

γ1 = E [(yt -μ) (yt-1 -μ)]

= E [(et - θ1et-1) (et-1 - θ1et-2)]

= E [ et ⋅ et-1 - θ1 et ⋅ et-2 - θ1 et-1 et-1 + θ12 et-1 ⋅ et-2]

= - θ1 E(e2t-1) = - θ1σe

2

for k ≥ 2; γk = E [(et - θ1et-1)( et-k - θ1et-k-1)] = 0

Autocorelation Function (ACF) of MA (1)

ρk = γk / γ0 = - θ1 / (1 + θ12 ); untuk k = 1

= 0; for k > 1

Remark:For k>1, Covariance and ACF of MA(1) is zero.It means, MA(1) only has memory for 1 period only;that is, yt only correlates with yt-1 or yt+1.

Observe the following MA (1):yt = 2 + et + 0.8 et-1 ρ1 = - θ1 / ( 1 + θ1

2 ) = + 0.8/1+0.82 = 0.8/1.64 = 0.5ρk = 0; k > 1

Moving Average order 2, MA(2)

yt = μ + et - θ1 et-1 - θ2 et-2

The mean, E(yt)=μand the Var (yt) = γ0 = σe

2 (1+θ12+ θ2

2).

While, lag k covariance:k=1, γ1 = E [( et - θ1 et-1 - θ2 et-2) ( et-1 - θ1 et-2 - θ2 et-3)]

= - θ1E(e2t-1) + θ1θ2 E(et-2)2

= -θ1 (1-θ2) σe2

k = 2, γ2 = E [( et - θ1 et-1 - θ2 et-2) ( et-2 - θ1 et-3 - θ2 et-4)]

= - θ2 E(e2t-2) = - θ2 σe

2

k > 2, γk = 0

ACF:

ρ1 = γ1 / γ0 = - θ1 ( 1- θ2 ) / ( 1+ θ12 + θ2

2)

ρ2 = γ2 / γ0 = - θ2 / ( 1+ θ12 + θ2

2)

ρk = 0 ; k ≥ 2

Illustration: MA (2): yt = 2 + et + 0.6 et-1 – 0.3 et-2

μ = 2, θ1 = -0.6; θ2 = 0.3

ρ1 = - θ1(1- θ2 )/(1+ θ12+ θ2

2) = 0.6 (1-0.3)/(1.45) = 0.42/1.45 = 0.29

ρ2 = - θ2 / (1+ θ12+ θ2

2) = -0.3/1.45 = -0.21

ρk = 0; k > 2

Moving Average Order q

yt = μ + et - θ1 et-1 - θ2 et-2 - . . . - θq et-q

mean, yt = E(yt) = μ

variance, yt = var(yt) = γ0 = σe2 ( 1 + θ1

2 +θ22 + . . .+θq

2)

covariance, γk = - θk + θ1 θk+1 +. . . + θq-k θq

ACF: ρk = γk / γ0

ρk = (-θk + θ1 θk+1 + . . .+ θq-k θq ) / (1 + θ12 +θ2

2 + . . .+θq2)

k = 1,2,. . ., qρk = 0; k > q

Pengamatan

1. untuk MA(1); hanya satu fungsi autokorelasi yang tidak nol

2. untuk MA(2); hanya dua fungsi autokorelasi yang tidak nol

3. untuk MA(q); sebanyak q fungsi autokorelasi yang pertama yang tidak nol

4. fungsi autokorelasi dapat digunakan untukmenentukan order dari proses moving average.

Autoregresive models

Untuk model autoregresive order p, pengamatan yt

dibentuk dari rata-rata tertimbang pengamatan-pengamatan masa lalu, p periode ke belakang dan deviasi periode sekarang.

Proses tersebut dinyatakan sebagai AR(p) dan modelnya:yt = φ1 yt-1 + φ2 yt-2 + . . . +φp yt-p + δ + et

Properties of Autoregresive Models

Bila proses autoregresive stasioner, maka mean, E(yt) = E (yt-1) = E (yt-2) = . . . = E (yt-p) = μ tidak tergantung pada waktu.(Apakah AR(p) Stasioner ?).

Akibatnya, E(yt) = E(φ1 yt-1 + φ2 yt-2 + . . . +φp yt-p + δ + et)

μ = φ1μ + φ2μ + . . . φpμ + δ

atau μ = δ / (1 - φ1 - φ2 - . . . -φp)

Supaya nilai μ berhingga, dan untuk menjaga stasioneritas, φ1 + φ2 + . . . φp < 1

Comments:Ingat pada diskusi terdahulu,model Random-Walk dengan trenyt = yt-1 + δ + et

Model ini dapat juga kita lihat sebagai model autoregresive dengan φ1 = 1. Akan tetapi, karena prosesnya cenderung naik (δ>0) maka μ akan besar sekali dan bisa mendekati ∞. Sehingga yt tidak stasioner.

Autoregresive Order 1, AR (1)

yt = (φ1 yt-1 + δ + et)

mean, E(yt) = φ1 E(yt-1) + δ

Untuk proses yang stasioner, μ = φ1 μ + δatau μ = δ / (1 - φ1) dan agar mean μ berhingga,syaratnya |φ1| < 1

Dengan mengasumsikan δ = 0 (tanpa tren) akibatnya μ = 0 juga

var(yt) = γ0 = E(yt-μ )2

= E(φ1 yt-1 + et)2

= E(φ12 y t-12 + et

2 + 2φ1 yt-1 et)

γ0 = φ12 γ0 + σe

2 atau

γ0 = σe2 / (1- φ1

2)

Kovarians yt

γ1 = E(yt-1. yt) = E [yt-1 (φ yt-1+ et)] = E (φ1 y2t-1) = φ1 σe

2 / (1- φ12)

γ2 = E(yt-2. yt) = E [yt-2 (φ1 yt-1+ et)]

= E (yt-2 (φ12 yt-2) + φ1 et-1 + et)]; karena yt-1 = φ1 yt-2 + et-1

= φ1 E(y2t-2) = φ1

2 γ0 = φ12 σe

2( 1 -φ12)

Secara analog, untuk k > 2 γk = φ1k γ0 = φ1

kσe2 / (1- φ1

2)

Dengan demikian, fungsi autokorelasi dari AR(1),

ρ0 = 1 dan ρk = γk / γ0 = φ1k

Observe the following AR (1):

yt = 0.9 yt-1 + 2 + et

Fungsi autokorelasi, ρ0 = 1ρ1 = φ1 = 0.9ρ2 = φ1

2 = 0.81ρ3 = φ1

3 = 0.729::ρk = (0.9)k

See Fig: 17.5

AR (2)yt = φ1 yt-1 +φ2 yt-2 + δ + et

mean dari yt, E(yt) = φ1 E(yt-1) + φ2 E(yt-2) + δμ = φ1μ + φ2μ + δμ = δ (1 - φ1 - φ2)-1

Syarat stasioner: φ1 + φ2 < 1

Varians, γ0 = φ1 γ1 + φ2 γ2 + σe2

Kovarians, γ1 = φ1 γ0 + φ2 γ1

γ2 = φ1 γ1 + φ2 γ0:γk = φ1 γk-1 + φ2 γk-2 ; k ≥ 2

Fungsi autokorelasi, ρ1 = φ1(1 - φ2)-1

ρ2 = φ2 +φ12 (1 - φ2)-1

ρk = φ1 ρk-1 + φ2 ρk-2 ; k ≥ 2

Ilustrasi AR (2)yt = 0.9 yt-1 + 0.7 yt-2 + 2 + et

Fungsi autokorelasi: ρ1 = φ1(1 - φ2)-1 = 0.9 (1 + 0.7)-1 =0.53 ρ2 = φ2 +φ1

2 (1 - φ2)-1 = -0.7 +0.81(1+0.7)-1=-0.224ρ3 = φ1 ρ2 + φ2 ρ1 = 0.9(-0.224) + (-0.7)(0.53) =

See Fig.: 17.7

Comments1. Pada model MA, fungsi autokorelasi dapat digunakan untuk menentukan order dari proses MA tersebut.

2. Sedangkan pada model AR, fungsi autokorelasi tidak dapat dengan mudah menentukan order dari proses AR Tersebut.

3. Oleh sebab itu, perlu dicari cara lain untuk menentukan order dari AR.

Fungsi Autokorelasi parsial

• Fungsi autokorelasi parsial diharapkan dapat membantu menentukan order dari proses AR• Untuk mengetahui fungsi autokorelasi parsial seperti apa, ikuti diskusi berikut.

Untuk AR(p), kovarians dapat dinyatakan:

γ0 = φ1 γ1 + φ2 γ2 + . . . + φp γp + σe2

γ1 = φ1 γ0 + φ2 γ1 + . . . + φp γp-1:γp = φ1 γp-1 + φ2 γp-2 + . . . + φp γ0:

k > p; γk = φ1 γk-1 + φ2 γ2k-2 + . . . + φp γk-p

Dan fungsi autokorelasi dinyatakan:ρ1 = φ1 + φ2 ρ1 + . . . + φp ρp-1:ρp = φ1 ρp-1 + φ2 ρp-2+ . . . + φp:ρk = φ1 ρk-1 + φ2 ρk-2+ . . . + φp ρk-pPersamaan tersebut diatas disebut persamaan Yule-Walker.

Bila ρ1, . . . ρp diketahui, maka φ1 ,. . . φp dapat dicari. Tetapi, kita tidaktahu berapa order p? Untuk itu perlu disiasati sebagai berikut:1. Misalkan, kita duga p =1, maka ρ1 = φ1

Bila φ1 terhitung ≠ 0, berarti AR paling tidak berorder 1 Nyatakan a1 sebagai estimasi dari φ1

2. Proses dilanjutkan, misal p =2, maka diperoleh φ1 dan φ2

Nyatakanlah estimasi dari φ2 dengan a2

3. Proses dilanjutkan terus, diperoleh a1, a2, a3, . . . . .Series ini disebut fungsi parsial autokorelasi

4. Bila AR berorder p maka aj = 0 untuk j > p;aj ∼ N (0, 1/T); Tes: aj > 2/√T

ARMA (p,q) modelsAdakalanya proses random yang stasioner tidak dapat dimodel melalui AR (p) atau MA (q) karena proses tersebut mempunyai karakteristik dua-duanya. Oleh karenanya, proses yang semacam ini perlu didekati dengan model campuran antara autoregresive dan moving average yang dikenal dengan model ARMA (p,q)

Model ini dinyatakan dalam bentuk:

yt = φ1 yt-1 +. . . +φp yt-p + δ + et - θ1 et-1 - . . . - θq et-q

Karena diasumsikan prosesnya stasioner, maka meannya akan konstan sepanjang masa dan

μ = φ1μ + . . . + φpμ + δ atau μ = δ (1 - φ1- . . . - φp)-1

dengan syarat φ1 + φ2. . . + φp < 1

Untuk ARMA (1,1), modelnya: yt = φ1 yt-1 + δ + et - θ1 et-1

Bagaimana mencari varians dan kovariannya?Untuk memudahkan, diasumsikan δ = 0 sehingga?

Varians, γ0 = E(yt . yt) = E[(φ1 yt-1 + et -θ1 et-1)2]

= φ12 γ0 + σe

2 + θ12σe

2 - 2φ1θ1 E( yt-1 . et-1)

γ0(1- φ12) = σe

2 (1 + θ12 - 2φ1θ1) karena E( yt-1 . et-1)= σe

2

atau γ0 = (1 + θ12 - 2φ1θ1) (1 - φ1

2)-1 σe2

Kovarians, γ1 = E(yt-1 . yt )= E( yt-1 (φ1 yt-1 + et -θ1 et-1) = φ1 γ0 - θ1σe

2

= (1 - φ1θ1 )(φ1 - θ1)(1 - φ12)-1σe

2 (setelah dijabarkan)γ2 = E[ yt-2 (φ1 yt-1 + et -θ1 et-1)]

= φ1 γ1

Secara analog, untuk k ≥ 2, γk = φ1 γk-1

Fungsi autokorelasi, ρ1 = γ1 / γ0 = (1- φ1θ1 )(φ1 - θ1)(1+ θ12 - 2φ1θ1 )-1

dan untuk k ≥ 2 ρk = φ1 ρk-1

Komentar• Fungsi autokorelasi bermula dari ρ1 kemudian menyusut secara

geometris. Ini membawa sifat MA (1) yang hanya ingat satu periode saja.

Illustration:

ARMA (1,1) : yt = 0.8 yt-1 + 2 + et – 0.9 et-1

ρ1 = γ1 / γ0 = (1- φ1θ1 )(φ1 - θ1)(1+ φ12 - 2φ1θ1 )-1

= (1-0.8(+0.9))(0.8-0.9)(1+0.81-2(0.8)(09))-1

ρ2 = φ1 ρ1 = 0.8 ρ1

Fungsi autokorelasinya dapat dilihat pada Gambar 17.9. Terlihat bahwa ρ1 < 0 dan untuk k ≥ 0, ρk menurun secara geometris.

Another Example, ARMA (1,1): yt = 0.8 yt-1 + 2 + et – 0.9 et-1

Fungsi autokorelasinya dapat dilihat pada Gambar 17.10. Tampak bahwa ρ1 < 0, ρ2 = 0, ρ3 < 0 dan seterusnya karena φ1berharga negatif.

Bagaimana kalau proses yang akan dianalisis merupakan proses yang tidak stasioner. Apakah pendekatan dengan menggunakan ARMA masih dapat digunakan?

Simplification in writing Models: AR, MA dan ARMAKarena notasi matematik untuk model AR,MA dan ARMA cenderung tidak terkontrol (boros), maka dicari upaya untuk memudahkan penulisan model tersebut dengan memperkenalkan operator B sebagai berikut.

et-1 = B etet-2 = B2et:et-n = Bnet

Dengan operator B ini, model MA (q) dapat dinyatakan dalam bentuk sederhana:yt = μ + et - θ1 et-1 - θ2 et-2 - . . . - θq et-q

= μ + (1 - θ1B - θ2B2 - . . . -θqBq)et

yt = μ + θ (B)et ; θ(B): fungsi polinomial operator B.

Sedangkan, model AR(p) dapat dinyatakan dalam:

yt = φ1 yt-1 + φ2 yt-2 + . . .+ φp yt-p + δ + et

(1 - φ1B - φ2B2 - . . . -φpBp) yt = δ + et

φ(B) yt = δ + et

Dengan cara yang sama, ARMA (p,q) dapat dinyatakan dalam bentuk sederhana:yt = φ1 yt-1 + . . . + φp yt-p + δ + et - θ1 et-1 - . . .- θq et-q

φ(B) yt = δ + θ (B) et

ARIMA Models:Homogeneous Non Stasioner Process

Berhubung model ARMA hanya dapat digunakan untuk memodel proses yang stasioner, maka perlu dicari model lain yang dapat memodel proses yang tidak stasioner yang sering muncul pada data-data time series.

Istilah dan notasi Bila yt tidak stasioner, tetapi wt = Δd yt stasioner maka yt disebut tidak stasioner homogen order d. Sedangkan Δyt = yt - yt-1 ; Δ2yt = Δyt - Δyt-1; dst.

Bila wt = Δdyt stasioner dan wt merupakan suatu proses ARMA(p,q), dikatakan bahwa yt adalah proses ARIMA (p,d,q) singkatan dari autoregresive integrated moving average order (p,d,q).

Sedangkan model dari proses ARIMA(p,d,q) dinyatakan dalam:φ(B) Δd yt = δ + θ(B) et

φ(B) = 1 - φ1B - φ2B2 - . . . -φpBp

θ (B) = 1 - θ1B - θ2B2 - . . . -θqBq

Kadangkala, series wt = Δdyt tidak merupakan campuran antara AR dan MA. Dalam hal demikian, modelnya dapat dinyatakan sebagai ARIMA (p,d,0) yaitu tanpa MA atau dapat dinyatakan sebagai ARIMA (0,d,q) yaitu tanpa AR.

Mean dari model ARIMA (p,d,q) dinyatakan dalam

μw = δ(1 - φ1 - φ2 - . . . -φp)-1 ; dengan wt = Δd yt

Dari rumusan tersebut, bila δ ≠ 0, yt cenderung punya tren.Misalkan saja, bila d =1 dan δ > 0, yt, cenderung punya tren naik. Hal ini terlihat pada Gambar 17.11 Gambar ini menunjukkan adanya tren linier yang deterministik. Sedangkan Gambar 17.12 menunjukkan adanya tren yang tidak deterministik karena slopnya cenderung meningkat. Model ini bisa jadi terbentuk dari proses ARIMA dengan d = 2 dan δ > 0 (setelah di difference dua kali, baru tren nya hilang).

ARIMA Model specification:

• Pada intinya, setiap data timeseries tidak stasioner yang homogen dapat dimodel dengan ARIMA (p,d,q). Persoalannya adalah bagaimana menentukan order dari p, d dan q. Penentuan order tesebut dapat dibantu dengan mengamati fungsi autokorelasi dan fungsi autokorelasi parsial dari time series tersebut.

Tahapan identifikasi timeseries yt yang tidak stasioner

1. Amati ρk dari wt = Δd yt Bila ρk mendekati nol pada saat k membesar, maka wtsudah stasioner dan yt homogen tingkat d

2. Amati ρk dari ytBila ρk = 0 untuk k > q, maka bagian MA nya berorde q.

3. ρk dari AR menyusut secara geometris

4. Karakteristik ARMA: ρk mengikuti MA pada periode q-p yang pertama, kemudian mengikuti karakteristik AR.

Comments:

1. In general, it is not easy to determine order p and q, especially for the higher order. For ARMA with low order like AR(1), AR(2), MA(1), MA(2) and ARMA (1,1), the identification process is relatively easy

2. Alternatively, determining p and q by trial and error can be done. After p and q are determined, then the model will be tested whether the model is good or not.