![Page 1: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/1.jpg)
Purnawan
0907620
PROGRAM STUDI PENDIDIKAN TEKNOLOGI DAN KEJURUANSEKOLAH PASCASARJANA
UNIVERSITAS PENDIDIKAN INDONESIA2010
![Page 2: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/2.jpg)
In the design of experiments, completely
randomized designs are for studying the effects of one primary factor without the need to take other nuisance variablesinto account.
http://en.wikipedia.org/wiki/Randomized_block_design
Apa randomized design ?
![Page 3: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/3.jpg)
Tujuan bagi sebagian besar evaluasi adalah untuk menjawabpertanyaan :
Mengapa Impact Assessment ?
"Apakah program tersebut berdampak
pada hasil yang diinginkan?"
![Page 4: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/4.jpg)
Dampak dari proyek demonstrasi (yaitu, sebuah pilot atau proyekpertama yang dikembangkan untuk menentukan apakah konsepprogram bekerja);
Dampak dari modifikasi atau perubahan yang dibuat untuk sebuahprogram (untuk melihat apakah perubahan memiliki dampak yang diharapkan);
Memeriksa suatu program yang lebih mapan (untuk melihat apakahitu terus memiliki dampak),
Membandingkan satu program ke program lain (untukmembandingkan program 'diferensial dampak).
In short, impact assessments can be done at virtually any phase of program development. Singkatnya, penilaian dampak dapat
dilakukan di hampir semua tahapan program pengembangan.
![Page 5: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/5.jpg)
Eksperimen Sebagai Sebuah StrategiImpact Assessment
Ketika menentukanefek program
(program tidakmenyebabkan
perubahan yang teramati) kita
membutuhkanperkiraan
counterfactural(yakni, apa yang akanterjadi jika program tidak dilaksanakan?)
Di bidangpendidikan dan
ilmu-ilmu sosial, apayang kita tentukanpenyebab adalahprobabilitas, yaitu
hasil yang kitahubungan dan
gambarkan secaraprobabilistik. Kita
memperoleh derajatbukti, bukan bukti
sebab-akibat
Ketika berpikirtentang sebab-sebab
dalam ilmu sosialdan pendidikan,
ingatlah bahwa kitahidup di dunia
multivariat yaitu, kita hidup di dunia
dari berbagai sebab,; jadi kita harusberhati-hati!
![Page 6: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/6.jpg)
Net EffectsGross outcome
for an experimental
group
Gross outcomefor a
comparable control group
Design effect and stochastic
error
Konsep Kelompok Kontrol & KelompokEksperimen
![Page 7: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/7.jpg)
Konsep Kelompok Kontrol & KelompokEksperimen
Kelompokeksperimental : kelompok yang
mendapatintervensi
Kelompokkontrol :
kelompok yang tidak
mendapatkanintervensi
Kelompokpembanding :
kelompok yang menerima
intervensi yang berbeda dari
satu kelompokeksperimental
utama
![Page 8: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/8.jpg)
Net Effects
Score on post intervention
outcome measures
for randomized experimental
group
Score on post intervention
outcome measures
for randomized
control (unexposed)
group
Design effect and stochastic
error
Modification of basic impact assessment
![Page 9: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/9.jpg)
Schematic representation of a RE
Outcome measures
Before Program After Program Difference
Experimental group
E1 E2 E = E2 – E1
Control group C1 C2 C = C2 – C1
Net Effects of program = E - C
![Page 10: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/10.jpg)
Data Collecting Strategy (1) Comparability Reguires
Identical Composition
(IdentikKomposisi)
Identical Experiences
(IdentikPengalaman)
Identical Predisposition
(identikKecenderung-
an)
![Page 11: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/11.jpg)
Data Collecting Strategy (2) Gunakan tugas acak
Biasanya peneliti secara acak menetapkan individuuntuk kelompok menggunakan tabel angka acak.
Kita juga dapat menggunakan acak sistematis penugasan(yang analog dengan sampling acak sistematis) sepanjang daftar kita secara acak terorganisir atau tidakmemiliki pola siklus di dalamnya
Kita menggunakan pilihan acak ketika Anda inginmendapatkan sampel yang mirip dengan populasi. Kita
menggunakan tugas secara acak ketika Anda ingin membuatdua atau lebih kelompok yang mirip satu sama lain
![Page 12: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/12.jpg)
Data Collecting Strategy (3) Gunakan pencocokan
Kita buat kelompok kontrol orang-orang yang serupadengan anggota kelompok eksperimen pada satu ataulebih pencocokan variabel (misalnya, pastikan kitamemiliki rasio yang sama untuk laki-laki perempuanpada kedua kelompok).
![Page 13: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/13.jpg)
Type of Randomized Experiment Design (1)
1. pretest-posttest design.Model 1
Model 2
Kelompok Pretest Perlakuan Posttest
EksperimenT1
XT2
Kontrol -
Kelompok Pretest Perlakuan Posttest
EksperimenT1
X1T2
Pembanding X2
![Page 14: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/14.jpg)
Type of Randomized Experiment Design (2)
1. pretest-posttest design.Model 3
Model 4
Kelompok Pretest Perlakuan Posttest
Eksperimen
T1
X1
T2Pembanding X2
Kontrol -
Kelompok Pretest Perlakuan Posttest
Kontrol
T1
-
T2Eksperimen X11
Pemband1ng 1 X12
Pembanding 2 X13
![Page 15: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/15.jpg)
Type of Randomized Experiment Design (3)
2. Only posttest design.
Kelompok Pretest Perlakuan Posttest
Eksperimen - XO
Kontrol - -
![Page 16: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/16.jpg)
Analyzing Randomized Experiments (1)
1. Pendekatan ANCOVA atau analisis kovarians di mana Yadalah ukuran posttest, X 1 adalah ukuran pretest, dan X 2
adalah variabel perlakuan. Dengan asumsi bahwa X 1 dan X 2
tidak berinteraksi . Perkiraan efek bersih diberikan oleh b 2
(yaitu, koefisien regresi parsial untuk variabel perlakuan,yaitu koefisien regresi parsial ini menunjukkan hubunganantara DV dan IV mengontrol atau mengatur untuk setiapperbedaan antara kelompok-kelompok pada ukuran pretest)
Y = b0 + b1X1 + b2X2 + e
![Page 17: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/17.jpg)
Analyzing Randomized Experiments (2)
2. Analisis populer tradisional lain adalah menghitungmendapatkan skor variabel baru, (misalnya, pretestdikurangi posttest nilai skor untuk setiap individu, yangmenciptakan variabel skor gain baru). Kemudian dilihatapakah perbedaan antara gain yang dibuat oleh perlakuandan kelompok kontrol secara signifikan berbeda (yakni,adalah selisih lebih besar daripada yang diharapkan secarakebetulan?).
Contoh
![Page 18: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/18.jpg)
Analyzing Randomized Experiments (3)
3. Cara ketiga untuk menganalisis Kasus 1 data adalah denganmenggunakan model campuran ANOVA . Y adalah posttest, X 1adalah pretest ( covariate), X 2 adalah "waktu" yang merupakanlangkah-langkah diulang variabel (misalnya, semua pesertamendapat waktu 1 untuk satu dan 2 untuk waktu dua variabelini), dan X 3 adalah variabel antara kelompok perlakuan(perlakuan dan kontrol )
![Page 19: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/19.jpg)
Analyzing Randomized Experiments (4)
4. Pada model 3 yang paling populer adalah pendekatan analisisdata ANCOVA atau analisis kovarians dan mengikuti analisisini post hoc dengan perbandingan (dengan penyesuaian alfaseperti Bonferroni, Sidak, atau Tukey) untuk mengetahuiperbedaan kelompok secara statistik signifikan (p-periksanilai-nilai untuk setiap perbandingan ini).
![Page 20: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/20.jpg)
Kelemahan Penggunaan RE (1)
1. Randomized desain mungkin tidak akan sangat berguna padatahap awal dari sebuah program jika program mengalamiperubahan. Sebuah rancangan acak bekerja paling baik saatprogram akan secara konsisten dilaksanakan selamapercobaan.
2. Beberapa pemangku kepentingan mungkin tidak menyukai idesecara acak menugaskan peserta untuk perlakuan dankelompok kontrol. Sebagai contoh, mereka mungkinberpendapat bahwa hal itu tidak etis untuk menahanperlakuan yang berpotensi bermanfaat dari peserta kelompokkontrol
![Page 21: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/21.jpg)
Kelemahan Penggunaan RE (2)
3. Karena rancangan acak biasanya diimplementasikan dalambentuk yang paling murni dengan staf bermotivasi tinggi, yang mungkin ingin dan berusaha keras untuk membuat program kerja, intervensi seperti yang disampaikan dalam sebuaheksperimen mungkin tidak sangat mirip dengan intervensiseperti yang disampaikan kemudian oleh orang dan badan-badan lain. Sebagai contoh, staf program di masa depanmungkin tidak termotivasi dan mereka mungkin tidak sangatterlatih, yang mengakibatkan beberapa kegagalanimplementasi.
4. Percobaan lapangan memakan waktu dan mahal.
![Page 22: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/22.jpg)
Kelemahan Penggunaan RE (3)
5. Karena persyaratan yang ketat untuk mencapai tinggi validitasinternal, validitas eksternal (yakni, generalisasi) hasil dapatmempengaruhi. Pada saat yang sama, Namun, hasil daripercobaan lapangan (topik bab ini) biasanya lebihdigeneralisasikan bahwa orang dari sebuah laboratoriumeksperimen karena percobaan lapangan dilakukan di dunia nyatapengaturan.
6. Ide menggunakan rancangan acak yang besar, tetapi masih dapatkehilangan integritas selama pelaksanaan percobaan.
![Page 23: Randomized Design for Impact Asessment (Chapter Report)file.upi.edu/Direktori/FPTK/JUR._PEND._TEKNIK_MESIN...Type of Randomized Experiment Design (2) 1. pretest-posttest design. Model](https://reader033.vdocument.in/reader033/viewer/2022060819/6098fec2b6316a5ab52f1cda/html5/thumbnails/23.jpg)
TERIMA KASIH