ekstraksi suara saron berbasis time-frequency model...

EKSTRAKSI SUARA SARON BERBASIS TIME-FREQUENCY MODEL

MENGGUNAKAN MULTIDIMENSI FILTER

Yoyon K Suprapto 1

1 Jurusan Teknik ElektroInstitut Teknologi Sepuluh Nopember

Objective 2

Ekstraksi suara music Saron dari pagelaran Gamelan

Gamelan 3

Gamelan 4

Keluarga Balungan

Saron dari berbagai gamelan

Konstruksi

Pengaruh Kekerasan pukulan

Pagelaran Gamelan

Gamelan simulasi dan sebenarnya1. Suara Gamelan Simulasi

2. Suara Gamelan sebenarnya

Fundamental frequency saron dari beberapa gamelan

Grafik frekwensi nada slendro

Salah mengambil sampling

Munculnya Pulse STFT

Frekwensi dasar Pelog

21086395067

193110094676

17769254335

16518654014

14047983473

12966373192

12206393011

Peking SaronDemung

Frekwensi Dasar (Hz)

Notasi Pelog

Frekwensi dasar Slendro

258912386122’

221610725291’

19319244636

16528014025

14217003493

12396133042

10805332651

Peking SaronDemung

Frekwensi Dasar (Hz)

Notasi

Musik Barat

739.98F#'369.99F#698.44F’349.22F659.24E’329.62E622.25D#'311.13D#587.32D'293.66D554.37C#'277.18C#523.25C’261.63C493.88B'246.94B466.16A#'233.08A#440.00A'220.00A

Frekwensi (Hz)NotasiFrekwensi (Hz)Notasi

)log(1200j

i

ffc =

i

m

j ff 52=

24051888.701929.97Peking 624041640.941651.16Peking 524031425.681419.97Peking 324021238.661238.42Peking 224011076.171079.18Peking 12400935.00928.96Saron 6240-1812.35799.29Saron 5240-2705.78699.90Saron 3240-3613.20612.49Saron 2240-4532.76531.11Saron 1240-5462.87462.57Demung 6240-6402.15402.27Demung 5240-7349.40348.75Demung 3240-8303.56306.68Demung 2

-9263.74266.71Demung 1Centsn

Frekwensi dasarDiharapkan (Hz)

Frekwensi dasarPengamatan (Hz)

SLENDRO mempunyai 5 tingkatan

Slendro

Pelog

Analisa suara gamelan – Kaiser FilterTime domain (hanya memperhatikan frekwensi dasar sinyal)

Kaiser Window

Mengukur lebar parameter bandfilter

970960910900Saron 6

830820760750Saron 5

740730660650Saron 3

640630560550Saron 2

560540510500Saron 1

FStop2 (Hz)FPass2 (Hz)FPass1 (Hz)FStop1 (Hz)

Analisa sinyal dengan Inverse Filter(dengan memperhatikan komponen

harmonik dan non-harmonik)

Analisa suara gamelan - STFTTime frequency domain

Analisa menggunakan time-frequency domain

STFT, ∆f dan ∆t saling bergantung, untuk 1024 sampling dan samplirate 48000 Hz, ∆f = 40 Hz ∆t= 20 msWavelet, ∆f dan ∆t saling bergantung, untuk 1024 sampling dan samplirate 48000 Hz, ∆f = 16 Hz ∆t= 0.3 msAdaptive cross corellation, ∆f tidak bergantung dengan ∆t

Original “Gamelan” Notation 8

Original Waveform 9

Original gamelan notation3 5 3 5 3 6 5 6 5 6 5 6

Estimated waveform of Saron based on the template

Estimated notation of Saron3 5 3 5 3 6 5 6 5 6 5 6

Pembuatan model Saron

Spectrum Shifting to Referenced Freq 12

Each color represents a tone signal

Time Frequency “Gamelan” Model 13

Exponential Curved fitting

tfeffA )()()( βα=

Nilai parameter α dan β

0,2610-0,59795200,3381-0,59355150,5161-0,60185100,8715-0,57755051,1012-0,52335000,7422-0,51504950,4003-0,53454900,2766-0,54724850,2115-0,54914800,1726-0,55214750,1478-0,5570470

:::αβFrequency model (Hz)

Refined by exponential curve fit

Generated sound from the template

Extracted sound is built by using cross correlation

∑−

=

+=1

0),()(1),(

J

kfkyknx

Jfnr

|)),((|max)( fnrfpf

=

Algoritma : Memisahkan suara gamelan ke masing masing notasi suara saron1. Tentukan frequensi dasar masing masing notasi suara saron dengan tabel

7.4.2. n notasi pertama3. tentukan panjang setiap windownya t.4. tentukan nilai minimum frekwensi setiap notasinya5. hitung power cross density x(n) dengan menggunakan referensi model

y(f,k)6. ulangi proses 5 sampai frekwensi setiap notasinya terjadi.7. tentukan nilai maksimum cross power density yang dihasilkan pada proses

5 dan 7.8. ulangi proses 3 untuk interval waktu yang berikutnya.9. notasi berikutnya n n + 110. ulangi proses 3 sampai seluruh notasi dikerjakan

Semua kandidate notasi di sort menurut waktu ( STFT)

Adaptive Cross CorrelationGeser f dan panjang l

Pulse dan Signal

Jenis Test suara Gamelan1. Suara gamelan simulasi penuh. Didalam membuat suara

gamelan simulasi penuh, suara setiap notasinyadihasilkan dengan program penghasil suara denganmengetahui frekwensi penyusunnya. Suara musiknyadisusun dengan mengetahui notasi lagu yang ada.

2. Suara gamelan semi simulasi. Didalam suara setiap notasidiambil dari rekamaman suara notasi gamelan yang dipukul Suara musiknya disusun oleh komputer denganmengetahui notasi lagu yang ada.

3. Suara gamelan rekaman. Direkam sebuah pagelarangamelan yang secara utuh dimainkan oleh beberapapemain yang dipandu oleh sebuah notasi musiknya.

4. Suara gamelan rekaman dengan tidak diketahui notasimusiknya.

Test Data 14

1. strong hammer struck, 2. soft hammer struck, 3. the other test data is

hammers struck area,1. the lower area2. the upper area3. the center area

How to Evaluate Test DataMean Square Error (MSE) 15

where1. F is number of time2. n is number of frequency3. is data model 4. x is test data

FN

yxMSE

F

fifi

*

)(1

2^

∑=

−=

Freq (Hz)

dt

mo

Time (ms)

Power Density

^y

Model Performance 16

0.030.040.050.04STFT

0.0050.0030.0040.004CC

CenterLowerUpperMSE

SoftStrikeareastruckhammer

How evaluate notation generating performance

Performance Evaluation

94%0215041213116453Sum

100%4447

100%1212126

93%1313145

92%111111123

86%16672

75%13341

(P)(I)(L)(R)(C)7AsliNumber

PerformInsertLostReplCorrect

65321

NotasiNotation

Estimated Notation

Type : Real Gamelan Kenong, Kendang, peking

Tempo : 42 second Saron, Bonang,

Number of Notation : 53 Name of instrument : Demung, Gong,

Name Song : Manyar Sewu Number of instrument : Orchestra

%100ilro

cp+++

=

94%85%Gamelan Orchestra

97%95%3 real gamelan

100%98%1 real gamelan

100%100%3 simulated

100%100%1 simulated

Proposed Method with template

STFTTest Type

17

Conclusion 18

1. Dengan kaiser filter, frekwensi dasar suara saron dapat dipisahkan, hanya muncul masalah delay waktu yang cukup besar.

2. Dengan inverse filter, faktor harmonik dan non-harmonik sinyal dapat dipisahkan.

3. Dengan the proposed method provide 2 – 9% improvement for real gamelan performance.

4. effectiveness of template matching for pick up specified instrument and for automatic notation.

5. Future work: eliminate sounds from other instruments

Future works : slendro, pelog dan barat

1. Slendro (5) = 1200/5 = 240 cent2. Pelog (8) = 1200/8 =150 cent matrix (240) = 1200/240 = 5 cent3. Barat (12) = 1200/12 = 100 cent