bandwidth expansion of narrow band speech using linear prediction

1

Bandwidth Expansion of Narrow band Speech using Linear

PredictionBjarke Andersen, Jakob Dyreby, Brian Jensen, Frederik Holmelund

Kjærskov, Ole Lodahl Mikkelsen, Peter Drustrup Nielsen, Henrik Zimmermann

Group 742Institute of Electronic Systems

Department of Communications TechnologyAalborg University, 2004

2

Agenda

• Præsentation fra Semcon conference

• Poster præsentation

• Abstract

• Arbejdsmetodik og arbejdsblade

• Envelope

• Excitation

• Artikel

3

• Bandwidth of speech is more than 8 kHz

• Limited bandwidth of todays system

• Too expensive to expand current telephone systems.

• Expansion at the receiving end of the telephoneline

Todays Narrow band telephone systems

8[kHz]

0

[dB]

0.3 3.4[kHz]

[dB]

80[kHz]

[dB]

4

LPsynthesis

Envelopeextension

LPanalysis

LPestimation

Excitationextension

Narrow bandspeech

Wide bandspeech

Codebook

Envelope Estimation

•Transforms the LPC coefficients into LSF (Line Spectrum Frequency)

•Codebook used for prediction of upper frequencies

LSFtransform

Codebookmapping

Inv. LSFTransform

LPsynthesis

Envelopeextension

LPanalysis

LPestimation

Excitationextension

Narrow bandspeech

Wide bandspeech

Codebook

System overview

6

LPsynthesis

Envelopeextension

LPanalysis

LPestimation

Excitationextension

Narrow bandspeech

Wide bandspeech

Codebook

Excitation Estimation

•Modulation moves the frequency

•Pitch detection estimates the fundamental frequency

Modulation

Adding ofpitch

7

The result

Telephoneswitch

Telephoneswitch

BandwidthExpansion

Public telephone system At the user

8

Poster præsentation

Frederik

10

Kommunikative virkemidler• Bygget op omkring IMRaD-modellen• Centralt placerede figurer• Selvforklarende figurer• Kortfattet tekst• Tekst underbygges af figurer

11

Abstract

Peter

12

AbstractOversigt Titel Introduktion Metoder Resultater Diskussion

• Titel

• IMRaD– Introduktion– Metoder– Resultater– Diskussion

13

Abstract Oversigt Titel Introduktion Metoder Resultater Diskussion

• Beskrive rapporten så præcist som muligt

• Skal ikke være for lang

• Skal præsentere ”key words”.

• Bandwidth Expansion of Narrowband Speech using Linear Prediction

14


• Beskrivelse af problemstillingen

• Uddybelse af problem, så læseren ikke er i tvivl om hvad projektet handler om

• Kan bruges som en ”appetitvækker”

• ”...,thus making the speech sound more realistic and pleasant”

15


• Forklaring af brugte metoder

• Forklaring af løsningsforslag

• Inddrag ikke resultater i Metoder

• Signal split into two parts....

• LP coefficient → LSF coefficient

• LSF codebook

16


• Forklaring af testmetode

• Præsentation af relevante resultater, evt. Ikke alle resultater fra projektet.

• ”Spectrograms of the reconstructed wideband signal verified.....”

• ”Convergence measurements ranging.....”• Listening test

17


• Opsummerer de mest relevante resultater

• Diskuterer resultaterne

• Diskuterer fremtidigt arbejde

• ”The algorithm for wideband expansion proved to work...”

• ”However, unwanted artefacts developed in the reconstruction af the wideband signal”

18

Arbejdsmetodik og arbejdsblade

Ole

19

Arbejdsmetoder

• Projektet blev delt op i flere mindre dele

• Hver del blev undersøgt og behandlet af 1-3 personer

• Dele og grupper blev løbende revideret

• Alle undersøgelser og behandlinger blev beskrevet i arbejdsblade

20

• Envelope and excitation evaluation• Listening test• Overview of the human speech system• Framing and deframing• LPC modeling of vocal tract

• Vector Quantization• Codebook training• Generating the codebook for speech enhancement• The K-means Clustering Algorithm

• Excitation extension• Cepstral signal analysis for pitch detection• Pitch detection• Telephone filter• Reflection Coefficients• Line Spectrum Pairs

LPsynthesis

Envelopeextension

LPanalysis

LPestimation

Excitationextension

Codebook

Arbejdsblade

21

Envelope

Brian

22

Envelope

• Vocal tract model

• Line Spectrum Frequency

• Codebook

• Spectral distortion

23

Vocal tract model

W

-

+

FIR

Impuls generator/ white noise

1

H(z)

Predictions error filterVocal tract model

( )n-1u n | U

(u n)

(u n- 1)

(v n) (e n)

-1z

Sound production

H(z)

24

Line Spectrum Frequency

25

Final codebook

Narrow bandtraining data

K-meansNarrow band

codebook(2048 x 10)

Wide bandtraining data

IndexWide bandcodebook

(2048 x 20)

Codebook

26

Spectral distortion

Mål : Spectral distortion < 1dB

27

Excitation

Jakob

28

• Ønsket funktionalitet

• Filtrering og opsampling

• Rekonstruktion af residualsignal

Excitation Extension

29

• Rekonstrueret residualsignal lig originalt

• Genskabe amplitudespektrum

• Karakteristika

• Filtreringsproblem

Ønsket funktionalitet

0 1000 2000 3000 4000 5000 6000 7000 80000

0.5

1

1.5

2

Frequency

Am

plit

ud

e

0 1000 2000 3000 4000 5000 6000 7000 80000

0.5

1

1.5

2

Frequency

Am

plit

ud

e

30

• Telefilter

-HP-filter: fp = 300 Hz fs = 250 Hz

-LP-filter: fp = 3400 Hz fs = 3450 Hz

Filtrering og opsampling

• Residualfilter

-HP-filter: fp = 350 Hz fs = 300 Hz

-LP-filter: fp = 3350 Hz fs = 3400 Hz

4

f [kHz]

2

Am

plitude

4

f [kHz]

2

Am

plitude

31

• Modulation

• Addition af hvid støj

Rekonstruktion

Upsample &Filtering

exp(jn)

HP-filter

Excitationsignal Output

HP-filter

Whitenoise

Pitchdetector

Sinegenerator

Speechsignal

G1

G2

G3

84 6

f [kHz]

2

Am

plitude

84 6

f [kHz]

2

Am

plitude

84 6

f [kHz]

2

Am

plitude

32

• Addering af pitchfrekvens

• Tilpasning af fase

• Problem ved segmentoverlap

Rekonstruktion

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.6

0.8

1

Forbedringer

• Midling af pitch

• Kalman-filter

• Pitchdetektion af svage signaler

33

Gennemgang af artikel

Bjarke

34


Abstract Introduktion Metoder Resultater Diskussion / konklusion

Gennemgang• IMRaD

• Indhold og opbygning af afsnit

• Videnskabelig fremgangsmetode(r)

• Særlig fokus på resultater / konklusion

35

Gennemgang af artikelArtiklens opbygning

Problemstilling

Undersøgelse af løsnings-metoder

Valg af løsnings-metode

Anvendelse af nye / kombination af eksisterende metoder

Videnskabelig gen-nemgang af metoder

Test metoder og resultater af tests

Vurdering af resultater

Konklusion

36



Indhold• Kort beskrivelse af problemstilling

• Anvendte metoder i løsning

• Resultat

37


Problemstilling• Telefonsystem båndbrede begrænset (300-3400 Hz)

• Mål: Båndbrede på 80-8000 Hz

Løsning• Undersøgt eksisterende løsninger / ideer

- Problemstilling ikke løst

• Arbejde videre med eksisterende idé

• Mål: Finde / forbedre metoder til implementering af idé


38


Eksisterende metoder• Anvendelse af metoder

• Kombination af metoder

Nye ideer• LPC LSF koefficienter

• Anvendelse af kodebog

• Modulation af residual signal


39


Test metoder• Matematisk - Talstørrelse for godhed

• Visuelt - Identificering af mangler

• Lyttetest - Overordnet resultat

Mål med test• Sammenligne resultater

• Identificering af problemer i metoder

• Brugeres vurdering af metoder


40

Vurdering af resultater• Matematiske resultater

• Visuelle resultater

• Lyttetest resultater

Konklusion• Båndbredeudvidelse opnået

• Metoder mangler videre udvikling



• Spectral Distortion

- 5,3 < μ < 7,0 dB

- 2,4 < σ2 < 7,4 dB2

- Ingen spectral transparency (1,0 dB)

• Forklaringer

- Kodebog er mangelfuld

- Sammenhæng mellem bånd utilstrækkelig

• Spectrogrammer

- Tilføjet komponenter til øvre bånd

- Unvoiced lyd gengives ultilstrækkeligt i øvre bånd

- Sinus element tilføjet upræcist i nedre bånd

• Forklaringer

- Envelope extension virker utilstrækkelig i øvre bånd

- Excitation extension virker utilstrækkelig i nedre bånd

• A/B test

- Original telefon signal fortrukket

• Forklaringer

- Artefakter introduceret i signal

- Utiltrækkelig gengivelse af unvoiced lyd

bandwidth expansion of narrow band speech using linear prediction

Documents

the receiving

thus making the speech

s lseren

jakob dyreby

henrik zimmermanngroup

ole lodahl mikkelsen

peter drustrup nielsen

frederik holmelundkjrskov