föreläsning 2: grundläggande informationsteori
DESCRIPTION
TSBK02 Bild- och ljudkodning. Föreläsning 2: Grundläggande informationsteori. Författare: Jörgen Ahlberg Översättning och modifiering:Robert Forchheimer. The. Informationsteori. Claude Shannon : A Mathematical Theory of Communication. Bell System Technical Journal, 1948. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/1.jpg)
Föreläsning 2:Föreläsning 2:Grundläggande informationsteoriGrundläggande informationsteori
TSBK02 Bild- och ljudkodningTSBK02 Bild- och ljudkodning
Författare: Jörgen AhlbergÖversättning och modifiering:Robert Forchheimer
![Page 2: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/2.jpg)
InformationsteoriInformationsteori
Claude ShannonClaude Shannon: A Mathematical Theory of Communication
The
Bell System Technical Journal, 1948
Två versioner av Shannons ursprungliga publikation.
![Page 3: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/3.jpg)
Från Scientific American-artikelFrån Scientific American-artikel
””What is information? Sidestepping questions about What is information? Sidestepping questions about meaning, Shannon showed that it is a measurable meaning, Shannon showed that it is a measurable commodity”.commodity”.
””Today, Shannon’s insight help shape virtually all systems Today, Shannon’s insight help shape virtually all systems that store, process, or transmit information in digital form, that store, process, or transmit information in digital form, from compact discs to computers, from facsimile machines from compact discs to computers, from facsimile machines to deep space probes”.to deep space probes”.
””Information theory has also infiltrated fields outside Information theory has also infiltrated fields outside communications, including linguistics, psychology, communications, including linguistics, psychology, economics, biology, even the arts”.economics, biology, even the arts”.
![Page 4: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/4.jpg)
KällaKanal-
kodare
Käll-
kodare
Kanal
Käll-
avkodare
mottagareKanal-
avkodare
Kanal
Shannons KommunikationsmodellShannons Kommunikationsmodell
![Page 5: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/5.jpg)
Grundläggande storheterGrundläggande storheter
KällaKanal-
kodare
Käll-
kodare
kanal
Käll-avkodare
mottagareKanal-
avkodare
kanal
HH: Källans informationstakt.
HH
RR: Datatakten från källkodaren.
RRCC
CC
CC: Kanalkapaciteten
![Page 6: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/6.jpg)
Shannon 2Shannon 2: Källkodning och kanalkodning kan optimeras oberoende, och binära symboler kan användas som mellanformat. Förutsättning: godtyckligt lång fördröjning.
Grundläggande teoremGrundläggande teorem
KällaKanal-kodare
Käll-kodare
kanal
Käll-avkodare
mottagare
Kanal-avkodare
kanal
HH RRCC
CC
Shannon 1Shannon 1: Felfri transmission möjlig om R>H and C>R.
![Page 7: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/7.jpg)
Stokastiska källorStokastiska källor
En källa genererar En källa genererar symbolersymboler XX11, , XX22, ..., ...
Symbolerna tar sina värden från ett Symbolerna tar sina värden från ett alfabetalfabet AA = (= (aa11, , aa22, …)., …).
Modell:Modell: PP((XX11,…,,…,XXNN)) anses vara känd för alla anses vara känd för alla
kombinationer.kombinationer.
Källa X1, X2, …
![Page 8: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/8.jpg)
Exempel 1: En text är en följd av symboler som vardera tar sitt värde från alfabetetA = (a, …, ö, A, …, Ö, 1, 2, …9, !, ?, …).
Exempel 2: En (digital) gråskalebild är en sekvens av symboler som vardera tar sitt värde från alfabetet A = (0,1) eller A = (0, …, 255).
![Page 9: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/9.jpg)
Två speciella fallTvå speciella fall
1.1. Den minnesfria källanDen minnesfria källan Varje symbol är oberoende av tidigare Varje symbol är oberoende av tidigare
symbolersymboler PP((XX11, , XX22, …, , …, XXnn) = ) = PP((XX11) ) ** PP((XX22) ) ** … … ** PP((XXnn))
MarkovkällanMarkovkällan Varje symbol beror endast av föregående Varje symbol beror endast av föregående
symbol.symbol. PP((XX11, , XX22, …, , …, XXnn)) = = PP((XX11) ) ** PP((XX22||XX11) ) ** PP((XX33||XX22) ) ** … …
** PP((XXnn|X|Xnn-1-1))
![Page 10: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/10.jpg)
MarkovkällanMarkovkällan
En symbol beror endast av den tidigare En symbol beror endast av den tidigare symbolen, så källan kan modelleras med ett symbolen, så källan kan modelleras med ett tillståndsdiagram.tillståndsdiagram.
a
b
c
1.00.5
0.7
0.3
0.30.2
En ternär källa medalfabet A = (a, b, c).
![Page 11: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/11.jpg)
MarkovkällanMarkovkällan
Antag vi är i tillstånd Antag vi är i tillstånd aa, dvs., , dvs., XXkk = = aa..
Sannolikheterna för nästa symbol är:Sannolikheterna för nästa symbol är:
a
b
c
1.00.5
0.7
0.3
0.30.2
PP((XXkk+1+1 = = a | Xa | Xkk = a = a) = 0.3) = 0.3
PP((XXkk+1+1 = = b | Xb | Xkk = a = a) = 0.7) = 0.7
PP((XXkk+1+1 = = c | Xc | Xkk = a = a) = 0) = 0
![Page 12: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/12.jpg)
MarkovkällanMarkovkällan
På motsvarande sätt, om På motsvarande sätt, om XXkk+1+1 = = bb, vet vi att , vet vi att
XXkk+2+2 blir lika med blir lika med cc..
a
b
c
1.00.5
0.7
0.3
0.30.2
PP((XXkk+2+2 = = a | Xa | Xkk+1+1 = b = b) = 0) = 0
PP((XXkk+2+2 = = b | Xb | Xkk+1+1 = b = b) = 0) = 0
PP((XXkk+2+2 = = c | Xc | Xkk+1+1 = b = b) = 1) = 1
![Page 13: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/13.jpg)
MarkovkällanMarkovkällan
Om alla tillstånden kan nås så kan de Om alla tillstånden kan nås så kan de stationära sannolikheternastationära sannolikheterna i = P(Xk = ai) för för tillstånden beräknas från de givna tillstånden beräknas från de givna övergångssannolikheterna.övergångssannolikheterna.
Markovmodeller kan användas för att Markovmodeller kan användas för att representera källor som har mer än ett stegs representera källor som har mer än ett stegs minne.minne.– Använd tillståndsdiagram med flera symboler i Använd tillståndsdiagram med flera symboler i
varje tillstånd.varje tillstånd.
![Page 14: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/14.jpg)
Analys och syntesAnalys och syntes
Stokastiska modeller kan användas för att Stokastiska modeller kan användas för att analyseraanalysera en källa. en källa.– Finn en modell som väl överensstämmer med Finn en modell som väl överensstämmer med
en verklig källa. Analysera modellen istället för en verklig källa. Analysera modellen istället för verkligheten.verkligheten.
Stokastiska modeller kan användas för att Stokastiska modeller kan användas för att syntetiserasyntetisera en källa. en källa. – använd en slumpgenerator i varje steg i använd en slumpgenerator i varje steg i
Markovmodellen för att skapa en signal som Markovmodellen för att skapa en signal som simulerar källan.simulerar källan.
![Page 15: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/15.jpg)
Information och EntropiInformation och Entropi
Antag vi har en binär minnesfri källa t.ex. Antag vi har en binär minnesfri källa t.ex. slantsingling. Hur mycket information får vi då vi slantsingling. Hur mycket information får vi då vi får reda på att krona kommit upp?får reda på att krona kommit upp?– Om myntet är korrekt, dvs, Om myntet är korrekt, dvs, PP((kronakrona) = ) = PP ( (klaveklave) = 0.5, ) = 0.5,
säger vi att säger vi att mängden information är mängden information är 1 bit1 bit..– Om vi redan visste att krona kommit upp, dvs Om vi redan visste att krona kommit upp, dvs PP((kronakrona) = ) =
1, så är 1, så är mängen information lika med mängen information lika med nollnoll!!– Om myntet är osymmetriskt, t.ex., Om myntet är osymmetriskt, t.ex., PP((kronakrona) = 0.9, så är ) = 0.9, så är
mängden information mängden information mer än noll men mindre än en bitmer än noll men mindre än en bit!!– Intuitivt, mängden information som tas emot Intuitivt, mängden information som tas emot är är
densammadensamma om om PP((kronakrona) = 0.9 or ) = 0.9 or PP ( (klaveklave) = 0.9.) = 0.9.
![Page 16: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/16.jpg)
SjälvinformationSjälvinformation
Låt oss se detta på Shannons sätt.Låt oss se detta på Shannons sätt. Antag vi har en minnesfri källa medAntag vi har en minnesfri källa med
– alfabet alfabet AA = (= (aa11, …, a, …, ann))
– symbolsannolikheter symbolsannolikheter ((pp11, …, p, …, pnn))..
Hur mycket information får vi när vi får reda Hur mycket information får vi när vi får reda på att nästa symbol är på att nästa symbol är aaii??
Enligt Shannon är Enligt Shannon är självinformationensjälvinformationen för för aaii
lika medlika med
![Page 17: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/17.jpg)
Varför det?Varför det?Antag Antag två oberoende händelsertvå oberoende händelser AA and and BB, med, medsannolikheterna sannolikheterna PP((AA)) = p = pAA and and PP((BB)) = p = pBB..
Sannolikheten att båda händelserna skall inträffa är Sannolikheten att båda händelserna skall inträffa är ppAA ** ppBB. Däremot bör . Däremot bör mängden informationmängden information
adderasadderas, ej multipliceras., ej multipliceras.
Logaritmering löser detta!
Dessutom vill vi att informationen skall öka med minskande sannolikhet så låt oss byta tecken:
![Page 18: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/18.jpg)
SjälvinformationSjälvinformation
Exempel 1:Exempel 1:
Exempel 2:Exempel 2:
Vilken logaritm?Vilken logaritm? Välj själv! Om du väljer naturliga logaritmen blir sorten Välj själv! Om du väljer naturliga logaritmen blir sorten natsnats, , om du väljer 10-log, får du om du väljer 10-log, får du HartleysHartleys, om du väljer 2-log (som är vanligast), så , om du väljer 2-log (som är vanligast), så får du får du bitarbitar..
![Page 19: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/19.jpg)
SjälvinformationSjälvinformation
HH((XX)) kallas för första ordningens kallas för första ordningens entropientropi för källan. för källan.
Detta kan också betraktas som graden av osäkerhet Detta kan också betraktas som graden av osäkerhet om vad nästa symbol kommer att ha för värde.om vad nästa symbol kommer att ha för värde.
I I medel över alla symbolernamedel över alla symbolerna, så får vi:, så får vi:
![Page 20: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/20.jpg)
EntropiEntropi
Exempel l:Exempel l: Binär minnesfri källa
BMK 0 1 1 0 1 0 0 0 …
1
0 0.5 1
Osäkerheten (informationen) är störst när
kallas oftaDå är
Låt
![Page 21: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/21.jpg)
Entropi: Tre egenskaperEntropi: Tre egenskaper
1.1. Man kan visa att Man kan visa att 0 0 << HH << log Nlog N..
2.2. Maximal entropiMaximal entropi ( (H = log NH = log N) fås när alla ) fås när alla symboler är symboler är lika sannolikalika sannolika, dvs,, dvs,ppii = = 11/N/N..
3.3. Skillnaden Skillnaden log N – Hlog N – H kallas kallas redundansenredundansen hos källan.hos källan.
![Page 22: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/22.jpg)
Entropi för minneskällorEntropi för minneskällor
Antag ett block av källsymboler Antag ett block av källsymboler ((XX11, …, , …, XXnn))
och definiera och definiera blockentropinblockentropin::
Entropin för en minneskälla Entropin för en minneskälla definieras som:definieras som:Dvs, summationen görs över alla möjliga kombinationer av Dvs, summationen görs över alla möjliga kombinationer av nn symboler. symboler.
Dvs, låt blocklängden gå mot oändligheten.Dvs, låt blocklängden gå mot oändligheten.Dividera med Dividera med nn för att få antal för att få antal bitar / symbolbitar / symbol..
![Page 23: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/23.jpg)
Entropin för en MarkovkällaEntropin för en Markovkälla
Entropin för ett tillstånd SEntropin för ett tillstånd Skk kan uttryckas som kan uttryckas som
Medelvärdesbildning över alla tillstånd gerMedelvärdesbildning över alla tillstånd gerentropin för Markovkällanentropin för Markovkällan
PPklkl är övergångssannolikheten från tillstånd är övergångssannolikheten från tillstånd kk till tillstånd till tillstånd ll..
![Page 24: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/24.jpg)
SkurlängdskällanSkurlängdskällan Vissa källor genererar långa Vissa källor genererar långa skurarskurar (”runs”)(”runs”) av samma av samma
symboler.symboler. Exempel:Exempel:
Sannolikheten för en skur av längd Sannolikheten för en skur av längd rr: : PP((rr)) = = ((1-1-))r-1r-1 EntropiEntropi: : HHRR = - = - r=1r=1
PP((rr) ) loglog PP((rr)) Om den genomsnittliga skurländgen är Om den genomsnittliga skurländgen är , så är , så är HHRR// = =
HHMM..
A B
![Page 25: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/25.jpg)
KällkodningsteoremetKällkodningsteoremet
Entropin ger det minsta antalet bitarEntropin ger det minsta antalet bitarsom möjliggör felfri representation av källan.som möjliggör felfri representation av källan.
![Page 26: Föreläsning 2: Grundläggande informationsteori](https://reader031.vdocument.in/reader031/viewer/2022013101/568134c2550346895d9be4ac/html5/thumbnails/26.jpg)
KällkodningsteoremetKällkodningsteoremet
SägerSäger– att vi kan representera utsignalen från en källa att vi kan representera utsignalen från en källa
XX med med HH((XX)) bitar/symbol. bitar/symbol.– att vi inte kan göra bättre än så.att vi inte kan göra bättre än så.
Säger oss inteSäger oss inte– Hur man gör.Hur man gör.