quaker

Vage predicaten Bayesiaans logisch programmeren

GeloofsnetwerkenGraad van geloof

Drie soorten onzekerheid

Quaker

A name given to members of the Religious Society of Friends in England when, in his defense, the leader of the Society said that the English judge would be the one to quake with fear before God on his Day of Judgment.




Opdracht 0 - punten

0

2

4

6

8

10

12

<5,5 6-6,5 7-7,5 8-8,5 9-9,5 >9,5

aantal

Gemiddelde: 7,83 Standaardafwijking: 1,41




Voorstellen en redeneren over kennis: onzekerheid en vaagheid




Tot nu toe

Eerste orde logica

Te zwak: niet-monotoon

redeneren

Te zwak: onzekerheid en vaagheid




Waar komt de vaagheid voor?

Verder is het ook zeker, dat de meeste aanhalingen van Schriftuurlyke Spreekwyzen in den dagelykschen omgang laf en ongepast zyn. (De Denker, deel 1, 1763).

Graad van geloof:

Hoe zeker is zeker?

Statistiek:Wat zijn

“de meeste”?

Vage predikaat:

Hoe ongepast?




Drie soorten vaagheid

“Ik geloof dat p geldt voor alle x”

8x p(x)

Graad van geloof:

Hoe zeker is zeker?

Statistiek:Wat zijn

“de meeste”?

Vage predikaat:

Hoe ongepast?

Dat weten jullie al…




• “…meestal lezen de meeste studenten het boek dan heel slecht.” Magda Oude Stegge Intervjoe met de schrijver W. F. Hermans.

• Welke vormen van onzekerheid komen hier aan bod?

A. Graad van geloofB. StatistiekC. Vage predikaten




Graad van geloof = waarschijnlijkheid

Graad van geloof:

Hoe zeker is zeker?

• CBS: 16% van de Nederlanders zijn rijk.

• In welke mate geloven we dat X rijk is? – P(X is rijk | X is een Nederlander) = 0.16 – a priori waarschijnlijkheid

• Nieuwe feit: X is tussen 18 en 25.– P(X is rijk | X is een Nederlander Æ X is tussen

18 en 25) = 0.10– a posteriori waarschijnlijkheid




Ter herinnering: voorwaardelijke kans

• P(|) = P(Æ )/P()

• is onafhankelijk van als P(|) = P()– Kop/munt is onafhankelijk van de vorige uitslag– P(Æ) = P()*P()

• is afhankelijk van als P(|) P()– Rijkdom is afhankelijk van de leeftijd

Graad van geloof:

Hoe zeker is zeker?




Probleem

• is afhankelijk van n basisvariabelen die van mekaar afhankelijk zijn: 1, …, n

• Dus als over {a1,…, ak} en over {b1,…, bm} voor alle i: – P( ai|1 = bi1 Æ…Æn = bin

)

• k*nm voorwaardelijke kansen!• Kortschrift: als over {true, false}

– betekent = true– : betekent = false




Niet alles is afhankelijk van alles!

0

1

2

3

4

P(0|1)

P(0|:1)

P(1|3Æ 4)

P(1|:3Æ 4)

P(1|3Æ :4)

P(1|:3Æ :4)

P(2|3)

P(2|:3)

P(3)

P(4)

Gerichte acyclische graaf:

knopen: variabelen

kanten: (i,j) als en slechts als j afhankelijk is van i.

Aanname:

P(i|1Æ …Æ n) = P(i|parents(i))

Voorwaardelijke kansverdeling (VKV)




Thomas Bayes

• 1702 (Londen) -1761 (Kent)• Presbyteriaans predikant• Wiskundige• Stelling van Bayes:

– P(|) = P(|)P()/P()– gepubliceerd door Laplace– geïnspireerd door een

postuum paper van B.(1763)




Bayesiaans geloofsnetwerk

P(i|1Æ …Æ n) = P(i|parents(i))

Dus

P(1Æ …Æ n) = ni=1P(i|parents(i))

P(1Æ 2) = P(1Æ 2Æ *3Æ …Æ *

n)

waar *i betekent of i of : i

en is op alle mogelijke combinaties




• P(s|g) = P(sÆg)/P(g)• P(sÆg) =

P(bÆsÆrÆg) +

P(:bÆsÆrÆg) +

P(bÆsÆ:rÆg) +

P(:bÆsÆ:rÆg)

P(b)P(s|b)P(r|b)P(g|s,r) = 0.5*0.1*0.8*0.99 = 0.0396

P(:b)P(s|:b)P(r|:b)P(g|s,r) = 0.5*0.5*0.2*0.99 = 0.0495

P(b)P(s|b)P(:r|b)P(g|s,:r) = 0.5*0.1*0.2*0.9 = 0.009

P(:b)P(s|:b)P(:r|:b)P(g|s,:r) = 0.5*0.5*0.8*0.9 = 0.18

= 0.2781

brs

g

P(b) = 0.5P(s|b) = 0.1P(s|:b) = 0.5

P(g|sÆ r) = 0.99P(g|sÆ :r) = 0.9P(g|:sÆ r) = 0.9P(g|:sÆ :r) = 0.0

P(r|b) = 0.8P(r|:b) = 0.2




Huiswerk 7

• Combinatieregel F – P(|*

1Æ …Æ *n) = F(P(|

1), …, P(|n))

• Deterministische combinatieregels:– logische Ç, Æ, :– numerieke: min, max, avg.

• “Noisy-OR”• Maak een overzicht van verschillende

combinatieregels.• Deadline: 1 mei 2007.




Hoofdpijndiagnose

• http://www.symptomedix.com/cgi-bin/diagnose.cgi

• Met dank aan Rom, Coen, Paul en Diana




• P(|1Æ …Æ

n) = 1 - (1 – p0)i(1 – P(|i))i.

– p0 – kans dat gegeven geen enkel van i’s

– i: i = 1, :i = 0

• P(|1) = 0.6

• P(|2) = 0.7

• p0 = 0.001

• Bereken P(|1Æ 2) = 0.8812




Bayesiaans logisch programmeren

• Clausule overval(X) | wijk(X) betekent…

overval wijk

true = 0.3 goed

false = 0.7 goed

true = 0.4 middelmatig

false = 0.6 middelmatig

true = 0.6 slecht

false = 0.4 slecht

² ´ `

Als Jaap in een goede wijk woont: wijk(jaap) = goed dan is de kans op overval 0.3.




AB, A, B, 0 ² ´ `




Bloed

vader moeder

vaderlijk chromosoom

moederlijk chromosoom

² ´ `




Bloed

• bloedtype(X) | mc(X), pc(X)• mc(X) | moeder(Y,X), mc(Y), pc(Y)• pc(X) | vader(Y,X), mc(Y), pc(Y)• moeder(beatrix,willem-alexander)• vader(klaus, willem-alexander)• mc(beatrix).• pc(beatrix).• mc(klaus).• pc(klaus).

bt(wa) mc(wa) pc(wa)

a = 0.97 a a

mc(wa) mc(bx) pc(bx)

a = 0.98 a a

… … …

mc(beatrix)

0 = 0.45

…

² ´ `




Goed gedefinieerde BLPs

• Goed gedefinieerd:– Ieder atoom is afhankelijk van eindig veel

andere atomen– Afhankelijkheidsgraaf van atomen is acyclisch

• Stelling: P is goed gedefinieerd) de kansverdeling is uniek

² ´ `




• bloedtype(X) | mc(X), pc(X)• mc(X) | moeder(Y,X), mc(Y), pc(Y)• pc(X) | vader(Y,X), mc(Y), pc(Y)• moeder(beatrix,willem-alexander)• vader(klaus, willem-alexander)• mc(beatrix).• pc(beatrix).• mc(klaus).• pc(klaus).


a = 0.97 a a


a = 0.98 a a

… … …

mc(beatrix)

0 = 0.45

…

² ´ `




Rekenen met BLPs

• “Luiaardprincipe”

• Goed gedefinieerde BLP ) Bayesiaans geloofsnetwerk (zgn. het ondersteunende netwerk) ) rekenen

² ´ `




Berekenen van het ondersteunende netwerk:

1) Resolutiebloedtype(wa)

mc(wa), pc(wa)

moeder(wa,bx), mc(bx), pc(bx), pc(wa)

mc(bx), pc(bx), pc(wa)

pc(bx), pc(wa)

pc(wa)

vader(wa,kl), mc(kl), pc(kl)

mc(kl), pc(kl)

pc(kl)

² ´ `





2)Verzamel alle gesloten atomen

bloedtype(wa)

mc(wa)

pc(wa)

pc(beatrix)mc(beatrix)moeder(wa,beatrix)

vader(wa,klaus)

mc(klaus)

pc(klaus)

² ´ `





3) Voeg de VKVs toe

bloedtype(wa)

mc(wa)

pc(wa)

pc(beatrix)mc(beatrix)moeder(wa,beatrix)

vader(wa,klaus)

mc(klaus)

pc(klaus)


a = 0.97 a a


a = 0.98 a a

pc(wa) mc(kl) pc(kl)

a = 0.98 a a

mc(bx)

0 = 0.45

pc(bx)

0 = 0.45

mc(kl)

0 = 0.45

pc(kl)

0 = 0.45

² ´ `




weer(0)

zonnig = 0.5

regenachtig = 0.5

weer(volgend(volgend(Tijdstip))) weer(volgend(Tijdstip)) weer(Tijdstip)

zonnig = 0.9 regenachtig = 0.1 zonnig zonnig

zonnig = 0.4 regenachtig = 0.6 regenachtig zonnig

zonnig = 0.4 regenachtig = 0.6 zonnig regenachtig

zonnig = 0.2 regenachtig = 0.8 regenachtig regenachtig

• Dweer = {zonnig, regenachtig}

• weer(0). weer(volgend(0)).• weer(volgend(volgend(Tijdstip))) |

weer(Tijdstip), weer(volgend(Tijdstip))

• Hoeveel kanten heeft het ondersteunende netwerk voor weer(volgend4(Tijdstip))?

weer(volgend(0))

zonnig = 0.5

regenachtig = 0.5

² ´ `




weer(0)

weer(volgend(0))

weer(volgend(volgend(0))

weer(volgend4(0))

weer(volgend3(0))

² ´ `




Meerdere regels?

• Maak extra knoppen voor de regels en

• Gebruik de combinatieregels!

p(a)

q(a), r(b) s(a,b),t(c)

p(X):- q(X), r(Y).

p(X):- s(X,Y), t(Z).

q(a) r(b) s(a,b) t(c)

p(X):-q(X), r(Y)

p(a)

p(X):-s(X,Y), t(Z)

combinatieregel

² ´ `




Bayesiaans netwerk als Bayesiaans logisch

programma

• Knop = predikaat zonder argumenten

• Kant = clausule– VKV = VKV– Twee afhankelijke redenen: conjunctie– Twee onafhankelijke redenen: combinatie

² ´ `




P(regen|bewolkt) = 0.8P(regen|:bewolkt) = 0.2

Bewolkt

Regen

Sprinkler Gras is nat

P(bewolkt) = 0.5

P(sprinkler|bewolkt) = 0.1P(sprinkler|:bewolkt) = 0.5

P(gras|sprinklerÆ regen) = 0.99P(gras|sprinklerÆ :regen) = 0.9P(gras|:sprinklerÆ regen) = 0.9P(gras|:sprinklerÆ :regen) = 0.0

Hoeveel clausules telt het Bayesiaanse logische programma voor dit netwerk?

A. 2 B. 3 C. 4 D. 5




Logisch programma als Bayesiaans logisch

programma• Voor alle predikaten: domein = {true, false}• VKV: A | A1, …, An

• Combinatieregel: max (of or)

pred(A) pred(A1) … pred(An)

true = 1.0 true … true

false = 1.0 false … true

… ... … …

false = 1.0 false … false

² ´ `




Bayesiaans logisch programmeren: voor- en

nadelen

• Verenigend raamwerk voor twee vormen van redeneren:– probabilistisch (bayesiaanse geloofsnetwerken)– logisch (logisch programmeren)

• Kan gebruikt worden voor het machinaal leren

² ´ `




Profile/Balios




Huiswerk 8

• Balios – onderdeel van Profile-suite

• Bespreek Balios– uitdrukkingskracht vs. efficiëntie – bijkomende eigenschappen – sterke en zwakke punten

• Deadline: 1 mei 2007.




Drie soorten vaagheid

“Ik geloof dat p geldt voor alle x”

8x p(x)

Graad van geloof:

Hoe zeker is zeker?

Statistiek:Wat zijn

“de meeste”?

Vage predikaat:

Hoe ongepast?

Dat weten jullie al…

Dat hebben we net

besproken…




Vage predikaten

• “…meestal lezen de meeste studenten het boek dan heel slecht.” Magda Oude Stegge Intervjoe met de schrijver W. F. Hermans

• “Een boeiend, maar vrij zwak debuut” S. Vestdijk in “Over Conserve. De eerste roman van W. F. Hermans”

• “De fantasiemachine is dan ook nogal sexueel geladen.” Wilbert Smulders “Succesvolle mislukkingsmachines: Het thema ‘machine’ in het werk van W.F. Hermans”




Vage predikaten

• Geen kansen!

binnen nog binnen nog buiten buiten

binnen = 1

binnen = 0,8

binnen = 0,5 binnen = 0,2 binnen = 0,0




Vage predikaten

• Meeting: hoogte, onthoudingspercentage, …

• Functie van een meeting naar een graad [0,1] van het predikaat

0

0,2

0,4

0,6

0,8

1

150cm 160cm 170cm 180cm 190cm 200cm 210cm

Klein

Groot

Vage predikaat:

Hoe ongepast?




Vage predikaten

• Jan, 180 cm, is dus– Klein [0.2]– Groot [0.7]

0

0,2

0,4

0,6

0,8

1

150cm 160cm 170cm 180cm 190cm 200cm 210cm

Klein

Groot

Vage predikaat:

Hoe ongepast?




• “Heel P”(x) = P(x)2

– Jan is klein: 0.2– Jan is heel klein: 0.04

• “Min of meer P”(x) = √P(x)– Jan is min of meer klein: 0.447

• “Niet P”(x) = 1 – P(x)– Jan is niet klein: 0.8

Heel, min of meer, …Vage

predikaat:Hoe

ongepast?




• Piet is minder gelukkig dan niet min of meer gelukkig.

• Riet is meer gelukkig dan niet heel gelukkig.

Wie is gelukkiger Piet of Riet?A. PietB. RietC. Niet voldoende gegevens

Vage predikaat:

Hoe ongepast?




Johnbig = 0.7

strong = 0.8

Billbig = 0.9

strong = 0.7

Leebig = 0.8

strong = 0.9

Vage predikaat:

Hoe ongepast?




Conjuncties en disjuncties

• Graad van P Æ Q = min(graad van P, graad van Q)

• Graad van P Ç Q = max(graad van P, graad van Q) John

big = 0.7strong = 0.8

Billbig = 0.9

strong = 0.7

Leebig = 0.8

strong = 0.9

Vage predikaat:

Hoe ongepast?




Rekenen met vaagheidVage

predikaat:Hoe

ongepast?




Bediening

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

slecht

uitstekend

slecht = 0.6

uitstekend = 0

Vage predikaat:

Hoe ongepast?




Eten

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

stinkt

lekker

stinkt = 0

lekker = 0.8

Vage predikaat:

Hoe ongepast?




Regel 1

• slecht (0.6); stinkt (0.0) ) disjunctie (0.6)

00,10,20,30,40,50,60,70,80,9

1

0 2,5 5 7,5 10

krenterig

Snij af op 0.6!

Vage predikaat:

Hoe ongepast?




Regel 2

• uitstekend (0.0); lekker (0.8) ) disjunctie (0.8)

00,10,20,30,40,50,60,70,80,9

1

0 2,5 5 7,5 10

genereus

Snij af op 0.8!

Vage predikaat:

Hoe ongepast?




Twee regels te samen

• Vind het centrum van het gebied onder het graaf– In ons geval x0 = 5,7.

– Dus, 5,7% fooi!

00,10,20,30,40,50,60,70,80,9

1

krenterigafgesneden

genereusafgesneden

Vage predikaat:

Hoe ongepast?




Wat hebben we gedaan?

1. De graden berekend van a) De vage predikaten.

b) De lichamen van de regels.

c) De hoofden van de regels (afsnijden).

2. Alle grafen samengebracht.

3. Een antwoord gepreciseerd.

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

slecht

uitstekend

slecht (0.6); stinkt (0.0) ) disjunctie (0.6)

00,10,20,30,40,50,60,70,80,9

1

krenterigafgesneden

genereusafgesneden




Andere mogelijkheden…

• Andere combinatieregels dan min/max voor conjuncties en disjuncties.

• Andere manier om de graden van het hoofd te berekenen.

00,10,20,30,40,50,60,70,80,9

1

0 2,5 5 7,5 10

00,10,20,30,40,50,60,70,80,9

1

0 2,5 5 7,5 100

0,10,20,30,40,50,60,70,80,9

1

0 2,5 5 7,5 10

Afsnijd

enVerkleinen

Vage predikaat:

Hoe ongepast?




Huiswerk 9

• Bespreek ten minste – een andere combinatieregel en – een andere manier om de graden van het

hoofd te berekenen.

• Deadline: 1 mei 2007.




• Een mens is gelukkig als hij gezond is en goed verdient.• goede_loon(X) = (X – 1300) / 1000.

– X – netto loon per maand, tussen 1300 en 2300.– Als het loon < 1300 dan is die goed [0.0]– Als het loon > 2300 dan is die goed [1.0]

• goede_gezondheid = (5 – X)/5.– X – percentage van maandelijkse inkomsten uitgegeven voor

de gezondheidszorg– Als X > 5 is, is gezondheid goed [0.0]

• Jan. Loon 1900 euro, gezondheidsuitgaven: 2,3%• Om gelukkiger te worden moet Jan

A. aan zijn carrière werken (loon verhogen), ofB. aan zijn gezondheid werken (uitgaven verlagen)?

Vage predikaat:

Hoe ongepast?




Vage predikaten - herbekeken

• Jan, 180 cm, is dus– Klein [0.2]– Groot [0.7]

0

0,2

0,4

0,6

0,8

1

150cm 160cm 170cm 180cm 190cm 200cm 210cm

Klein

Groot

• P(klein(Jan)|lengte(Jan) = 180 cm) = 0.2• P(groot(Jan)|lengte(Jan) = 180 cm) = 0.7

Vage predikaat:

Hoe ongepast?




Wat hebben we gedaan?

• Drie soorten onzekerheid:– Graad van geloof, statistiek, vaagheid

• Graad van geloof:– Bayesiaanse geloofsnetwerken,– Bayesiaanse logische programma’s

• Statistiek: kennen jullie al• Vaagheid:

– Vage predicaten en regels

Vage predikaat:

Hoe ongepast?

Graad van geloof:

Hoe zeker is zeker?

quaker

Documents

pbsrg p

p prijkdom

de berekeningpg

de schrijver

de sprinkler

de leeftijdgraad

de nederlanders

de gras