biofysische scheikunde: statistische mechanica -...
TRANSCRIPT
EntropieSamenvatting
Biofysische Scheikunde: StatistischeMechanica
Entropie
Lieven Buts
Vrije Universiteit Brussel
27 november
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
EntropieSamenvatting
Outline
1 EntropieStatistische Definitie van EntropieMultidimensionele Analyse
2 Samenvatting
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
Outline
1 EntropieStatistische Definitie van EntropieMultidimensionele Analyse
2 Samenvatting
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
Taylorreeksen en Benaderingen
Als men de waarde van een functie f op een punt a kent, kanmen de reeksontwikkeling van Taylor gebruiken om f op eenpunt x in de buurt van a te berekenen:
f (x) = f (a) +(
dfdx
)x=a
(x− a) +12
(d2fdx2
)x=a
(x− a)2 + . . .
De algemene vorm voor de termen is
1n!
(dnfdxn
)x=a
(x− a)n
Door alleen de eerste termen van de reeks te nemen, bekomtmen een benadering die een compromis is tussennauwkeurigheid en complexiteit.
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
De Stirlingbenadering
Een belangrijke toepassing van de Taylormethode is deStirling-benadering voor de faculteitsfunctie:
n! ≈√
2πn(n
e
)n
Hieruit volgt
ln(n!) ≈ 12
ln(2π) +(
n +12
)ln(n)− n
wat voor n > 10 nog verder vereenvoudigd kan worden tot
ln(n!) ≈ n. ln(n)− n⇔ n! ≈(n
e
)n
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
Multipliciteit Anders BekekenVoor N worpen van een eerlijke dobbelsteen met t zijdenvinden we de volgende multipliciteit:
W =N!
n1!.n2!.....nt!Door de kortste vorm van de Stirlingbenadering te gebruikenwordt dit:
W ≈ (N/e)N
(n1/e)n2 .(n2/e)n2 .....(nt/e)nt
=NN
nn11 .n
n22 .....n
ntt
=Nn1+n2+···+nt
nn11 .n
n22 .....n
ntt
=(
Nn1
)n1
.
(Nn2
)n2
. · · · .(
Nnt
)nt
=1
pn11 .p
n22 .....p
ntt
Definitie van de EntropieUit W = 1/(pn1
1 .pn22 .....p
ntt ) volgt:
ln W = −(n1 ln(p1) + n2 ln(p2) + ...+ nt ln(pt))
en
ln WN
= −(n1
N. ln(p1) +
n2
N. ln(p2) + ...+
nt
N. ln(pt))
= −(p1. ln(p1) + p2. ln(p2) + ...+ pt. ln(pt))
= −t∑
i=1
pi. ln(pi)
Op basis hiervan wordt de entropie SN voor N gebeurtenissengedefinieerd als
SN = k.ln(W) = −kNt∑
i=1
pi. ln(pi)
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
De Korte Verantwoording
Deze functionele vorm voor de entropie werd gekozen op basisvan praktische en theoretische overwegingen, waaronder hetprincipe van gelijkmatige verdeling van energiebijdragen ("fairapportionment"). Een belangrijk aspect is dat de entropie metdeze definitie een extensieve grootheid is: als de entropie vaneen systeem A SA = k ln(WA) is, en die van systeem BSB = k ln(WB), dan is de gecombineerde multipliciteit van detwee systemen W = WAWB, en de gecombineerde entropieS = k ln(WAWB) = k ln(WA) + k ln(WB) = SA + SB.
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
Een RekenvoorbeeldWe beschouwen een systeem met N dipolen, die in vierverschillende oriëntaties (north, east, south en west; n, e, s enw) kunnen voorkomen. Dit zijn een aantal mogelijkekansverdelingen voor dit systeem:
De verdeling met alle dipolen in dezelfde oriëntatie heeft delaagste entropie: S/k = −1. ln(1) = 0. De meer gelijkmatigeverdelingen hebben respectievelijk S/k = 0.69 en S/k = 1.33.De "vlakste" distributie tenslotte heeft de hoogste entropie:S/k = −4 1
4 ln(14) = ln 4 = 1.39
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
Outline
1 EntropieStatistische Definitie van EntropieMultidimensionele Analyse
2 Samenvatting
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
Partiële AfgeleidenVoor een scalaire functie z = f (x, y) van 2 variabelen kunnen wetwee partiële afgeleiden definiëren:(
∂f∂x
)yconstant
= lim∆x→0f (x+∆x,y)−f (x,y)
∆x(∂f∂y
)xconstant
= lim∆y→0f (x,y+∆y)−f (x,y)
∆y
Dit principe kan veralgemeend worden voor een scalaire functievan t variabelen (y = f (x1, x2, ..., xt)).
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
Voorbeeld
Uit de ideale gaswet volgt bijvoorbeeld dat de druk een functieis van volume en temperatuur: p = p(V,T) = RT
V . Hieruit volgende partiële afgeleiden van de eerste en tweede orde:(
∂p∂V
)T
= −RTV2
(∂p∂T
)V
= RV(
∂2p∂T2
)V
= 0(∂2p∂V2
)T
= 2RTV3(
∂2p∂V∂T
)= − R
V2
(∂2p∂T∂V
)= − R
V2
Als ∂2f∂x∂y = ∂2f
∂y∂x (de voorwaarde van Euler), dan is f eentoestandsfunctie, en geldt voor elk pad tussen (xA, yA) en(xB, yB) dat ∫ ∫ B
Af (x, y)dxdy = f (xB, yB)− f (xA, yA)
1Lieven Buts Biofysische Scheikunde: Statistische Mechanica
De Totale DifferentiaalVoor een functie z = f (x, y) is de totale differentiaal
df =(∂f∂x
)y
dx +(∂f∂y
)x
dy
Voor een algemene functie y = f (x1, x2, . . . , xt) wordt dit
df =t∑
i=1
(∂f∂xi
)xj6=i
dxi
De functie heeft kritische punten waar df = 0. Dit betekent datalle partiële afgeleiden samen nul moeten zijn.
Lokaliseren van ExtremaOm een echt minimum of maximum vaneen functie z = f (x, y) te zijn, moet eenpunt (x∗, y∗) ten eerste voldoen aan devoorwaarden
(∂f∂x
)yconstant
= 0 en(∂f∂y
)xconstant
= 0
Om zeker te zijn dat het niet om een zadelpunt gaat, moetbovendien gelden dat(
∂2f∂x2
)x∗,y∗
(∂2f∂y2
)x∗,y∗−(∂2f∂x∂y
)2
x∗,y∗> 0
Optimalisatie met Beperkingen (1)
Vaak zijn we niet zozeer geinteresseerd in het globale minimumof maximum van een functie z = f (x, y), maar wel in hetminimum of maximum van de functie onder specifiekebijkomende voorwaarden, die men beperkingen of constraintsnoemt.
Het minimum van de paraboloïde z = f (x, y) = x2 + y2 met debijkomende voorwaarde x + y = 6 (dit is de vergelijking van eenvlak evenwijdig met de z-as) ligt op (x∗
′, y∗′) = (3, 3), en heeft
als waarde z = 18.
Optimalisatie met Beperkingen (2)
Formeel kunnen we deze vraagstelling als volgt aanpakken. Deoptimalisatievoorwaarde voor z = f (x, y) is
df =(∂f∂x
)y
dx +(∂f∂y
)x
dy = 0
Aangezien(∂f∂x
)y= 2x en
(∂f∂y
)= 2y, wordt dit 2xdx + 2ydy = 0
(A)De beperkend voorwaarde x + y = 6 kan geformuleerd wordenals g(x, y) = x + y− 6 = 0. Dit is dus een bijkomende functieg(x, y). Aangezien g(x, y) constant is, geldt eveneens
dg =(∂g∂x
)y
dx +(∂g∂y
)x
dy = 0
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
Optimalisatie met Beperkingen (3)
In ons probleem is(∂g∂x
)y= 1 en
(∂g∂y
)x
dy = 1.(∂g∂x
)y
dx +(∂g∂y
)x
dy = 0 wordt dus dx + dy = 0 of dx = −dy. Als
we dit substitueren in (A), vinden we 2x = 2y of x = y. Samenmet x + y = 6 wordt dit 2x = 6, waaruit de uiteindelijke oplossingx∗ = y∗ = 3 volgt.Het probleem met deze aanpak is dat het moeilijk teveralgemenen is wanneer de voorwaarden complexer worden.
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
De Methode van LagrangeDe methode van Lagrange is een algemene strategie vooroptimalisatie met beperkingen.
Aangezien
dydx
= −(∂f/∂x)y
(∂f/∂y)x= −
(∂g/∂x)y
(∂g/∂y)x
volgt dat (∂f∂x
)y= λ
(∂g∂x
)y
en(∂f∂y
)x= λ
(∂g∂y
)x
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
Een Eenvoudige Toepassing
We zullen de Lagrangemethode toepassen op het vorigeprobleem, met de functie f (x, y) = x2 + y2 en de beperkendevoorwaarde g(x, y) = x + y− 6 = 0. Lagrange geeft ons devolgende verbanden:(
∂f∂x
)y= λ
(∂g∂x
)y
en(∂f∂y
)x= λ
(∂g∂y
)x
of
2x = λ.1 en 2y = λ.1
Hieruit volgt x = y, en dus x + y = 2x = 6, en x = y = 3.
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
Veralgemeningen naar Meer Variabelen
Voor een functie y = f (x1, x2, . . . , xt) met een constraintg(x1, x2, . . . , xt) vindt men voor elke variable een vergelijking:(
∂f∂x1
)− λ
(∂g∂x1
)= 0(
∂f∂x2
)− λ
(∂g∂x2
)= 0
. . .(∂f∂xt
)− λ
(∂g∂xt
)= 0
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
Veralgemening naar Meer Beperkingen
Wanneer er naast de eerste constraint g(x1, x2, . . . , xt) = 0 nogeen tweede voorwaarde h(x1, x2, . . . , xt) = 0 wordt opgelegd,worden de verbanden uitgebreid met een tweedeLagrangefactor:
(∂f∂x1
)− λ
(∂g∂x1
)− β
(∂h∂x1
)= 0(
∂f∂x2
)− λ
(∂g∂x2
)− β
(∂h∂x2
)= 0
. . .(∂f∂xt
)− λ
(∂g∂xt
)β
(∂h∂xt
)= 0
Elke Lagrangefactor wordt geëlimineerd door gebruik te makenvan de overeenkomstige constraint.
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
Het Principe van Maximale Entropie (1)
Het principe van maximale multipliciteit is equivalent met eenprincipe van maximale entropie. De entropie is een functie vande kansen op de t mogelijke uitkomsten in het systeem:S(p1, p2, . . . , pt) = −
∑pi ln(pi) (hierbij is voor de eenvoud k = 1
gesteld). Een algemene constraint is dat dat de som van allekansen 1 is:
∑ti=1 pi = 1, wat uitgedrukt kan worden als
g(p1, p2, . . . , pt) =∑t
i=1 pi − 1 = 0.Als we de methode van Lagrange toepassen om S(pi) temaximaliseren onder de constraint g(pi) = 0, vinden we devolgende voorwaarde voor alle pi:(
∂S∂pi
)− α
(∂g∂pi
)= 0
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
Het Principe van Maximale Entropie (2)
(∂S∂pi
)− α
(∂g∂pi
)= 0
Hierin is(∂S∂pi
)= −1− ln(pi) en
(∂g∂pi
)= 1.
De Lagrangeverhouding wordt dus
−1− ln(pi)− α = 0
waaruit volgtpi = e−1−α
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
Het Principe van Maximale Entropie (3)
Aangezien∑
pi = 1, geldt dat
t∑i=1
pi =t∑
i=1
e−1−α = te−1−α = 1
We kunnen α dus als volgt elimineren:
pi =pi
1=
pi∑ti=1 pi
=e−1−α
te−1−α
We vinden dus uiteindelijk pi = 1t , m.a.w. bij maximale entropie
zijn alle uitkomsten even waarschijnlijk, en is de kansverdelingvolledig vlak.
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
Maximale Entropie bij een Gegeven Energie (1)
Vaak zoekt men de toestand van maximale entropie voor eensysteem waarvan de gemiddelde energie gekend is. Webeschouwen een systeem met t energienieveau’s (ε1, ε2, ..., εt)waarover N = n1 + n2 + · · ·+ nt deeltjes verdeeld zijn. Als wepi = ni/N stellen is de gemiddelde energie van het systeem
〈ε〉 =Etot
N=
t∑i=1
piεi
Het feit dat deze gemiddelde energie vastligt, kunnen weuitdrukken als een bijkomende constraint
h(p1, p2, . . . , pt) =t∑
i=1
piεi − 〈ε〉 = 0
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
Maximale Entropie bij een Gegeven Energie (2)
We willen dus de functie S(p1, p2, . . . , pt) = −∑
pi ln(pi)maximaliseren onder algemene beperkingg(p1, p2, . . . , pt) =
∑i=1 tpi − 1 = 0 en de bijkomende beperking
h(p1, p2, . . . , pt) =∑t
i=1 piεi − 〈ε〉 = 0 .Wanneer we de methode van Lagrange toepassen, vinden weeen verband van de vorm(
∂S∂pi
)− α
(∂g∂pi
)− β
(∂h∂pi
)= 0
voor elke variabele pi.Hierin is
(∂S∂pi
)opnieuw −1− ln(pi),
(∂g∂pi
)= 1 en
(∂h∂pi
)= εi.
Dit geeft ons
−1− ln(pi)− α− βεi = 0
Maximale Entropie bij een Gegeven Energie (2)We vinden dus
pi = e−1−α−βεi
=pi
1=
pi∑ti=1 pi
=e−1−α−βεi∑ti=1 e−1−α−βεi
=e−1−αe−βεi∑ti=1 e−1−αe−βεi
=e−βεi∑ti=1 e−βεi
De noemer in deze breuk wordt de partitiefunctie q genoemd:
q =t∑
i=1
e−βεi
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
Toepassing op een Dobbelsteen (1)
Stel dat we een dobbelsteen hebben waarvan we vermoedendat hij niet helemaal eerlijk is. Het gedrag van de dobbelsteenwordt beschreven door de kansverdeling (p1, p2, p3, p4, p5, p6).We stellen dat εi = i. Voor een eerlijke dobbelsteen geldt datpi = 1/6 zodat 〈ε〉 =
∑ti=1 piεi = 3.5.
De partitiefunctie is q = e−β + e−2β + e−3β + e−4β + e−5β + e−6β.Dit kunnen we vereenvoudigen door e−β = x te stellen. Wevinden dan
q = x + x2 + x3 + x4 + x5 + x6
en
pi =xi
q
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
EntropieSamenvatting
Statistische Definitie van EntropieMultidimensionele Analyse
Toepassing op een Dobbelsteen (2)
We vinden dus
〈ε〉 =x + 2x2 + 3x3 + 4x4 + 5x5 + 6x6
x + x2 + x3 + x4 + x5 + x6
Deze vergelijking kan numeriek opgelost worden.Voor 〈ε〉 = 3.5 vinden we x = 1, waaruit volgt dat
q = 1 + 12 + 13 + 14 + 15 + 16 = 6
en
p1 = p2 = p3 = p4 = p5 = p6 =1i
6= 1/6
Dit is de eerlijke situatie.
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
Toepassing op een Dobbelsteen (3)
0 0.05 0.1
0.15 0.2
0.25 0.3
0.35 0.4
0 1 2 3 4 5 6 7
exp(-0.175*x)/3.40287"p3"
Voor 〈ε〉 = 3.0 vinden wex = 0.84 enq = 0.84 + 0.842 + 0.843 +0.844 + 0.845 + 0.856 ≈ 3.4.Dit geeft een kansverdelingwaarin lage uitkomstenbevoordeeld zijn t.o.v. hogewaarden.
0 0.05 0.1
0.15 0.2
0.25 0.3
0.35 0.4
0 1 2 3 4 5 6 7
exp(0.175*x)/11.55389"p4"
Voor 〈ε〉 = 4.0 vinden wex = 1.19 en q ≈ 11.6. Ditgeeft een kansverdelingwaarin hoge uitkomstenbevoordeeld zijn t.o.v. lagewaarden.
EntropieSamenvatting
Samenvatting (1)
Voor een gegeven kansverdeling p1, p2, ..., pt kunnen wede entropie S = k ln(W) = −k
∑ti=1 pi ln(pi) definieren.
Gelijkmatige kansverdelingen hebben een hoge entropie,sterk onregelmatige kansverdelingen hebben een lageentropie.Het principe van maximale multipliciteit is equivalent methet principe van maximale entropie. De entropie is echtereen extensieve grootheid, en gemakkelijker te integererenin de bredere context van de thermodynamica.
Lieven Buts Biofysische Scheikunde: Statistische Mechanica
EntropieSamenvatting
Samenvatting (2)
Zonder bijkomende voorwaarden voorspelt het principevan maximale entropie een volledig vlakke kansverdeling,waarin alle uitkomsten even waarschijnlijk zijn.Wanneer als bijkomende voorwaarde een gekendegemiddelde uitkomst 〈ε〉 wordt opgelegd, geeft het principevan maximale entropie een exponentiële verdeling:pi = (1/q)e−βεi , met q =
∑ti=1 e−βεi . Dit is de "minst
bevooroordeelde" kansverdeling die consistent is met hetgegeven gemiddelde.
Lieven Buts Biofysische Scheikunde: Statistische Mechanica