Statistische Mechanik/ Binomial-, Gauß-, Poisson-Verteilungen und Entropie

In einem System befinden sich N unterscheidbare Teilchen. Diese können sich mit der Wahrscheinlichkeit p ($0\leq p\leq 1$) in einem Zustand 1 sowie mit der Wahrscheinlichkeit $q=1-p$ in einem Zustand 2 befinden. Diese Zustände könnten z.B. der Grundzustand und ein energetisch angeregter Zustand in einem Atom sein. Oder aber wir betrachten ein Gefäß, das aus zwei Kammern besteht, die über eine Öffnung miteinander verbunden sind. Bei einem Gas (bestehend aus N identischen Teilchen) in diesem Gefäß könnten wir dann die Frage stellen, wie groß die Wahrscheinlichkeit ist, eine bestimmte Anzahl von Teilchen in der einen (1. Zustand) oder der anderen Kammer (2. Zustand) vorzufinden. Die Wahrscheinlichkeit, gerade n Teilchen im 1. Zustand (und somit $N-n$ im zweiten) vorzufinden, ist nach Binomi:

$\varrho _{N}\left(n\right)=\left({\begin{array}{c}N\\n\end{array}}\right)p^{n}q^{N-n}$

mit

${\overset {N}{\underset {n=0}{\sum }}}\varrho _{N}\left(n\right)={\overset {N}{\underset {n=0}{\sum }}}\left({\begin{array}{c}N\\n\end{array}}\right)p^{n}q^{N-n}=\left(p+q\right)^{N}=1$.

Der sog. Binomialkoeffizient

$\left({\begin{array}{c}N\\n\end{array}}\right)={\frac {N!}{n!\left(N-n\right)!}}$

gibt Auskunft über die Anzahl der Möglichkeiten, unterscheidbare Teilchen auf die zwei Zustände zu verteilen. Es gibt nämlich ${\frac {N!}{\left(N-n\right)!}}=N\cdot \left(N-1\right)...\left(N-n+1\right)$ Möglichkeiten, den 1. Zustand mit n aus den N Teilchen zu besetzen (bzw. den 2. Zustand mit $N-n$ aus den N Teilchen zu bevölkern). Die Anzahl der möglichen Vertauschungen der n Teilchen im 1. Zustand untereinander, d.h. $n!$, soll aber nicht mitgezählt werden, weshalb noch durch $n!$ dividiert werden muss.

Wir können uns zudem fragen, wie viele Teilchen im Mittel im 1. Zustand zu erwarten sind. Einen solchen Erwartungs- oder Mittelwert der Teilchenzahl n im 1. Zustand definieren wir dabei wie folgt:

$\mu =\left\langle n\right\rangle ={\overset {N}{\underset {n=0}{\sum }}}n\varrho _{N}\left(n\right)={\overset {N}{\underset {n=0}{\sum }}}n\left({\begin{array}{c}N\\n\end{array}}\right)p^{n}q^{N-n}$.

An dieser Stelle bemerken wir, dass wir $np^{n}=p\left({\frac {\partial }{\partial p}}\right)_{q}\,p^{n}$ schreiben können, wenn wir q bei der partiellen Differenziation festhalten:

$\mu =\left\langle n\right\rangle =p\left({\frac {\partial }{\partial p}}\right)_{q}{\overset {N}{\underset {n=0}{\sum }}}\left({\begin{array}{c}N\\n\end{array}}\right)p^{n}q^{N-n}=p\left({\frac {\partial }{\partial p}}\right)_{q}{\overset {N}{\underset {n=0}{\sum }}}\varrho _{N}\left(n\right)=p\left({\frac {\partial }{\partial p}}\right)_{q}\left(p+q\right)^{N}$. $=\left[Np\left(p+q\right)^{N-1}\right]_{q=1-p}=Np$.

Außerdem können wir uns noch die Frage stellen, wie groß die Schwankungen (bzw. das Schwankungsquadrat) um diesen Mittelwert sind:

$\sigma ^{2}=\left\langle \left(n-\left\langle n\right\rangle \right)^{2}\right\rangle =\left\langle n^{2}\right\rangle -\left\langle n\right\rangle ^{2}=\left\langle n^{2}\right\rangle -\mu ^{2}$

und benötigen hierzu also noch die Größe $\left\langle n^{2}\right\rangle$:

$\left\langle n^{2}\right\rangle ={\overset {N}{\underset {n=0}{\sum }}}n^{2}\varrho _{N}\left(n\right)=\left(p{\frac {\partial }{\partial p}}\right)_{q}^{2}\left(p+q\right)^{N}=\left[p{\frac {\partial }{\partial p}}\underbrace {p{\frac {\partial }{\partial p}}\left(p+q\right)^{N}} _{=Np\left(p+q\right)^{N-1}}\right]_{q=1-p}$ $=\left[Np{\frac {\partial }{\partial p}}p\left(p+q\right)^{N-1}\right]_{q=1-p}=\left[Np\left(p+q\right)^{N-1}+N\left(N-1\right)p^{2}\left(p+q\right)^{N-2}\right]_{q=1-p}$ $=Np+N\left(N-1\right)p^{2}$.

Hiermit erhalten wir für das Schwankungsquadrat:

$\sigma ^{2}=\left\langle n^{2}\right\rangle -\mu ^{2}=Np\left(1-p\right)=Npq$.

Über diese Mittelwert-Bildungen haben wir uns einen guten Überblick verschafft, wie sich das betrachtete N-Teilchensystem im Mittel verhält. Die Wahrscheinlichkeit p dafür, dass sich ein Teilchen im 1. Zustand befindet, muss dabei »von außen« vorgegeben werden. Doch wie können wir im physikalischen Alltag zu verlässlichen Werten hierfür gelangen? Ein naheliegender Ansatz wäre, die Wahrscheinlichkeit p durch eine relative Häufigkeit zu ersetzen, z.B. indem wir messen, wie viele Teilchen sich im Mittel im 1. Zustand befinden, und wählen dann für p:

$p={\frac {\mu }{N}}$.

Um einen verlässlichen Schätzwert für den Mittelwert $\mu$ zu erhalten, sollten wir aber möglichst Systeme mit großen Teilchenzahlen, d.h. mit $N\gg 1$, betrachten, damit die relativen Schwankungen um $\mu$ möglichst gering werden:

${\frac {\sigma }{\mu }}={\frac {\sqrt {Npq}}{Np}}\varpropto {\frac {1}{\sqrt {N}}}{\underset {N\gg 1}{\longrightarrow 0}}$.

Außerdem haben wir noch das Problem, dass die Binominal-Verteilung mit ihren Summenbildungen recht unhandlich ist. Wenn wir uns im Wesentlichen nur dafür interessieren, wie sich die Verteilung in der Nähe des Mittelwertes der Besetzungszahlen des 1. Zustands verhält, betrachten wir sie also vorzugsweise für Werte von n in der Umgebung von $\mu$:

$n\approx \left\langle n\right\rangle =\mu =Np\,\Rightarrow \,p\approx {\frac {n}{N}}$.

Hierzu drücken wir die Binominal-Verteilung statt in n in einer neuen Variablen $x={\frac {n}{N}}$ aus und verwenden die Stirling-Formel $n!={\sqrt {2\pi n}}\left({\frac {n}{e}}\right)^{n}$, die ja für große Teilchenzahlen eine gute Näherung für Fakultäten zu sein verspricht:

$\varrho _{N}\left(n\right)={\frac {N!}{n!\left(N-n\right)!}}p^{n}q^{N-n}$ $\approx {\sqrt {2\pi }}e^{-N}e^{N-n}e^{n}{\frac {1}{\sqrt {N\left(1-{\frac {n}{N}}\right){\frac {n}{N}}}}}\cdot {\frac {1}{\left(1-{\frac {n}{N}}\right)^{N-n}\left({\frac {n}{N}}\right)^{n}}}p^{{\frac {n}{N}}\cdot N}q^{\left(1-{\frac {n}{N}}\right)N}$ $={\frac {1}{\sqrt {2\pi N\left(1-x\right)x}}}\left[\left({\frac {p}{x}}\right)^{x}\left({\frac {q}{1-x}}\right)^{1-x}\right]^{N}$.

An dieser Stelle sind wir eigentlich schon einen Schritt zu weit gegangen: Der Term

$N\left(1-x\right)x=N\left(1-{\frac {n}{N}}\right){\frac {n}{N}}\approx N\left(1-p\right)p=Nqp=\sigma ^{2}$

ist wegen $x={\frac {n}{N}}\approx p$ näherungsweise das Schwankungsquadrat, das wir gleichermaßen als bekannt voraussetzen möchten, d.h. neben dem Mittelwert $\mu$ wird im Folgenden auch noch dessen Schwankungsquadrat $\sigma ^{2}$ als vorgegeben betrachtet. Unter diesen Voraussetzungen ergibt sich folgende Näherung für die Poisson-Verteilung:

$\varrho _{N}\left(n\right)\approx \varrho \left(x\right)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\left[\left({\frac {p}{x}}\right)^{x}\left({\frac {q}{1-x}}\right)^{1-x}\right]^{N}$.

Da ja nach Voraussetzung $x\approx p$ gelten soll, werden wir

$\ln \varrho \left(x\right)=-\ln {\sqrt {2\pi \sigma ^{2}}}-Nx\ln \left({\frac {x}{p}}\right)-N\left(1-x\right)\ln \left({\frac {1-x}{q}}\right)$

um diesen Punkt herum per Taylor entwickeln:

$\ln \varrho \left(x\right)\approx \ln \varrho \left(p\right)+\left(x-p\right)\left({\frac {\partial }{\partial x}}\ln \varrho \right)\left(p\right)+{\frac {1}{2}}\left(x-p\right)^{2}\left({\frac {\partial ^{2}}{\partial x^{2}}}\ln \varrho \right)\left(p\right)$.

Mittels $\ln \varrho \left(x\right)$ und den Ableitungen

$\left({\frac {\partial }{\partial x}}\ln \varrho \right)\left(x\right)=-N\ln \left({\frac {x}{p}}\right)+N\ln \left({\frac {1-x}{q}}\right)$, $\left({\frac {\partial ^{2}}{\partial x^{2}}}\ln \varrho \right)\left(x\right)=-{\frac {N}{x\left(1-x\right)}}$

an der Stelle $x=p$, d.h.

$\ln \varrho \left(p\right)=-\ln {\sqrt {2\pi \sigma ^{2}}}$, $\left({\frac {\partial }{\partial x}}\ln \varrho \right)\left(p\right)=0$, $\left({\frac {\partial ^{2}}{\partial x^{2}}}\ln \varrho \right)\left(p\right)=-{\frac {N}{pq}}=-{\frac {N^{2}}{\sigma ^{2}}}$,

erhalten wir für jene Entwicklung um diese offensichtliche Maximumstelle $\mu =Np$ (denn die erste Ableitung von $\ln \varrho \left(x\right)$ verschwindet an dieser Stelle und die zweite Ableitung ist negativ):

$\ln \varrho \left(x\right)\approx -\ln {\sqrt {2\pi \sigma ^{2}}}-{\frac {1}{2\sigma ^{2}}}\left(\underbrace {Nx} _{=n}-\underbrace {Np} _{=\mu }\right)^{2}$

bzw.

$\varrho _{N}\left(n\right)\approx \varrho \left(n\right)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(n-\mu \right)^{2}\right]$.

Dies ist die berühmte Gauss'sche Glockenkurve um einen Mittelwert $\mu$ mit einem Schwankungsquadrat $\sigma ^{2}$. Dass diese Gauss'sche Wahrscheinlichkeitsverteilung wieder auf Eins normiert ist, erkennt man durch Integration der Kurve über alle (kontinuierliche vielen) Werte n links und rechts des Mittelwertes $\mu$:

${\overset {\infty }{\underset {-\infty }{\int }}}dn\,\varrho \left(n\right)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}{\overset {\infty }{\underset {-\infty }{\int }}}dn\,\exp \left[-{\frac {1}{2\sigma ^{2}}}\left(n-\mu \right)^{2}\right]=$ ${\frac {1}{\sqrt {\pi }}}{\overset {\infty }{\underset {-\infty }{\int }}}d\xi \,e^{-\xi ^{2}}={\frac {1}{\sqrt {\pi }}}\Gamma \left({\frac {1}{2}}\right)=1$,

wobei die Substitution $\xi ={\frac {1}{\sqrt {2\sigma ^{2}}}}\left(n-\mu \right)\,\Rightarrow \,dn={\sqrt {2\sigma ^{2}}}d\xi$ angewandt wurde.

Die Gauss'sche Glockenkurve ist nicht die einzig mögliche Approximation der Binomialverteilung. Wenn man erneut vom Mittelwert ausgeht und diesmal verlangt, dass dieser konstant bleiben soll statt eine Funktion von p zu sein, d.h. $\mu =Np=const.$, dann folgt daraus $p\ll 1$ für große Teilchenzahlen, d.h. $N\gg 1$. Wenn wir jetzt in der Binomialverteilung $p={\frac {\mu }{N}}$ einsetzen, Faktoren abspalten, die im Limes $N\rightarrow \infty$ entweder Eins werden oder über die Euler-Formel $\left(1\pm {\frac {1}{N}}\right)^{N}{\underset {N\rightarrow \infty }{\longrightarrow }}e^{\pm 1}$ auf die Euler'sche Zahl e führen, dann erhalten wir

$\varrho _{N}\left(n\right)={\frac {N!}{n!\left(N-n\right)!}}p^{n}q^{N-n}$ $\approx {\frac {1}{n!}}\underbrace {\left[{\frac {N}{N}}\cdot {\frac {N-1}{N}}\cdot {\frac {N-2}{N}}\ldots {\frac {N-\left(n-1\right)}{N}}\right]} _{={\frac {N!}{\left(N-n\right)!}}{\frac {1}{N^{n}}}}\left(1-{\frac {\mu }{N}}\right)^{-n}\left(1-{\frac {\mu }{N}}\right)^{N}\mu ^{n}{\underset {N\rightarrow \infty }{\longrightarrow }}{\frac {1}{n!}}\mu ^{n}e^{-\mu }=\varrho _{\mu }\left(n\right)$,

weil die einzelnen Faktoren in der eckigen Klammer im Limes N gegen Unendlich jeweils gegen Eins gehen. Gleiches gilt für den Faktor $\left(1-{\frac {\mu }{N}}\right)^{-n}{\underset {N\rightarrow \infty }{\longrightarrow }}1$, da ja n eine endliche Größe ist (d.h. nicht gegen Unendlich geht), während sich hinter der Folge $\left(1-{\frac {\mu }{N}}\right)^{N}{\underset {N\rightarrow \infty }{\longrightarrow }}e^{-\mu }$ eine Exponentialfunktion verbirgt (s. mathematische Ergänzunge).

Die Poisson-Verteilung $\varrho _{\mu }\left(n\right)$ ist dabei tatsächlich wieder auf Eins normiert:

${\overset {\infty }{\underset {n=0}{\sum }}}\varrho _{\mu }\left(n\right)=e^{-\mu }\underbrace {{\overset {\infty }{\underset {n=0}{\sum }}}{\frac {1}{n!}}\mu ^{n}} _{=e^{\mu }}=1$,

wobei wir hier die Taylor-Reihe für die Exponentialfunktion verwendet haben. Nach den getroffenen Voraussetzungen muss zudem der Mittelwert von n wieder gleich $\mu$ sein, was wir hier überprüfen werden:

$\left\langle n\right\rangle ={\overset {\infty }{\underset {n=0}{\sum }}}n\varrho _{\mu }\left(n\right)={\overset {\infty }{\underset {n=1}{\sum }}}n\varrho _{\mu }\left(n\right)=$ $\mu e^{-\mu }{\overset {\infty }{\underset {n=1}{\sum }}}{\frac {1}{\left(n-1\right)!}}\mu ^{n-1}=\mu e^{-\mu }\underbrace {{\overset {\infty }{\underset {n=0}{\sum }}}{\frac {1}{n!}}\mu ^{n}} _{=e^{\mu }}=\mu$.

Eine erstaunliche Eigenschaft der Poisson-Verteilung ist, dass wegen

$\left\langle n^{2}\right\rangle ={\overset {\infty }{\underset {n=0}{\sum }}}n^{2}\varrho _{\mu }\left(n\right)={\overset {\infty }{\underset {n=0}{\sum }}}n\left(n-1\right)\varrho _{\mu }\left(n\right)+\underbrace {{\overset {\infty }{\underset {n=0}{\sum }}}n\varrho _{\mu }\left(n\right)} _{=\mu }=\mu +{\overset {\infty }{\underset {n=2}{\sum }}}n\left(n-1\right)\varrho _{\mu }\left(n\right)$ $=\mu +\mu ^{2}e^{-\mu }\underbrace {{\overset {\infty }{\underset {n=2}{\sum }}}{\frac {1}{\left(n-2\right)!}}\mu ^{n-2}} _{=e^{\mu }}=\mu +\mu ^{2}$

auch das Schwankungsquadrat

$\sigma ^{2}=\left\langle n^{2}\right\rangle -\left\langle n\right\rangle ^{2}=\mu$

gleich dem Mittelwert ist.

Wenn beim Zweizustandssystem die Wahrscheinlichkeiten für ein Teilchen, sich im ersten oder im 2. Zustand zu befinden, gleich ist, d.h. $p=q={\frac {1}{2}}$ gilt, dann ergibt sich aus der Poisson-Verteilung unmittelbar

$\varrho _{N}\left(n\right)={\frac {1}{2^{N}}}\left({\begin{array}{c}N\\n\end{array}}\right)$,

die somit etwas darüber aussagt, mit welcher Wahrscheinlichkeit sich genau n aus den N Teilchen im ersten Zustand befinden. Dabei können die N Teilchen insgesamt $2^{N}$ mögliche Zustände einnehmen (nämlich jedes Teilchen zwei). Anders ausgedrückt, erwartet man also, dass es $W_{N}\left(n\right)=2^{N}\varrho _{N}\left(n\right)=\left({\begin{array}{c}N\\n\end{array}}\right)$ von den insgesamt $2^{N}$ Möglichkeiten gibt, um genau n (unterscheidbare) Teilchen im ersten Zustand vorzufinden. Wir können uns nun die Frage stellen, bei welchem n die Anzahl der Möglichkeiten, Teilchen im ersten Zustand vorzufinden, maximal wird. Hierzu ist es mathematisch am einfachsten, $\ln W_{N}\left(n\right)$ zu bilden, um dann die Stirling-Formel anzuwenden und anschließend das Maximum jener Funktion zu suchen. D.h. wir erhalten zunächst

$\ln W_{N}\left(n\right)=\ln {\frac {N!}{n!\left(N-n\right)!}}=\ln N!-\ln n!-\ln \left(N-n\right)!$ $\approx N\ln N-N-n\ln n+n-\left(N-n\right)\ln \left(N-n\right)+\left(N-n\right)$ $=N\ln N-n\ln n-\left(N-n\right)\ln \left(N-n\right)=-N{\frac {n}{N}}\ln {\frac {n}{N}}-N{\frac {\left(N-n\right)}{N}}\ln {\frac {\left(N-n\right)}{N}}$ $=-N\varrho _{1}\ln \varrho _{1}-N\varrho _{2}\ln \varrho _{2}=-N{\overset {2}{\underset {i=1}{\sum }}}\varrho _{i}\ln \varrho _{i}\approx \ln W_{N}\left(\varrho _{1},\varrho _{2}\right)$,

wobei wir die Größen $\varrho _{1}={\frac {n}{N}}\geq 0$ und $\varrho _{2}={\frac {N-n}{N}}\geq 0$ eingeführt haben, die etwas darüber aussagen, mit welchem Bruchteil der Teilchen N der erste bzw. zweite Zustand besetzt sind. Ihre Summe ergibt offensichtlich wieder Eins: ${\overset {2}{\underset {i=1}{\sum }}}\varrho _{i}=1$.

Da bei der Suche des Maximums von $\ln W_{N}\left(\varrho _{1},\varrho _{2}\right)$ die Teilchenzahl konstant gehalten wird, können wir uns dabei genauso gut auch auf die Funktion $\ln \Omega \left(\varrho _{1},\varrho _{2}\right)=-{\overset {2}{\underset {i=1}{\sum }}}\varrho _{i}\ln \varrho _{i}$ beschränken. Mit Hilfe der der Methode der Lagrange-Multiplikatoren wird die Nebenbedingung ${\overset {2}{\underset {i=1}{\sum }}}\varrho _{i}=1$ berücksichtigt:

$f\left(\varrho _{1},\varrho _{2}\right)=\ln \Omega \left(\varrho _{1},\varrho _{2}\right)+\lambda \left(1-{\overset {2}{\underset {i=1}{\sum }}}\varrho _{i}\right)=-{\overset {2}{\underset {i=1}{\sum }}}\varrho _{i}\ln \varrho _{i}+\lambda \left(1-{\overset {2}{\underset {i=1}{\sum }}}\varrho _{i}\right)$,

wobei $\lambda$ der eingeführte Lagrange-Multiplikator ist. Von dieser Funktion $f\left(\varrho _{1},\varrho _{2}\right)$ ist also das Maximum gesucht.

Besitzt das betrachtete System nicht nur zwei sondern z Zustände, die mit $n_{1},\ldots ,n_{z}$ Teilchen besetzt sein sollen, wobei wieder ${\overset {z}{\underset {i=1}{\sum }}}n_{i}=N$ gelten muss, dann wären wir von einem sog. Multinomialkoeffizienten,

$W_{N}\left(n_{1},\ldots ,n_{z}\right)={\frac {N!}{n_{1}!\ldots n_{z}!}}$

und einer Multi- oder Polynomialverteilung ausgegangen:

$\varrho _{N}\left(n_{1},\ldots ,n_{z}\right)=W_{N}\left(n_{1},\ldots ,n_{z}\right)p_{1}^{n_{1}}\ldots p_{z}^{n_{z}}$

mit $0\leq p_{i}\leq 1,\,i=1,\ldots ,z$ und ${\overset {z}{\underset {i=1}{\sum }}}p_{i}=1$. In der Mathematik wird (z.B. per vollständige Induktion) gezeigt, dass erneut

${\underset {n_{1}+\ldots +n_{z}=N}{\sum }}\varrho _{N}\left(n_{1},\ldots ,n_{z}\right)=\left(p_{1}+\ldots +p_{z}\right)^{N}=1$

gilt, wobei die erste Summe bedeuten soll, dass über alle möglichen Kombinationen der Besetzungszahlen $n_{1},\ldots ,n_{z}$ summiert wird, bei der die Summe über diese Besetzungszahlen wiederum gleich der gesamten Teilchenzahl N ist.

Wenn die Besetzung der z Zustände wieder gleich wahrscheinlich wäre, resultierte für die Wahrscheinlichkeiten jeweils $p_{i}={\frac {1}{z}}$. Weil es insgesamt $z^{N}$ Möglichkeiten gibt, die Zustände mit N Teilchen zu bevölkern, und $p_{1}^{n_{1}}\ldots p_{z}^{n_{z}}=\left({\frac {1}{z}}\right)^{n_{1}+\ldots +n_{z}}=\left({\frac {1}{z}}\right)^{N}$ ist, gälte dann entsprechend auch $W_{N}\left(n_{1},\ldots ,n_{z}\right)=z^{N}\varrho _{N}\left(n_{1},\ldots ,n_{z}\right)$.

Wir hätten schließlich die $0\leq \varrho _{i}={\frac {n_{i}}{N}}\leq 1,\,i=1,\ldots ,z$ Größen als »relative Besetzungszahlen« definiert und wären zu

$\ln W_{N}\left(\varrho _{1},\ldots ,\varrho _{z}\right)\approx -N{\overset {z}{\underset {i=1}{\sum }}}\varrho _{i}\ln \varrho _{i}$

mit ${\overset {z}{\underset {i=1}{\sum }}}\varrho _{i}=1$ gelangt. Die relativen Besetzungszahlen der Zustände $1,\ldots ,z$ erinnern in ihrer Definition und ihren Eigenschaften also sehr an »relative Häufigkeiten« oder sogar Wahrscheinlichkeiten.

Gesucht sei jetzt also die wahrscheinlichste Besetzung der Zustände $1,\ldots ,z$. Da die Gesamtzahl der Teilchen eine Konstante ist, genügt es wieder, das Maximum einer Funktion $\ln \Omega \left(\varrho _{1},\ldots ,\varrho _{z}\right)=-{\overset {z}{\underset {i=1}{\sum }}}\varrho _{i}\ln \varrho _{i}$ unter der Nebenbedingung ${\overset {z}{\underset {i=1}{\sum }}}\varrho _{i}=1$ zu suchen. Um die Nebenbedingung zu berücksichtigen, können wir ja wieder auf die Methode der Langrange-Multiplikatoren zurückgreifen, indem wir einen Langrange-Multiplikator $\lambda$ einführen. D.h. wir suchen das Maximum der Funktion

$f\left(\varrho _{1},\ldots ,\varrho _{z}\right)=\ln \Omega \left(\varrho _{1},\ldots ,\varrho _{z}\right)+\lambda \left(1-{\overset {z}{\underset {i=1}{\sum }}}\varrho _{i}\right)=-{\overset {z}{\underset {i=1}{\sum }}}\varrho _{i}\ln \varrho _{i}+\lambda \left(1-{\overset {z}{\underset {i=1}{\sum }}}\varrho _{i}\right)$

Für $z=2$ erhalten wir natürlich wieder unser Ausgangsbeispiel für nur zwei Zustände.

Wir werden im Folgenden die Funktion $f\left(\varrho _{1},\ldots ,\varrho _{z}\right)$ nach den $\varrho _{i},\,i=1,\ldots ,z$ variieren und diese Variation gleich Null setzen, um nach den Extremwerten der Funktion Ausschau zu halten. Die Variationen der $\varrho _{i}$ können wir dabei sogar als voneinander unabhängig betrachten, da wir ja ihre Abhängigkeiten untereinander (über ${\overset {z}{\underset {i=1}{\sum }}}\delta \varrho _{i}=0$) durch das Einführen des Lagrange-Multiplikators als weiteren Parameter bereits berücksichtigt haben. D.h. wir können aus $0={\overset {z}{\underset {i=1}{\sum }}}A_{i}\delta \varrho _{i}$ folgern, dass ihre Koeffizienten $A_{i},\,i=1,\ldots ,z$ einzeln verschwinden, d.h. $A_{i}=0,\,i=1,\ldots ,z$ gilt. Mit anderen Worten: Die Variationen $\delta \varrho _{i},\,i=1,\ldots ,z$ der relativen Besetzungzahlen $\varrho _{i},\,i=1,\ldots ,z$ sind linear unabhängig. Dies erleichtert die Durchführung der Extremwertsuche ungemein:

$0=\delta f\left(\varrho _{1},\ldots ,\varrho _{z}\right)=-\left(\delta {\overset {z}{\underset {i=1}{\sum }}}\varrho _{i}\ln \varrho _{i}\right)-\lambda {\overset {z}{\underset {i=1}{\sum }}}\delta \varrho _{i}$ $=-{\overset {z}{\underset {i=1}{\sum }}}\left(\ln \varrho _{i}\delta \varrho _{i}+\varrho _{i}\underbrace {\delta \ln \varrho _{i}} _{={\frac {1}{\varrho _{i}}}\delta \varrho _{i}}\right)-\lambda {\overset {z}{\underset {i=1}{\sum }}}\delta \varrho _{i}$ $=-{\overset {z}{\underset {i=1}{\sum }}}\left(\ln \varrho _{i}+\left(1+\lambda \right)\right)\delta \varrho _{i}$.

D.h. wir können folgern, dass die Koeffizienten der $\delta \varrho _{i},\,i=1,\ldots ,z$ einzeln verschwinden müssen:

$0=\ln \varrho _{i}+\left(1+\lambda \right)$,

woraus $\varrho _{i}=e^{-\lambda -1}$ resultiert. Den Parameter $\lambda$ können wir aus der Nebenbedingung bestimmen:

$1={\overset {z}{\underset {i=1}{\sum }}}\varrho _{i}=ze^{-\lambda -1}$,

was $e^{-\lambda -1}={\frac {1}{z}}$ und somit $\varrho _{i}={\frac {1}{z}}$ ergibt. Die relativen Besetzungszahlen $\varrho _{i}={\frac {1}{z}}$ fallen also mit den Besetzungswahrscheinlichkeiten $p_{i}={\frac {1}{z}}$ hinsichtlich ihres Wertes zusammen. Im Limes großer Teilchenzahlen (den wir ja annehmen mussten, um die Stirling-Formel anwenden zu dürfen) und bei der angesetzten gleichen Besetzungswahrscheinlichkeit aller z Zustände sind somit die relativen Besetzungszahlen in Besetzungswahrscheinlichkeiten übergegangen. Dies gilt zumindest, wenn wie hier das Maximum der Anzahl aller Besetzungsmöglichkeiten gesucht wurde. Dass es sich bei der gefundenen Lösung um ein Maximum (und nicht etwa um ein Minimum) handelt, geht z.B. aus der Gaußverteilung hervor, die ja (wie bereits zuvor festgestellt) unter gewissen Voraussetzungen in diesem Limes eine Näherung der Binomial-Verteilung darstellt und als »Glockenkurve« ein ausgeprägtes Maximum (aber kein Minimum) besitzt.

In der statistischen Mechanik wird gerne die gleiche Wahrscheinlichkeit aller Zustände eines Systems angenommen. Gleichermaßen wird die sog. »Entropie« S postuliert, die sich von der oben bereits eingeführten Größe $\ln \Omega \left(\varrho _{1},\ldots ,\varrho _{z}\right)=-{\overset {z}{\underset {i=1}{\sum }}}\varrho _{i}\ln \varrho _{i}$ nur noch durch einen Faktor $k_{B}$ unterscheidet, der die sog. »Boltzmannkonstante« darstellen soll:

$S=k_{B}\ln \Omega \left(\varrho _{1},\ldots ,\varrho _{z}\right)=-k_{B}{\overset {z}{\underset {i=1}{\sum }}}\varrho _{i}\ln \varrho _{i}$,

wobei ${\overset {z}{\underset {i=1}{\sum }}}\varrho _{i}=1$ gelte.