Zurück zu Entropie

Entropie in der Informationstheorie und Statistik

Shannonformel

Aufgabe 1 Reißnagel

1. Berechnen Sie die Entropie H des Wurfes eines Reißnagels , dessen Wahrscheinlichkeit auf dem Rücken zu liegen p = 0,3 beträgt und dessen Wahrscheinlichkeit nicht auf dem Rücken zu liegen 0,7 beträgt. Benutzen Sie dazu die Formel von Shannon.

H = gesuchte Entropie
p = Wahrscheinlichkeit auf dem Rücken zu liegen = 0,3
q = Wahrscheinlichkeit nicht auf dem Rücken zu liegen = 0,7
ld = binärer oder dualer Logarithmus = log₂

p + q = 1

Entropie = negative Summe aller Wahrscheinlichkeiten mal dem binären Logarithmus der Wahrscheinlichkeit

Shannon definierte die Entropie H einer gegebenen Information I über einem Alphabet Z durch

H(I)=-\sum _{j=1}^{|Z|}{p_{j}\cdot \log _{2}{p_{j}}}

,

Lassen Sie sich nicht von den vielen Zeichen erschrecken:

Entropie = negative Summe aller Wahrscheinlichkeiten mal dem binären Logarithmus der Wahrscheinlichkeit

Unter dem Begriff Alphabet versteht man keine Buchstaben, sondern die Menge aller möglichen Ergebnisse des Zufallsprozesses.

Das Alphabet Z ist hier ganz einfach, denn sie haben nur 2 Möglichkeiten: Z = 2

Die Formel kann man also folgendermaßen hinschreiben:

H = - ( p * ld(p) + q * ld(q))
H = - ( 0,3 * ld(0,3) + 0,7 * ld(0,7))
H = - ( 0,3 * (-1,736965594166) + 0,7 * (-0,51457317283))
H = - ( -0,521089678249 + (-0,36020122098))
H = 0,88

Exkurs: Logarithmus auf dem PC

Da es auf dem kleinen Taschenrechner , der auf jedem PC zu finden, keinen binären Logarithmus gibt, finden sie hier ein kleines Programm für den Logarithmus :

http://de.wikibooks.org/wiki/Gambas:_Rechnen#Logarithmus
- in Gambas für KDE und Linux
http://www.madeasy.de/2/prglog.htm
- in Visual Basic für Windows

Falls Sie Linuxfan sind können Sie auch bc auf der Konsole nutzen. Siehe bc info und

Alternativ kann man auch folgende Formel benutzen:

Basisumrechnung der Logarithmen

 $\mathrm {log_{c}a={\frac {log_{b}a}{log_{b}c}}}$

ld = log₂  
ln = log_e

Beispiel : $\mathrm {ld(8)={\frac {ln(8)}{ln(2)}}=3}$

Mit bc berechnet:

home/name> bc -l

(Aufruf bc Strich L = Mathelibrary )

bc 1.06
Copyright 1991-1994, 1997, 1998, 2000 Free Software Foundation, Inc.
This is free software with ABSOLUTELY NO WARRANTY.
For details type `warranty'.
l(8)
2.07944154167983592825
l(2)
.69314718055994530941
l(8)/l(2)
3.00000000000000000002

Aufgabe 2 Idealer 8er Würfel

2.Berechnen Sie die Entropie des Wurfes eines idealen achter Würfels, dessen Wahrscheinlichkeit für jede Seite p = 1/8 ist.

H = gesuchte Entropie
p = Wahrscheinlichkeit für jede Seite des Würfels = 1/8
ld = binärer oder dualer Logarithmus = log₂

Shannon definierte die Entropie H über einem Alphabet Z durch

H(I)=-\sum _{j=1}^{|Z|}{p_{j}\cdot \log _{2}{p_{j}}}

,

Unter dem Begriff Alphabet versteht man hier keine Buchstaben, sondern die Menge aller möglichen Ergebnisse des Zufallsprozesses. Man nennt dies auch den Ergebnisraum.

Siehe http://de.wikipedia.org/wiki/Ergebnisraum

Das Alphabet Z ist hier einfach, denn sie haben 8 gleichwahrscheinliche Möglichkeiten: Z = 8

Die Formel kann man also folgendermaßen hinschreiben:

H = - ( 8 * p * ld(p) )
H = - ( 8 * 1/8 * ld(1/8))
H = - ( 1 * (-3))
H = 3

Lösung: H = 3

Aufgabe 3 6er Würfel

Berechnen Sie die Entropie des Wurfes zweier idealer Sechserwürfel, die gleichzeitig geworfen werden.

Ergebnisraum:

1 und 1, 1 und 2, 1 und 3, 1 und 4, 1 und 5, 1 und 6, 
2 und 1, 2 und 2, 2 und 3, 2 und 4, 2 und 5, 2 und 6, 
3 und 1, 3 und 2, 3 und 3, 3 und 4, 3 und 5, 3 und 6, 
4 und 1, 4 und 2, 4 und 3, 4 und 4, 4 und 5, 4 und 6, 
5 und 1, 5 und 2, 5 und 3, 5 und 4, 5 und 5, 5 und 6, 
6 und 1, 6 und 2, 6 und 3, 6 und 4, 6 und 5, 6 und 6,

Es gibt 36 Möglichkeiten. Sind die beiden Würfel unterscheidbar, zb ein grüner und ein roter Würfel, dann ist jede Möglichkeit gleichwahrscheinlich. p = 1/36. Man kann dann wieder die Summe für die Entropie aus der Shannonformel verkürzen, weil jeder Summand gleich ist.

H = - ( 36 * p * ld(p) )
H = - ( 36 * 1/36 * ld(1/36))
H = - ( 1 * ld(1/36))
H = 5,169925001442

Lösung: H = 5,169925001442

Sind die beiden Würfel nicht unterscheidbar, dann wird die Berechnung etwas komplizierter:

Sechs Möglichkeiten haben jeweils eine Wahrscheinlichkeit p von 1/ 36:

1 und 1, 2 und 2, 3 und 3, 4 und 4, 5 und 5, 6 und 6,

Die anderen dreißig Möglichkeiten haben jeweils 2 nicht unterscheidbare gleichberechtigte Ergebnisse

1 und 2 bzw 2 und 1 
1 und 3 bzw 3 und 1
1 und 4 bzw 4 und 1
1 und 5 bzw 5 und 1
1 und 6 bzw 6 und 1
2 und 3 bzw 3 und 2
2 und 4 bzw 4 und 2
2 und 5 bzw 5 und 2
2 und 6 bzw 6 und 2
3 und 4 bzw 4 und 3
3 und 5 bzw 5 und 3
3 und 6 bzw 6 und 3
4 und 5 bzw 5 und 4
4 und 6 bzw 6 und 4
5 und 6 bzw 6 und 5

Die dreißig Möglichkeiten reduzieren sich also zu 15 unterscheidbaren Möglichkeiten mit einer Einzelwahrscheinlichkeit q von 2 / 36 = 1 / 18.

Will man die Entropie eines Wurfes berechnen muß man diese unterschiedlichen Wahrscheinlichkeiten im Ergebnisraum beachten.

H = - ( 6 * p * ld(p) + 15 * q * ld(q))
H = - ( 6 * 1/36 * ld(1/36) + 15 * 1/18 * ld(1/18))
H = - ( 1/6 * (-5,169925001442) + 5 / 6 * (-4,169925001442)
H = 5,169925001442 / 6 + 5 / 6 * 4,169925001442
H = 0,861654166907 + 3,47493750120166666665
H = 4,34

Die Entropie ist also etwas geringer als bei den unterscheidbaren Würfeln.

Aufgabe 4 6er Würfel

Berechnen Sie die Summe der Entropien zweier Würfe eines idealen sechser Würfels, der 2 mal hintereinander geworfen wird und versuchen Sie das Ergebnis sinnvoll zu deuten.

Die beiden Zufallsereignisse sind völlig unabhängig voneinander.

Die Entropie eines Wurfes ist

 $H=-\left(6\cdot {\frac {1}{6}}\cdot ld\left({\frac {1}{6}}\right)\right)$ 
H = ld(6) 
H = 2,584962500721

Die Summe der beiden Entropien wäre demnach

H1 + H2 = 2,584962500721 + 2,584962500721 = 5,169925001442

Dies entspricht der Entropie eines einzigen Wurfes mit einem idealen 36er Würfel. Man kann das so erklären, daß man die Reihenfolge des Wurfes mit berücksichtigt und den Ergebnisraum folgendermaßen darstellt:

1,1  1,2  1,3  1,4  1,5  1,6
2,1  2,2  2,3  2,4  2,5  2,6
3,1  3,2  3,3  3,4  3,5  3,6
4,1  4,2  4,3  4,4  4,5  4,6
5,1  5,2  5,3  5,4  5,5  5,6
6,1  6,2  6,3  6,4  6,5  6,6

Jede dieser Möglichkeit ist gleichwahrscheinlich ( 1/36 ). Man sollte nicht auf die Idee kommen und die Ergebnisse der beiden Würfe zusammen zuzählen. Dann verliert man eine gewiße Zahl von Möglichkeiten und die Entropie sinkt.

Aufgabe 5 Urne mit 3 Kugeln

Sie haben eine Urne mit einer roten , einer weißen und einer schwarzen Kugel. Die Kugeln r,w,s sind beim Ziehen nicht zu unterscheiden.

Berechnen Sie die Wahrscheinlichkeit des Ziehens für jede Farbe.
Berechnen Sie die Entropie für einen Zug aus der Urne.
Berechnen Sie die Entropie für 2 Züge aus der Urne.

Die Wahrscheinlichkeit für jede Farbe beträgt 1 /3 , da es 3 Farben gibt und die Möglichkeit eine der Farben zu ziehen gleichwahrscheinlich zu jeder anderen Möglichkeit ist.

Die Entropie für einen Zug aus der Urne beträgt nach der Shannonformel

H = - ( 3 * 1/3 * ld(1/3)) 
H = - ( 1 * ld(1/3))
H = ld(3)
H = 1,584962500721

Die Entropie für 2 Züge aus der Urne. Hier muß man unterscheiden, ob die gezogene Kugel zurückgelegt wird oder nicht.

Mit Zurücklegen

Ergebnisraum:

ww , wr, ws, rw, rr, rs, sw, sr, ss

Es gibt also 9 Möglichkeiten im Ergebnisraum. Alle 9 Möglichkeiten sind gleichwahrscheinlich p = 1/9

H = - ( 9 * 1/9 * ld(1/9)) 
H = - ( 1 * ld(1/9))
H = ld(9)
H = 3,169925001442

Ohne Zurücklegen

Ergebnisraum:

wr, ws, rw, rs, sw, sr,

Es gibt also 6 Möglichkeiten im Ergebnisraum. Alle 6 Möglichkeiten sind gleichwahrscheinlich p = 1/6

H = - ( 6 * 1/6 * ld(1/6)) 
H = - ( 1 * ld(1/6))
H = ld(6)
H = 2,584962500721

Man kann zu demselben Ergebnis kommen, wenn man die Entropie für den Zug 1 und den Zug 2 addiert.

Ergebnisraum 1.Zug

w, r , s

$\mathrm {p_{1}={\frac {1}{3}}}$

Ergebnisraum 2.Zug

Restkugel1 oder Restkugel2

$\mathrm {p_{2}={\frac {1}{2}}}$

H = ld(3) + ld(2) 
H = 1,584962500721 + 1
H = 2,584962500721

Aufgabe 6 6er Urne

Wieviel Bit an Entropie steckt in jedem Zug der 6er Urne unter der Voraussetzung, daß alle Kugeln gleichwahrscheinlich p = 1/6 gezogen und danach wieder zurückgelegt werden ?

p  = 1/6 
H = ld(6) 
H = 2,584962500721

Aufgabe 7 6er Urne

Wie groß ist die Summe der Entropien der 6er Urne unter der Voraussetzung, daß alle Kugeln gleichwahrscheinlich p = 1/6 gezogen werden, das die Kugeln nach jedem Zug nicht mehr zurückgelegt werden und unterscheidbar sind? Sie ziehen bis die Urne leer ist. Berechnen Sie erst die Wahrscheinlichkeit für jeden Zug, dann die Entropie für jeden Zug und dann die Summe der Entropien. Wie kann man diese Summe der Entropien verstehen oder interpretieren ?

p1 = 1/6 , p2 = 1/5 , p3 = 1/4 , p4 = 1/3 , p5 = 1/2 , p6 = 1
H1 = ld(6) H2 = ld(5) H3 = ld(4) H4 = ld(3) H5 = ld(2) H6 = ld(1)
H1 = 2,584962500721
H2 = 2,321928094887
H3 = 2
H4 = 1,584962500721
H5 = 1
H6 = 0 
H1 + H2 + H3 + H4 + H5 + H6 =  9.491853096329

Diese Summenentropie entspricht der Entropie eines einzigen Wurfes eines idealen 720er Würfels. Im Ergebnisraum der Aufgabe sind 720 unabhängige gleichwahrscheinliche Möglichkeiten zu finden. Sie brauchen eine binäre Zahl mit 10 Stellen, um alle 720 Möglichkeiten dieses Beispiels darstellen zu können, denn 10 ist die nächstgrößere natürliche Zahl von 9.491853096329.

Siehe auch Statistik: Kombinierte Zufallsvorgänge

Nehmen Sie folgende Farben der Kugeln an w,s,r,g,b,o ( w = weiß, s = schwarz, r = rot, g = gelb, b = blau, o = orange)

Folgende Möglichkeiten gibt es :

wsrgbo wsrgob wsrogb wsrobg .......

Dabei ist die Reihenfolge wichtig. Es gibt aber nicht die Möglichkeiten :

wwwwww oder wswsws ...

Die Zahl der Möglichkeiten bei der Urne ohne Zurücklegen errechnet sich nach der Formel:

 $\mathrm {\frac {N!}{(N-n)!}}$

Dabei gilt: In der Urne sind N verschiedene Kugeln. Davon sollen n Kugeln gezogen werden. In obigen Beispiel ist N = n Daraus folgt ( N - n )! = 0! = 1

Zahl der Möglichkeiten = N! = 6! = Fakultät von 6 = 1*2*3*4*5*6 = 720

Exkurs:Fakultät

Symbol: ! = Ausrufezeichen

Die Fakultät zu einer Zahl ist das Produkt der natürlichen, d.h. ganzzahlig, positiven Zahlen von 1 bis n. Die mathematische Darstellung der Fakultät ist: n!. Dies wird gesprochen: n Fakultät.

Es gilt:

0! = 1 
1! = 1 
2! = 1*2 = 2 
3! = 1*2*3 = 6
4! = 1*2*3*4 = 24
5! = 1*2*3*4*5 = 120
6! = 1*2*3*4*5*6 = 720
....... 
n! = n * (n - 1)!

Aufgabe 8 Lotto

8. Wie groß ist die Entropie einer fiktiven Lottoziehung 1 aus 1 Million Möglichkeiten.

Es gibt also 1 Million Möglichkeiten im Ergebnisraum. Alle Möglichkeiten sind gleichwahrscheinlich p = 1/ 1 Million

H = - ( 1 Million * 1/ 1 Million * ld(1/1000000)) 
H = - ( 1 * ld(1/1000000))
H = ld(1000000)
H = 19,931568569324

Aufgabe 9 Kartenspiel mit 52 Karten

Sie haben ein normales Kartenspiel mit 4 Farben und 13 Karten je Farbe (As, 2, 3, 4, 5, 6, 7, 8, 9, 10, Bube, Dame, König). Die Karten werden ausführlich gemischt. Wie groß ist die Entropie beim Zug einer einzelnen Karte ? Beachten Sie dazu die Zahl der gleichberechtigten Möglichkeiten und berechnen Sie dann die Entropie.

Die Zahl der gleichberechtigten Möglichkeiten ist 4 * 13 = 52

Die Wahrscheinlichkeit eine bestimmte Karte zu ziehen ist 1 / ( 4 * 13 ) = 1 / 52

ld = binärer Logarithmus = logarithmus dualis

H = - ( 52 * 1/52 * ld(1/52)) 
H = - ( 1 * ld(1/52))
H = ld(52)
Abschätzung 52 liegt zwischen 32 ( H = 5 ) und 64 ( H = 6 )
H = 5,???
H = 5,70043971814109

Aufgabe 9a Kartenspiel mit 36 Karten

Sie haben ein Kartenspiel mit 4 Farben und 9 Karten je Farbe. Die Karten werden ausführlich gemischt. Wie groß ist die Entropie beim Zug einer einzelnen Karte ? Beachten Sie dazu die Zahl der gleichberechtigten Möglichkeiten und berechnen Sie dann die Entropie.

Die Zahl der gleichberechtigten Möglichkeiten ist 4 * 9 = 36

Die Wahrscheinlichkeit eine bestimmte Karte zu ziehen ist 1 / ( 4 * 9 ) = 1 / 36

ld = binärer Logarithmus = logarithmus dualis

H = - ( 36 * 1/36 * ld(1/36)) 
H = - ( 1 * ld(1/36))
H = ld(36)
Abschätzung 36 liegt zwischen 32 ( H = 5 ) und 64 ( H = 6 )
H = 5,???
H = 5,17

Entropie in der Physik

Wärmelehre

Aufgabe 1

1.Sie haben 1 kg Eis bei Null Grad Celsius und normalem Umgebungsdruck. Berechnen Sie die Zunahme der Entropie, wenn das Eis komplett zu Wasser von 0 Grad geschmolzen ist. Benutzen Sie dazu entweder die Definition der Entropieeinheit 1J/ Kelvin oder die spezifische Schmelzwärme von Wasser.

Sie können diese Augabe auf 2 Wegen lösen:

Lösungsweg A

Sie nutzen dazu die Definition der Entropieeinheit: 1 Joule / Grad Kelvin entspricht der Entropiemenge , mit der man bei Normaldruck 0,893 cm^3 Wassereis schmelzen kann. Dann müssen Sie noch wissen , wie große die Dichte von Wassereis ist. Aus diesen Angaben können Sie dann leicht die Entropie berechnen.

Die Dichte von Wassereis bei Null Grad schauen Sie in einem Diagramm nach: Siehe http://de.wikipedia.org/wiki/Bild:Wasseranomalie.png Sie lesen dort eine Dichte von Eis bei Null Grad von 918 kg / m³ ab. Jetzt müssen Sie berechnen wieviel Volumen 1 kg Eis bei Null Grad hat. Es gilt:

 $\mathrm {Dichte={\frac {Masse}{Volumen}}}$

Daraus folgt,

 $\mathrm {Volumen={\frac {Masse}{Dichte}}}$

V = 1 kg / 918 kg / m³ = 1/918 m³ = 0,00108932461873638344 m³

V = 1,08932461873638344 Liter

Denn es gilt

 1 m³ = 1000 Liter

Jetzt muß das tatsächliche Volumen durch das Einheitsvolumen für Wassereis dividiert werden.

S = ( V Liter /  0,893 cm³  ) Joule / Kelvin

S = ( 1,08932461873638344 Liter / 0,893 cm³) Joule / Kelvin

Es gilt 1 Liter = 1 dm³ = 1000 cm³

S = ( 1089,32461873638344 cm³ / 0,893 cm³) Joule / Kelvin

S = 1219,848 Joule / Kelvin

Lösungsweg B

Sie nutzen für diesen Lösungsweg die Formel

 $\mathrm {S={\frac {Q}{T}}}$

T ist in diesem Fall konstant und beträgt 273 Grad Kelvin Q ist die Schmelzwärme von 1 kg Wasser. Diese Schmelzwärme schauen Sie in Wikipedia oder in einem Physikbuch nach. Siehe http://de.wikipedia.org/wiki/Schmelzwärme Die spezifische Schmelzwärme für Wasser beträgt 334 kJ / kg. Daraus folgt Q = 334 kJ , da Sie ja gerade ein Kilogramm Eis auftauen sollen.

S = 334 kJ / 273 K 
S = 1223,44322344322344322 J / K

Wodurch läßt sich der geringe Unterschied in den Ergebnissen erklären ?

Aufgabe 1a

1a.Sie haben 5 kg Wasser beim normalen Siedepunkt von 100 Grad Celsius und normalem Umgebungsdruck. Berechnen Sie die Zunahme der Entropie, wenn das Wasser komplett zu Wasserdampf mit der Temperatur des Siedepunktes verdampft ist. Benutzen Sie dazu die spezifische Verdampfungswärme (Verdampfungsenthalpie) von Wasser. ( Siehe http://de.wikipedia.org/wiki/Verdampfungswärme#Verdampfungsenthalpie )

Bei 100 °C und 1013 mbar beträgt die spezifische 
Verdampfungsenthalpie von Wasser 2541 kJ/kg.

100 °C = 373 K

Diese Werte nutzen wir für die Berechnung der Entropie. Da T konstant ist können wir die vereinfachte Entropieformel heranziehen.

 $\mathrm {S={\frac {Q}{T}}}$

S ist die gesuchte Entropiezunahme
Q ist die aufzuwendende Energie
T ist die absolute Temperatur

S = ( 5 kg * 2541 kJ/kg ) / 373 Kelvin
S = ( 5 * 2541 / 373 ) kJ / Kelvin 
S = 34064,69 J / Kelvin

Dabei ist S nicht die komplette Entropie, die in 5 kg Wasserdampf von 100 Grad Celsius steckt, sondern nur die Entropieerhöhung bei dem Phasenwechsel flüssig -> gasförmig

Aufgabe 1b

1b.Warum muß bei dem Vorgang Energie aufgewendet werden und warum läuft die Verdampfung nicht von alleine ab ? Wann läuft die Verdampfung scheinbar von alleine ab ?

Aufgabe 1c

1c. Kommt es bei dem Übergang Wasser -> Wasserdampf zu einer Zunahme oder Abnahme der Entropie S?

Lösung: Es kommt zu einer Entropiezunahme, wenn man voraussetzt, daß die Stoffmenge und der Druck für das Wasser als auch für den Wasserdampf gleich ist. Es gilt in der Regel S(fest) < S(flüssig) < S(gasförmig) Man muß Entropie ( Wärme ) beispielweise aus einem Tauchsieder in das flüssige Wasser hineinstecken um es zu verdampfen.

Aufgabe 1d

1d.Wie kann man sich erklären, das Wasser auch bei normalen Luftdruck auch schon bei Temperaturen weit unter dem Siedepunkt verdampft zb bei der Trocknung eines Wäschestückes auf der Wäscheleine ?

Aufgabe 2

2.Sie erwärmen 1 kg Wasser von 20 Grad Celsius auf 70 Grad Celsius.

2a Wieviel Energie müssen Sie dazu verwenden ?
2b Wie groß ist die Entropiezunahme ?

Lösung 2a: E = 209,41 kJ

Lösungsweg:

Man braucht die Grundgleichung der Wärmelehre

 $\mathrm {Q=c\cdot m\cdot \Delta T}$

mit Q = Wärmeenergie in Joule
mit c = spezifische Wärmekapazität in J/(kg*K)
mit m = Masse in kg
mit ΔT = Temperaturdifferenz in K Kelvin

c = 4,182 kJ / ( kg * Kelvin ) , flüssigesWasser unter Normalbedingungen Das heisst, dass man einem Kilogramm Wasser eine Energie von 4,182 Kilojoule zuführen muss, um es um 1 Grad Kelvin zu erwärmen. Setzt man dies in die Formel ein so resultiert folgende Rechnung

Q = 4,182 kJ / ( kg * Kelvin ) * 1 kg * 50 Grad = 209,41 kJ

Lösung 2b: S

Es gilt

S = Q / T kalt -  Q / T warm

dabei wird T kalt und T warm in Grad Kelvin benötigt. Dann kann man folgendes in die Formel einsetzen :

S = 209,41 kJ / T kalt - 209,41 kJ / T warm

T kalt = 20 + 273 Grad Kelvin T warm = 70 + 273 Grad Kelvin

S = 209,41 kJ / 293 Kelvin  - 209,41 kJ / 343 Kelvin
S = 0,715 kJ / Kelvin  - 0,611 kJ / Kelvin = 0,104 KiloJoule / Kelvin

Aufgabe 3

3.Sie mischen 1 kg Wasser von 20 Grad Celsius mit 1 kg Wasser von 50 °C. Wieviel Energie geht von dem wärmeren Wasser auf das kältere Wasser über ? Wie hoch ist die Mischtemperatur ? Wie groß ist der Entropieanstieg ?

Lösung: S =
Lösungsweg: S = Q / T

Die Mischtemperatur ist einfach zu schätzen. Sie liegt bei 35 Grad, d.h. genau in der Mitte zwischen 20 und 50 Grad. Die Energieaufnahme des kalten Wassers entspricht der Energieabgabe des warmen Wassers. Das fordert der Energieerhaltungsatz

E-kalt = E-warm

Man braucht dann eine Aussage über die Wärmespeicherkapazität von 1 kg Wasser unter Normalbedingungen pro Grad Celsius.