Beweisarchiv: Stochastik: Wahrscheinlichkeitstheorie: Approximationssatz von Stone-Weierstrass

Beweisarchiv: Stochastik

Statistik: Arithmetisches Mittel zweier Zahlen · Eindeutigkeit der Methode der kleinsten Fehlerquadrate

Wahrscheinlichkeitstheorie: Bernstein-Ungleichung · Satz von Moivre-Laplace · Approximationssatz von Stone-Weierstrass

Kombinatorik: Kombinatorische Eigenschaft des Binomialkoeffizienten

Satz (Approximationssatz von Stone-Weierstrass)

Seien $a,b\in \mathbb {R}$ beliebig und $f:[a,b]\mapsto \mathbb {R}$ eine stetige Funktion. Dann gilt für alle $\epsilon >0$: Es existiert ein Polynom $\mathbf {P}$, das $\forall x\in [a,b]:|f(x)-\mathbf {P} (x)|<\epsilon$ erfüllt.

Beweis

Teil 1

Ohne Beschränkung der Allgemeinheit gelte $a=0,b=1$.

Sei $K$ eine binomialverteilte Zufallsvariable mit den Parametern $n$ der Anzahl der Versuche bis zum ersten Erfolg (bei einer Folge unabhängiger Bernoulli-Versuche) und Erfolgswahrscheinlichkeit $p$. Dann gilt $\mathbb {E} \left[{\frac {K}{n}}\right]=p$.

Mit dem schwachen Gesetz der großen Zahlen ($\mathbb {E} [K/n]=p$!) folgt

$\lim _{n\to \infty }{P\left(\left|{\frac {K}{n}}-p\right|>\delta \right)}=0$

für alle $\delta >0$ (Konvergenz in Wahrscheinlichkeit von $K/n$ gegen $p$).

Diese Konvergenz bzgl. $n$ ist sogar gleichmäßig in $p$ (siehe das Korollar weiter unten).

Lemma 1

Die Varianz von $K/n$ ist beschränkt durch ${\frac {1}{4n}}$.

Beweis des Lemmas 1

Da $K$ binomialverteilt ist, ist

${\begin{aligned}Var(K/n)&={\frac {Var(K)}{n^{2}}}\\&={\frac {np(1-p)}{n^{2}}}\\&={\frac {p(1-p)}{n}}\\&={\frac {-p^{2}+p}{n}}.\end{aligned}}$

Wir suchen das globale Maximum bezüglich $p$ auf $[0,1]$.

${\begin{aligned}0&={\frac {\partial Var(K/n)}{\partial p}}={\frac {-2p+1}{n}}\\0&=-2p+1\\-1&=-2p\\p&={\frac {1}{2}}.\end{aligned}}$

Bei ${\hat {p}}:={\frac {1}{2}}$ befindet sich also ein möglicher lokaler Extremwert. Wegen

${\frac {\partial ^{2}Var(K/n)}{\partial ^{2}p}}=-2/n<0$

an der Stelle ${\hat {p}}$ ist dieser mögliche lokale Extremum tatsächlich ein lokales Maximum. Auf dem Rand (für $p=0$ oder $p=1$) ist die Varianz 0 und damit kleiner dem lokalen Maximum. Also liegt bei ${\hat {p}}$ ein globales Maximum mit Funktionswert $Var(K/n)\left({\frac {1}{2}}\right)={\frac {1}{4n}}$.

Korollar

$P\left(\left|{\frac {K}{n}}-p\right|>\delta \right)$ konvergiert für $n\to \infty$ gleichmäßig gegen 0.

Beweis des Korollars

Den Wert des Limes kennen wir aus dem Lemma 1. Es ist also zu zeigen:

$\forall \varepsilon >0:\exists n_{0}\in \mathbb {N} :\forall n\geq n_{0}:\forall p\in [0,1]:\left|P\left(\left|{\frac {K}{n}}-p\right|>\delta \right)-0\right|<\varepsilon$

, das heißt, dass $n_{0}$ unabhängig von der Wahl von $p$ ist. Wähle ein $\varepsilon >0$. Sei $p\in [0,1]$ beliebig. Es gilt für alle $n\in \mathbb {N}$:

${\begin{aligned}\left|P\left(\left|{\frac {K}{n}}-p\right|>\delta \right)\right|&\leq {\frac {Var(K/n)}{\delta ^{2}}}{\text{ }}&\mid {\text{ Tschebyscheff-Ungleichung}}\\&\leq {\frac {1/(4n)}{\delta ^{2}}}&\mid {\text{ Lemma 1}}\\&={\frac {1}{4n\delta ^{2}}}=:(\star )\end{aligned}}$

Wähle $n_{0}>{\frac {1}{4\varepsilon \delta ^{2}}}$. Dann gilt für alle $n\geq n_{0}$:

${\begin{aligned}(\star )&\leq {\frac {1}{4n_{0}\delta ^{2}}}\\&<{\frac {1}{4{\frac {1}{4\varepsilon \delta ^{2}}}\delta ^{2}}}\\&={\frac {4\varepsilon \delta ^{2}}{4\delta ^{2}}}\\&=\varepsilon \end{aligned}}$.

Da die Definition von $n_{0}$ keine Abhängigkeit zu $p$ aufweist, ist das Korollar damit bewiesen.

Beweis des Satzes Teil 2

Das Intervall $[0,1]$ ist abgeschlossen und beschränkt, also kompakt (Satz von Heine-Borel). $f$ ist stetig (in $p$), also insbesondere fast überall stetig. $f$ ist stetig, also messbar. Außerdem ist $f$ auf einem kompakten Intervall definiert.

Also ist $f$ auf diesem Intervall auch gleichmäßig stetig und beschränkt (durch $||\sup f||$, eine als Konstante von $p$ unabhängige und integrierbare Funktion mit endlichem Erwartungswert).

Daraus folgt für alle $\varepsilon >0$ die gleichmäßige Konvergenz bzgl. $p$ (nach dem gleichmäßigen Gesetz der großen Zahl), also

$\lim _{n\to \infty }\,\sup _{p\in [0,1]}P\left(\left|f\left({\frac {K}{n}}\right)-f\left(x\right)\right|>\varepsilon \right)=0$.

(siehe auch hier????????) Aus der Beschränktheit von $f$ (auf dem gegebenen Intervall) folgt mit dem Satz über die majorisierte Konvergenz für Zufallsvariablen die (gleichmäßige, weil Absolutbetrag unabhängig von $x$ beschränkt und damit Erwartungswert ebenso (Monotonie des Erwartungswertes)) Konvergenz der Erwartungswerte

$\lim _{n\to \infty }\,\sup _{p\in [0,1]}E\left[\left|f\left({\frac {K}{n}}\right)-f\left(x\right)\right|\right]=0$.

Lemma 2

Für alle Funktionen $f$ und alle natürlichen Zahlen $n$ gilt:

$f(x)=\sum _{k=0}^{n}f(x){n \choose k}p^{k}(1-p^{n-k})$

Beweis des Lemmas 2

${\begin{aligned}f(x)&=f(x)\times 1^{n}\\&=f(x)\times (p+1-p)^{n}\\&=f(x)\times \sum _{k=0}^{n}{n \choose k}p^{k}(1-p)^{n-k}\\&=\sum _{k=0}^{n}f(x){n \choose k}p^{k}(1-p)^{n-k}\end{aligned}}$

aufgrund des Binomischen Lehrsatzes.

Beweis des Satzes Teil 3

Gemäß dem Lemma 2 gilt $|f(K/n)-f(p)|=\sum _{k=0}^{n}|f(K/n)-f(p)|{n \choose k}p^{k}(1-p)^{n-k}$. Sei $\varepsilon >0$. Wegen der gleichmäßigen Stetigkeit von $f$ existiert dann ein $\delta >0$, sodass für alle Punkte $x,y\in [a,b]$ gilt:

$|x-y|<\delta \implies |f(x)-f(y)|<\varepsilon /2.$

Zerlege die Summe in zwei Teile:

• einen Teil $A$ mit $k$-Werten, die $|k/n-x|<\delta$ erfüllen und
• einen Teil $B$ mit $k$-Werten, die diese Bedingung nicht erfüllen.

Wegen der Stetigkeit von $f$ gilt für alle Summenglieder von $A$: $|f(K(x)/n)-f(x)|<\varepsilon /2$ und für all jene von $B$: $|f(K(x)/n)-f(x)|<M+M=2M$ wegen der Beschränktheit von $f$ auf $[a,b]$. Daraus ergibt sich:

${\begin{aligned}\mathbb {E} \left[|f(K/n)-f(x)|\right]&=\mathbb {E} \left[\sum _{k=0}^{n}|f(K/n)-f(x)|{n \choose k}p^{k}(1-p)^{n-k}\right]\\&\leq \mathbb {E} \left[(\mathbf {1} _{k{\text{ wie in }}A})\times \varepsilon /2\right]+\mathbb {E} \left[(\mathbf {1} _{k{\text{ wie in }}B})\times 2M\right]\\&=P(k{\text{ wie in }}A)\times \varepsilon /2+P(k{\text{ wie in }}B)\times 2M\\&\leq 1\times \varepsilon /2+1\times 2M{\frac {\varepsilon }{4n}}\\&\leq \varepsilon \end{aligned}}$

für alle $n>M$. Mit der Dreiecksgleichung des Erwartungswertes und seiner Linearität folgt für ein beliebiges, fixes $x$:

${\begin{aligned}\mathbb {E} \left[|f(K/n)-f(x)|\right]&\geq |\mathbb {E} \left[f(K/n)-f(x)\right]|\\&=|\mathbb {E} \left[f(K/n)\right]-\mathbb {E} \left[f(x)\right]|\\&=|\mathbb {E} \left[f(K/n)\right]-f(x)|\end{aligned}}$

. Definiere die Bernstein-Polynome durch

${\begin{aligned}B_{n}(f)(x):=\sum _{\nu =0}^{n}f\left({\frac {\nu }{n}}\right)b_{\nu ,n}(x)\end{aligned}}$

mit $b_{\nu ,n}(x)={n \choose \nu }x^{\nu }\left(1-x\right)^{n-\nu },\quad \nu =0,\ldots ,n.$

Dann genügt es, Lemma 3 zu zeigen, denn dann ist zusammengefasst (mit $\mathbf {P} :=B_{n}(f)$):

${\begin{aligned}|B_{n}(f)(x)-f(x)|&=|\mathbb {E} [f(K/n)]-f(x)|\\&\leq \mathbb {E} [|f(K/n)-f(x)|]\\&\leq \varepsilon .\end{aligned}}$

Lemma 3

$\mathbb {E} [f(K/n)]=B_{n}(f)(x)$

Beweis des Lemmas 3

Es folgt schrittweise aus dem Gesetz des bewusstlosen Statistikers (»law of unconscious statistician«), der Berechnung der Wahrscheinlichkeitsfunktion $f_{K}$ und dem Einsetzen der Wahrscheinlichkeitsfunktion der Binomialverteilung das Ergebnis.

${\begin{aligned}\mathbb {E} [f(K/n)]&=\sum _{\nu =0}^{n}f(\nu /n)f_{K/n}(\nu /n)\\&=\sum _{\nu =0}^{n}f(\nu /n)f_{K}(n\nu /n)\left|{\frac {dn\nu /n}{d\nu }}\right|\\&=\sum _{\nu =0}^{n}f(\nu /n)f_{K}(\nu )\left|{\frac {n}{n}}\right|\\&=\sum _{\nu =0}^{n}f(\nu /n)f_{K}(\nu )\left|1\right|\\&=\sum _{\nu =0}^{n}f(\nu /n)f_{K}(\nu )\\&=\sum _{\nu =0}^{n}f\left({\frac {\nu }{n}}\right){n \choose \nu }x^{\nu }\left(1-x\right)^{n-\nu }\end{aligned}}$

Wikipedia-Verweis

• Satz von Stone-Weierstrass. Allgemeinere Formulierung