27 Grenzwerte
In diesem Kapitel beschäftigen wir uns mit für die probabilistische Modellbildung und Datenanalyse grundlegenden Grenzwertaussagen zu Folgen von Zufallsvariablen. Dabei liefern die Gesetze der Großen Zahlen (Kapitel 27.1) zunächst eine grundlegende Begründung für die Mittelwertbildung im Rahmen der probabilistischen Inferenz. Die Zentralen Grenzwertsätze liefern dann die Begründung für die weite Verbreitung von Normalverteilungsannahmen zu Störvariablen im Rahmen der probabilistischen Modellformulierung (Kapitel 27.2). Die mathematische Tiefe dieser Grenzwertaussagen kann in dieser einführenden Betrachtung nicht ausgeschöpft werden, so dass wir uns mit zahlreichen Vereinfachungen begnügen müssen. Ein minimales Vorwissen zu Funktionenfolgen und ihren Grenzfunktionen liefert Kapitel 5.
27.1 Gesetze der Großen Zahlen
Es gibt ein Schwaches Gesetz der Großen Zahlen und ein Starkes Gesetz der Großen Zahlen. Intuitiv besagen beide Gesetze, dass sich das Stichprobenmittel von unabhängigen und identisch verteilten Zufallsvariablen für eine große Anzahl an Zufallsvariablen dem Erwartungswert der zugrundeliegenden Verteilung nähert. Das Schwache und das Starke Gesetz der Großen Zahlen unterscheiden sich in Hinblick auf die zu ihrer Formulierung benutzen Formen der Konvergenz von Zufallsvariablen. Das Schwache Gesetz basiert auf der Konvergenz in Wahrscheinlichkeit. Das Starke Gesetz basiert auf der fast sicheren Konvergenz. Wir begnügen uns hier mit dem Begriff der Konvergenz in Wahrscheinlichkeit und damit dem Schwachen Gesetz der Großen Zahlen.
Definition 27.1 (Konvergenz in Wahrscheinlichkeit) Eine Folge von Zufallsvariablen \(\xi_1,\xi_2,...\) konvergiert gegen eine Zufallsvariable \(\xi\) in Wahrscheinlichkeit, wenn für jedes noch so kleine \(\epsilon > 0\) gilt, dass \[\begin{equation} \lim_{n \to \infty} \mathbb{P}(|\xi_n - \xi| < \epsilon) = 1 \Leftrightarrow \lim_{n \to \infty} \mathbb{P}(|\xi_n - \xi| \ge \epsilon) = 0. \end{equation}\] Die Konvergenz von \(\xi_1,\xi_2,....\) gegen \(\xi\) in Wahrscheinlichkeit wird geschrieben als \[\begin{equation} \xi_n\xrightarrow[n \to \infty]{\mbox{P}} \xi. \end{equation}\]
\(\xi_n\xrightarrow[n \to \infty]{\text{P}} \xi\) heißt also, dass sich die Wahrscheinlichkeit dafür, dass \(\xi_n\) in dem zufälligen Intervall \[\begin{equation} ]\xi-\epsilon, \xi+\epsilon[ \end{equation}\] liegt, unabhängig davon, wie klein dieses Intervall sein mag, \(1\) nähert, wenn \(n\) gegen Unendlich geht. Intuitiv heißt das, dass sich für \(n \to \infty\) und eine konstante Zufallsvariable \(\xi := a\) die Verteilung von \(\xi_n\) mehr und mehr um \(a\) konzentriert, wenn \(n\) gegen Unendlich strebt. Mithilfe der Konvergenz in Wahrscheinlichkeit formuliert man das Schwache Gesetz der Großen Zahlen wie folgt.
Theorem 27.1 (Schwaches Gesetz der Großen Zahlen) \(\xi_1,...,\xi_n\) seien unabhängig und gleichverteilte Zufallsvariablen mit \(\mathbb{E}(\xi_i) = \mu\) für alle \(i = 1,...,n\). Weiterhin bezeichne \[\begin{equation} \bar{\xi}_n := \frac{1}{n}\sum_{i=1}^n \xi_i \end{equation}\] das Stichprobenmittel der \(\xi_i, i = 1,...,n\). Dann konvergiert \(\bar{\xi}_n\) in Wahrscheinlichkeit gegen \(\mu\), \[\begin{equation} \bar{\xi}_n \xrightarrow[n \to \infty]{\mbox{P}} \mu. \end{equation}\]
Für einen Beweis dieses Theorems verweisen wir auf die weiterführende Literatur, so zum Beispiel auf Abschnitt 5.1 in Georgii (2009). Intuitiv heißt \[\begin{equation} \bar{\xi}_n \xrightarrow[n\to\infty]{\mbox{P}} \mu \end{equation}\] also, dass die Wahrscheinlichkeit, dass das Stichprobenmittel nahe dem Erwartungswert der zugrundeliegenden Verteilung liegt, sich 1 nähert, wenn \(n\) gegen Unendlich strebt.
Simulation
Wir betrachten den Fall von u.i.v. normalverteilten Zufallsvariablen \(\xi_1,...,\xi_n \sim N(0,1)\). Abbildung 27.1 A zeigt Realisationen der von Stichprobenmitteln \(\bar{\xi}_n\) als Funktion von \(n\). Man erkennt, dass für größeres \(n\) mehr Realisierungen von \(\bar{\xi}_n\) in der Nähe des Erwartungswerts der \(\xi_i, i = 1,...,n\) liegen. Basierend auf diesen Stichprobenmittelrealisationen zeigt Abbildung 27.1 B Schätzungen der Wahrscheinlichkeit \(\mathbb{P}(|\bar{\xi}_n - \mu| \ge \epsilon)\) als Funktionen von \(n\) und \(\epsilon\). Für ein großes \(\epsilon\) reicht ein geringes \(n\) aus um die Wahrscheinlichkeit für eine absolute Abwecihung des Stichprobenmittels vom Erwartungswert klein werden zu lassen, für ein kleineres \(\epsilon\) ist dafür ein größeres \(n\) nötig. In jedem Fall sinken die Wahrscheinlichkeiten jedoch mit größerem \(n\).
27.2 Zentrale Grenzwertsätze
Die Zentralen Grenzwertsätze besagen intuitiv, dass die Summe von unabhängigen Zufallsvariablen mit Erwartungswert Null asymptotisch, also für unendlich viele Zufallsvariablen, normalverteilt mit Erwartungswertparameter Null ist. Modelliert man eine beliebige Messgröße \(\upsilon\) also als Summe eines deterministischen Einflusses \(\mu\) und der Summe \[\begin{equation} \varepsilon := \sum_{i=1}^n \xi_i \end{equation}\] einer Vielzahl von unabhängigen Zufallsvariablen \(\xi_i, i = 1,...,n\), die unbekannte Störeinflüsse modellieren sollen, so ist für großes \(n\) die Annahme \[ \upsilon = \mu + \varepsilon \mbox{ mit } \varepsilon \sim N(0,\sigma^2) \tag{27.1}\] mathematisch gerechtfertigt. Wie wir später sehen werden, liegt die Annahme in Gleichung Gleichung 27.1 einer großen Vielzahl von probabilistischen Modellen zugrunde.
Formal werden verschiedene Formen von Zentralen Grenzwertsätzen, je nach Ausgestaltung der zugrundeliegenden Annahmen und ihrer Beweisführung unterschieden. In der sogenannten Lindenberg und Lévy Form des Zentralen Grenzwertsatzes werden unabhängig und identische Zufallsvariablen vorausgesetzt. In der Liapunov Form dagegen werden nur unabhängige Zufallsvariablen voraussetzt. In beiden Formulierungen des Zentralen Grenzwertsatzes ist die betrachtete Konvergenz von Zufallsvariablen die Konvergenz in Verteilung, welche wir zunächst einführen.
Definition 27.2 (Konvergenz in Verteilung) Eine Folge \(\xi_1,\xi_2,...\) von Zufallsvariablen , wenn \[\begin{equation} \lim_{n \to \infty} P_{\xi_n}(x) = P_\xi(x) \end{equation}\] für alle \(\xi\) an denen \(P_\xi\) stetig ist. Die Konvergenz in Verteilung von \(\xi_1,\xi_2,...\) gegen \(\xi\) wird geschrieben als \[\begin{equation} \xi_n\xrightarrow[n\to \infty]{\text{D}} \xi. \end{equation}\] Gilt \(\xi_n\xrightarrow[n\to \infty]{\text{D}} \xi\), dann heißt die Verteilung von \(\xi\) die .
Die Konvergenz in Verteilung ist also eine Aussage zur Konvergenz von Funktionenfolgen, speziell von KVFen. Ohne Begründung merken wir an, dass die oben betrachtete Konvergenz in Wahrscheinlichkeit die Konvergenz in Verteilung impliziert. Wir geben nun zunächst den Zentralen Grenzwertsatz nach Lindenberg und Lévy an.
Theorem 27.2 (Zentraler Grenzwertsatz nach Lindenberg und Lévy) \(\xi_1,...,\xi_n\) seien unabhängig und identisch verteilte Zufallsvariablen mit \[\begin{equation} \mathbb{E}(\xi_i) := \mu \mbox{ und } \mathbb{V}(\xi_i) := \sigma^2 > 0 \mbox{ für alle } i = 1,....,n. \end{equation}\] Weiterhin sei \(\zeta_n\) die Zufallsvariable definiert als \[\begin{equation} \zeta_n := \sqrt{n}\left(\frac{\bar{\xi}_n - \mu}{\sigma}\right). \end{equation}\] Dann gilt für alle \(z \in \mathbb{R}\) \[\begin{equation} \lim_{n \to \infty} P_{\zeta_n}(z) = \Phi(z), \end{equation}\] wobei \(\Phi\) die kumulative Verteilungsfunktion der Standardnormalverteilung bezeichnet.
Wir zeigen an späterer Stelle, dass damit für \(n\to\infty\) auch gilt, dass \[ \sum_{i=1}^n \xi_i \sim N(\mu, n\sigma^2) \mbox{ und } \bar{\xi}_n \sim N\left(\mu,\frac{\sigma^2}{n}\right). \tag{27.2}\]
Simulation
Wir betrachten den Fall von u.i.v. \(\chi^2\)-Zufallsvariablen \(\xi_1,...,\xi_n \sim \chi^2(3)\). Offenbar ist die funktionale Form der \(\chi^2(3)\)-Verteilung von der Standardnormalverteilung recht verschieden, insbesondere nehmen \(\chi^2\)-Zufallsvariablen mit von Null verschiedener Wahrscheinlichkeit nur nicht-negative Werte an (vgl. Kapitel 21.3) Nichtsdestotrotz resultiert ihre standardisierte Summe asymptotisch in einer Normalverteilung, wie in Abbildung 27.2 visualisiert. Dazu nutzen wir auf Ebene der Implementation die Tatsache, für die \(\chi^2\)-Zufallsvariablen \(\xi_i, i = 1,...,n\) mit Freiheitsgradparameter \(3\) bekanntlich gilt (vgl. Kapitel 23 und Kapitel 24) \[\begin{equation} \mathbb{E}(\xi_i) = 3 \mbox{ und }\mathbb{V}(\xi_i) = 6 \end{equation}\] Die Abbildungen in Abbildung 27.2 A zeigen Histogrammschätzer der Wahrscheinlichkeitsdichte von \[\begin{equation} \zeta_n := \sqrt{n}\left(\frac{\bar{\xi}_n - \mu}{\sigma}\right) \end{equation}\] basierend auf 1000 Realisationen von \(\zeta_n\) für \(n = 2\) und \(n = 200\), sowie die WDF von \(N(0,1)\). Offenbar ist die Verteilung der Realisiationen von \(\zeta_2\) der Standardnormalverteilung noch sehr unähnlich, wohingegen sich die Verteilung der Realisationen von \(\zeta_{200}\) der Standardnormalverteilung schon annähert. Abbildung 27.2 B zeigt die entsprechenden geschätzten KVFen über die Theorem 27.2 formal eine Aussage trifft.
Theorem 27.3 (Zentraler Grenzwertsatz nach Liapounov) \(\xi_1,...,\xi_n\) seien unabhängige aber nicht notwendigerweise identisch verteilten Zufallsvariablen mit \[\begin{equation} \mathbb{E}(\xi_i) := \mu_i \mbox{ und } \mathbb{V}(\xi_i) := \sigma^2_i > 0 \mbox{ für alle } i = 1,....,n. \end{equation}\] Weiterhin sollen für \(\xi_1,...,\xi_n\) folgende Eigenschaften gelten: \[\begin{equation} \mathbb{E}(|\xi_i - \mu_i|^3) < \infty \mbox{ und } \lim_{n \to \infty} \frac{\sum_{i=1}^n \mathbb{E}\left(|\xi_i - \mu_i|^3\right)}{(\sum_{i=1}^n \sigma_i^2)^{3/2}} = 0. \end{equation}\] Dann gilt für die Zufallsvariable \(\zeta_n\) definiert als \[\begin{equation} \zeta_n := \frac{\sum_{i=1}^n \xi_i - \sum_{i=1}^n \mu_i}{\sqrt{\sum_{i=1}^n \sigma_i^2}}, \end{equation}\] für alle \(z\in\mathbb{R}\), dass \[\begin{equation} \lim_{n \to \infty} P_{\zeta_n}(z) = \Phi(z), \end{equation}\] wobei \(\Phi\) KVF der Standardnormalverteilung bezeichnet.
Wir zeigen an späterer Stelle, dass damit für \(n\to\infty\) auch gilt, dass \[ \sum_{i=1}^n \xi_i \sim N\left(\sum_{i=1}^n \mu_i, \sum_{i=1}^n \sigma_i^2\right) \tag{27.3}\]
27.3 Literaturhinweise
Zur mathematik-geschichtlichen Genese der Zentralen Grenzwertsätze siehe z.B. Fischer (2011).