24  Varianzen

In diesem Kapitel führen wir den Begriff der Varianz einer Zufallsvariable ein. Wie der Erwartungswert dient die Varianz als eine einzige, skalare Kennzahl, die eine Wahrscheinlichkeitsverteilung zusammenfassend beschreibt und häufig als zentrale charakteristische Größe von Zufallsvariablen verwendet wird. Die Varianz dient dabei als ein Maß für die “Variabilität” einer Zufallsvariable. Letztlich handelt es sich bei der Varianz einer Zufallsvariable um eine spezielle Kovarianz (vgl. Kapitel 25), nämlich die Kovarianz einer Zufallsvariable mit sich selbst. Eng verwandt mit dem Begriff der Varianz ist der Begriff der Standardabweichung, den wir parallel einführen wollen. Wir ergänzen diese Begriffe vorliegenden Kapitel durch ihre deskriptiv-statistischen Äquivalente, die sogenannte Stichprobenvarianz und Stichprobenstandardabweichung sowie ihr Auftreten in bedingten Verteilungen.

24.1 Definition

Definition 24.1 (Varianz und Standardabweichung) \(\xi\) sei eine Zufallsvariable mit endlichem Erwartungswert \(\mathbb{E}(\xi)\). Dann ist die Varianz von \(\xi\) definiert als \[\begin{equation} \mathbb{V}(\xi) := \mathbb{E}\left((\xi - \mathbb{E}(\xi))^2\right) \end{equation}\] und die Standardabweichung von \(\xi\) ist definiert als \[\begin{equation} \mathbb{S}(\xi) := \sqrt{\mathbb{V}(\xi)}. \end{equation}\]

Die Varianz einer Zufallsvariable \(\xi\) mit Ergebnisraum \(\mathcal{X}\) ist nach Definition 23.3 also der Erwartungswert der Funktion \[\begin{equation} f: \mathcal{X} \to \mathcal{Z}, x \mapsto f(x) := (x - \mathbb{E}(\xi))^2 \end{equation}\] und damit die erwartete quadrierte Abweichung einer Zufallsvariable von ihrem Erwartungswert. Die Quadrierung der Abweichung der Zufallsvariable von ihrem Erwartungswert ist dabei nötig, da andernfalls mit Theorem 23.1 immer gelten würde, dass \[\begin{equation} \mathbb{E}(\xi-\mathbb{E}(\xi)) = \mathbb{E}(\xi) - \mathbb{E}(\xi) = 0. \end{equation}\] Intuitiv misst die Varianz also die Streuung oder Variabilität einer Zufallvariable. Insbesondere besagt die in Kapitel 26 genauer diskutierte Chebyshev Ungleichung, dass \[\begin{equation} \mathbb{P}(|\xi - \mathbb{E}(\xi)| \ge x) \le \frac{\mathbb{V}(\xi)}{x^2}. \end{equation}\] Mit der Chebyshev Ungleichung gelten beispielsweise, dass
\[\begin{equation} \mathbb{P}\left(|\xi - \mathbb{E}(\xi)| \ge 2 \sqrt{\mathbb{V}(\xi)}\right) \le \frac{\mathbb{V}(\xi)}{\left(2 \sqrt{\mathbb{V}(\xi)}\right)^2} = \frac{1}{4} \end{equation}\] und \[\begin{equation} \mathbb{P}\left(|\xi - \mathbb{E}(\xi)| \ge 3 \sqrt{\mathbb{V}(\xi)}\right) \le \frac{\mathbb{V}(\xi)}{\left(3 \sqrt{\mathbb{V}(\xi)}\right)^2} = \frac{1}{9}. \end{equation}\] Für eine Zufallsvariable gilt also immer, dass die Wahrscheinlichkeit für eine absolute Abweichung vom doppelten ihrer Standardabweichung höchstens \(1/4\) ist, also frequentistisch betrachtet nur für etwa ein Viertel ihrer Realisierungen zutrifft, und die Wahrscheinlichkeit für eine absolute Abweichung vom dreifachen ihrer Standardabweichung höchstens \(1/9\) ist, also frequentistisch betrachtet nur für etwa ein Zehntel ihrer Realisierungen zutrifft, jeweils unabhängig davon, von welcher genauen Form die Verteilung der Zufallsvariable ist. Neben der Varianz gibt es allerdings viele weitere Maße für die Variabilität von Zufallsvariablen. Hier seien die erwartete absolute Abweichung einer Zufallsvariable von ihrem Erwartungswert \[\begin{equation} \mathbb{A}(\xi) := \mathbb{E}(|\xi - \mathbb{E}(\xi)|) \end{equation}\] und die sogenannte Entropie einer Zufallsvariable \[\begin{equation} \mathbb{H}(\xi) := -\mathbb{E}(\ln p(x)) \end{equation}\] genannt. Wir verdeutlichen die Definition der Varianz in Definition 24.1 zunächst an einigen Beispielen.

Beispiel 24.1 (Varianz einer diskreten Zufallsvariable) \(\xi\) sei eine Zufallsvariable mit Ergebnisraum \(\mathcal{X} := \{-1,0,1\}\) und WMF
\[\begin{equation} p(-1) = \frac{1}{4}, \quad p(0) = \frac{1}{2}, \quad p(1) = \frac{1}{4}. \end{equation}\] Dann gilt \[\begin{equation} \mathbb{V}(\xi) = \frac{1}{2}. \end{equation}\]

Beweis. Nach Definition 24.1 ergibt sich mit dem in Beispiel 23.1 bestimmten Erwartungswert derselben Zufallsvariable \[\begin{align} \begin{split} \mathbb{V}(\xi) & = \mathbb{E}\left((\xi - \mathbb{E}(\xi))^2\right) \\ & = \mathbb{E}\left((\xi - 0)^2\right) \\ & = \mathbb{E}\left(\xi^2\right) \\ & = \sum_{x \in \mathcal{X}} x^2 \,p(x) \\ & = (-1)^2 \cdot p(-1) + 0^2 \cdot p(0) + 1^2 \cdot p(1) \\ & = 1 \cdot \frac{1}{4} + 0 \cdot \frac{1}{2} + 1 \cdot \frac{1}{4} \\ & = \frac{1}{2}. \\ \end{split} \end{align}\]

Beispiel 24.2 (Varianz einer Bernoulli-Zufallsvariable) Es sei \(\xi \sim \mbox{Bern}(\mu)\). Dann ist die Varianz von \(\xi\) gegeben durch \[\begin{equation} \mathbb{V}(\xi) = \mu(1-\mu). \end{equation}\]

Beweis. \(\xi\) ist eine diskrete Zufallsvariable und es gilt \(\mathbb{E}(\xi) = \mu\). Also gilt \[\begin{align} \begin{split} \mathbb{V}(\xi) & = \mathbb{E}\left((\xi - \mu)^2\right) \\ & = \sum_{x \in \{0,1\}} (x - \mu)^2 \mbox{Bern}(x;\mu) \\ & = (0 - \mu)^2 \mu^0(1-\mu)^{1-0} + (1 - \mu)^2\mu^1(1-\mu)^{1-1} \\ & = \mu^2 (1-\mu) + (1 - \mu)^2\mu \\ & = \left(\mu^2 + (1 - \mu)\mu\right)(1-\mu) \\ & = \left(\mu^2 + \mu - \mu^2\right)(1 - \mu) \\ & = \mu(1-\mu). \end{split} \end{align}\]

Beispiel 24.3 (Varianz einer normalverteilten Zufallsvariable) Es sei \(\xi \sim N(\mu,\sigma^2)\). Dann ist die Varianz von \(\xi\) gegeben durch \[\begin{equation} \mathbb{V}(\xi) = \sigma^2. \end{equation}\]

Beweis. Wir verzichten auf einen Beweis.

Analog zum Begriff des Stichprobenmittels definiert man die deskriptiv-statistischen Äquivalente von zu Definition 24.1 wie folgt.

Definition 24.2 (Stichprobenvarianz und Stichprobenstandardabweichung) \(\xi_1,...,\xi_n\) seien Zufallsvariablen und \(\bar{\xi}\) sei ihr Stichprobenmittel. Die Stichprobenvarianz von \(\xi_1,...,\xi_n\) ist definiert als \[\begin{equation} S^2 := \frac{1}{n-1}\sum_{i=1}^n (\xi_i - \bar{\xi})^2 \end{equation}\] und die Stichprobenstandardabweichung von \(\xi_1,...,\xi_n\) ist definiert als \[\begin{equation} S := \sqrt{S^2}. \end{equation}\]

Wie im Kontext des Stichprobenmittels ist es zentral zu erkennen, dass \(\mathbb{V}(\xi)\) und \(\mathbb{S}(\xi)\) Kennzahlen einer Zufallsvariable \(\xi\) sind, wohingegen \(S^2\) bzw. \(S\) Kennzahlen einer Stichprobe \(\xi_1,...,\xi_n\) sind. Da \(S^2\) und \(S\) Funktionen von Zufallsvariablen sind, sind \(S^2\) bzw. \(S\) auch selbst Zufallsvariablen. Realisierungen von \(S^2\) und \(S\) bezeichnen wir \(s^2\) bzw. \(s\).

Beispiel 24.4 (Stichprobenvarianz und Stichprobenstandardabweichung) Als Beispiel für die Realisationen einer Stichprobenvarianz bzw. einer Stichprobenstandardabweichung betrachten wir erneut die in Tabelle 24.1 gezeigten Realisationen der Zufallsvariablen \(\xi_1,...,\xi_{10} \sim N(1,2)\) mit Stichprobenmittelrealisation \(\bar{x} = 0.68\).

Tabelle 24.1: Stichprobenrealisation

\(x_1\)	\(x_2\)	\(x_3\)	\(x_4\)	\(x_5\)	\(x_6\)	\(x_7\)	\(x_8\)	\(x_9\)	\(x_{10}\)
0.54	1.01	-3.28	0.35	2.75	-0.51	2.32	1.49	0.96	1.25

Die Stichprobenvarianzrealisation ist dann \[\begin{equation} s^2 = \frac{1}{9}\sum_{i=1}^{10} (x_i - \bar{x})^2 = \frac{1}{9}\sum_{i=1}^{10} (x_i - 0.68)^2 = \frac{25.37}{9} = 2.82 \end{equation}\] und die Stichprobenstandardabweichungsrealisation entsprechend \[\begin{equation} s = \sqrt{s^2} = \sqrt{2.82} = 1.68. \end{equation}\]

Die Begriffe der Varianz und Standardabweichung sind nach Definition 24.1 offenbar äquivalent zueinander, da die eine direkt aus der anderen durch Wurzelziehen bzw. Quadrieren hervorgeht. Die Varianz ist historisch eng sowohl mit dem Exponentialargument der Normalverteilung als auch mit den Quadratsummen der Varianzanalyse verwoben und deshalb in der Modellbildung oft leichter zu handhaben als die Standardabweichung.

Sowohl die Varianz als auch die Stichprobenvarianz messen die Variabilität einer Zufallsvariable allerdings in quadrierten Einheiten. Ein Beispiel hierfür ist die Berechnung der Stichprobenvarianz in Beispiel 24.4, wenn man sich die Realisierungen in Tabelle 24.1 als Längenmessungen in Metern (m) denkt. Nach der Definition 24.2 wird die Einheit bei Berechung der Stichprobenvarianz dann quadriert, \[\begin{equation} s^2 = \frac{1}{9} \sum_{i=1}^{10} \left(x_i \mbox{ m} - 0.68 \mbox { m}\right)^2 = \frac{1}{9} \cdot 25.37 \mbox{ m}^2 = 2.82 \mbox{ m}^2. \end{equation}\] Das resultierende Maß für die Variabilität hätte somit die Einheit einer Fläche (\(\mbox{m}^2\)), obwohl die ursprünglichen Daten Längen in Meter (\(\mbox{m}\)) darstellen. Das Wurzelziehen korrigiert die Einheiten zurück auf die Einheit der Daten und liefert als Standardabweichung dann ein Variabilitätsmaß in der ursprünglichen Einheit, \[\begin{equation} s = \sqrt{2.82 \mbox{ m}^2} = \sqrt{2.82} \sqrt{\mbox{ m}^2} = 1.68 \mbox{ m}. \end{equation}\] Allerdings ist man in den meisten Anwendungskontexten eher an den Verhältnissen von Variabilitäten verschiedener Stichproben interessiert, wofür sich dann sowohl (Stichproben)Varianz als auch (Stichproben)Standardabweichung gleichermaßen eignen.

24.2 Eigenschaften

Die Varianz hat die Eigenschaft, keine negativen Werte anzunehmen.

Theorem 24.1 (Nichtnegativität der Varianz) \(\xi\) sei eine Zufallsvariable. Dann gilt \[\begin{equation} \mathbb{V}(\xi) \ge 0. \end{equation}\]

Beweis. Wir betrachten den Fall einer diskreten Zufallsvariable. Dann gilt zunächst \[\begin{equation} (x - \mathbb{E}(\xi))^2 \ge 0 \mbox{ für alle } x \in \mathcal{X}. \end{equation}\] Weiterhin gilt für die WMF \(p\) von \(\xi\), dass \[\begin{equation} p(x) \ge 0 \mbox{ für alle } x \in \mathcal{X}. \end{equation}\] Also folgt \[\begin{equation} p(x)(x - \mathbb{E}(\xi))^2 \ge 0 \mbox{ für alle } x \in \mathcal{X}. \end{equation}\] Damit gilt dann aber \[\begin{equation} \mathbb{V}(\xi) = \sum_{x \in \mathcal{X}} p(x)(x - \mathbb{E}(\xi))^2 \,dx \ge 0, \end{equation}\] Analog zeigt man die Nichtnegativität der Varianz bei kontinuierlichen Zufallsvariablen.

Das Berechnen von Varianzen wird durch folgendes Theorem, den sogenannten Varianzverschiebungssatz oft erleichtert, insbesondere, wenn der Erwartungswert der quadrierten Zufallsvariable leicht zu bestimmen oder bekannt ist.

Theorem 24.2 (Varianzverschiebungssatz) \(\xi\) sei eine Zufallsvariable. Dann gilt \[\begin{equation} \mathbb{V}(\xi) = \mathbb{E}\left(\xi^2 \right) - \mathbb{E}(\xi)^2. \end{equation}\]

Beweis. Mit der Definition der Varianz und der Linearität des Erwartungswerts gilt \[\begin{align} \begin{split} \mathbb{V}(\xi) & = \mathbb{E}\left((\xi - \mathbb{E}(\xi))^2\right) \\ & = \mathbb{E}\left(\xi^2 - 2\xi\mathbb{E}(\xi) + \mathbb{E}(\xi)^2 \right) \\ & = \mathbb{E}(\xi^2) - 2\mathbb{E}(\xi)\mathbb{E}(\xi) + \mathbb{E}\left(\mathbb{E}(\xi)^2\right) \\ & = \mathbb{E}(\xi^2) - 2\mathbb{E}(\xi)^2 + \mathbb{E}(\xi)^2 \\ & = \mathbb{E}(\xi^2) - \mathbb{E}(\xi)^2. \end{split} \end{align}\]

In Analogie zu Theorem 23.1 gilt für die Varianz folgendes Resultat.

Theorem 24.3 (Varianz und Standardabweichung bei linear-affiner Tansformation einer Zufallsvariable) \(\xi\) sei eine Zufallsvariable und es sei \[\begin{equation} f: \mathcal{X} \to \mathcal{Z}, x \mapsto f(x) := ax + b \mbox{ für } a,b \in \mathbb{R} \end{equation}\] eine linear-affine Funktion. Dann gelten \[\begin{equation} \mathbb{V}(f(\xi)) = \mathbb{V}(a\xi + b) = a^2 \mathbb{V}(\xi) \end{equation}\] und \[\begin{equation} \mathbb{S}(f(\xi)) = \mathbb{S}(a\xi + b) = |a| \mathbb{S}(\xi) \end{equation}\]

Beweis. Es ergibt sich \[\begin{align} \begin{split} \mathbb{V}(f(\xi)) & = \mathbb{V}(a\xi + b) \\ & = \mathbb{E}\left((a\xi+b-\mathbb{E}(a\xi + b))^2\right) \\ & = \mathbb{E}\left((a\xi+b-a\mathbb{E}(\xi)-b)^2\right) \\ & = \mathbb{E}\left((a\xi-a\mathbb{E}(\xi))^2\right) \\ & = \mathbb{E}\left(a(\xi - \mathbb{E}(\xi))^2\right) \\ & = \mathbb{E}\left(a^2(\xi - \mathbb{E}(\xi))^2\right) \\ & = a^2\mathbb{E}\left((\xi - \mathbb{E}(\xi))^2\right) \\ & = a^2\mathbb{V}(\xi). \\ \end{split} \end{align}\] Wurzelziehen unter Beachtung von \[\begin{equation} a \ge 0 \Rightarrow a^2 \ge 0 \Rightarrow \sqrt{a^2} = a \ge 0 \Leftrightarrow \sqrt{a^2} = |a| \mbox{ für } a \ge 0 \end{equation}\] sowie \[\begin{equation} a < 0 \Rightarrow a^2 > 0 \Rightarrow \sqrt{a^2} = -a > 0 \Leftrightarrow \sqrt{a^2} = |a| \mbox{ für } a < 0 \end{equation}\] zeigt dann das Resultat für die Standardabweichung.

Die Varianz der Linearkombination zweier unabhängiger Zufallsvariablen lässt sich als modifizierte Linearkombination der Varianzen der Zufallsvariablen schreiben.

Theorem 24.4 (Varianz bei Linearkombination zweier unabhängiger Zufallsvariablen) \(\xi_1\) und \(\xi_2\) seien zwei unabhängige Zufallsvariablen und es seien \(a_1,a_2 \in \mathbb{R}\). Dann gilt \[\begin{equation} \mathbb{V}\left(a_1\xi_1 + a_2\xi_2\right) = a_1^2\mathbb{V}(\xi_1) + a_2^2\mathbb{V}(\xi_1). \end{equation}\]

Beweis. Wir halten zunächst fest, dass mit Theorem 23.2 gilt, dass \[\begin{equation} \mathbb{E}\left(a_1\xi_1 + a_2\xi_2\right) = a_1\mathbb{E}(\xi_1) + a_2\mathbb{E}(\xi_2). \end{equation}\] Weiterhin gilt mit Theorem 23.3, dass \[\begin{align} \begin{split} \mathbb{E}\left((\xi_1 - \mathbb{E}(\xi_1))(\xi_2 - \mathbb{E}(\xi_2))\right) & = \mathbb{E}\left(\xi_1\xi_2 - \mathbb{E}(\xi_1)\xi_2- \xi_1\mathbb{E}(\xi_2) + \mathbb{E}(\xi_1)\mathbb{E}(\xi_2)\right) \\ & = \mathbb{E}(\xi_1\xi_2) - \mathbb{E}(\xi_1)\mathbb{E}(\xi_2) - \mathbb{E}(\xi_1)\mathbb{E}(\xi_2) + \mathbb{E}(\xi_1)\mathbb{E}(\xi_2) \\ & = \mathbb{E}(\xi_1)\mathbb{E}(\xi_2) - \mathbb{E}(\xi_1)\mathbb{E}(\xi_2) \\ & = 0. \end{split} \end{align}\] Es folgt also \[\begin{align} \begin{split} \mathbb{V}(a_1\xi_1 + a_2\xi_2) & = \mathbb{E}\left((a_1\xi_1 + a_2\xi_2 - \mathbb{E}\left(a_1\xi_1 + a_2\xi_2\right))^2\right) \\ & = \mathbb{E}\left((a_1\xi_1 + a_2\xi_2 - a_1\mathbb{E}(\xi_1) - a_2\mathbb{E}(\xi_2))^2\right) \\ & = \mathbb{E}\left((a_1\xi_1 - a_1\mathbb{E}(\xi_1) + a_2\xi_2 - a_2\mathbb{E}(\xi_2))^2\right) \\ & = \mathbb{E}\left(a_1(\xi_1 - \mathbb{E}(\xi_1)) + (a_2(\xi_2 - \mathbb{E}(\xi_2)))^2\right) \\ & = \mathbb{E}\left(a_1(\xi_1 - \mathbb{E}(\xi_1)))^2 + 2a_1(\xi_1 - \mathbb{E}(\xi_1))(a_2(\xi_2 - \mathbb{E}(\xi_2)) + (a_2(\xi_2 - \mathbb{E}(\xi_2)))^2\right) \\ & = \mathbb{E}\left(a_1^2(\xi_1 - \mathbb{E}(\xi_1))^2 + 2a_1a_2(\xi_1 - \mathbb{E}(\xi_1))(\xi_2 - \mathbb{E}(\xi_2)) + a_2^2(\xi_2 - \mathbb{E}(\xi_2))^2\right) \\ & = a_1^2\mathbb{E}\left((\xi_1 - \mathbb{E}(\xi_1))^2\right) + 2a_1a_2\mathbb{E}\left((\xi_1 - \mathbb{E}(\xi_1))(\xi_2 - \mathbb{E}(\xi_2))\right) + a_2^2\mathbb{E}\left((\xi_2 - \mathbb{E}(\xi_2))^2\right) \\ & = a_1^2\mathbb{V}(\xi_1) + 2a_1a_2\mathbb{E}\left((\xi_1 - \mathbb{E}(\xi_1))(\xi_2 - \mathbb{E}(\xi_2))\right) + a_2^2\mathbb{V}(\xi_2) \\ & = a_1^2\mathbb{V}(\xi_1) + 2a_1a_2\cdot 0 + a_2^2\mathbb{V}(\xi_2) \\ & = a_1^2\mathbb{V}(\xi_1) + a_2^2\mathbb{V}(\xi_2). \\ \end{split} \end{align}\]

Weitergreifendere Aussage zur Varianz der Summe nicht unabhängiger Zufallsvariablen lassen sich erst mithilfe des in Kapitel 25 eingeführten Begriffs der Kovarianz treffen.

24.3 Bedingte Varianz

Definition 24.3 (Bedingte Varianz) Gegeben sei ein Zufallsvektor \(\xi := (\xi_1,\xi_2)\) mit Ergebnisraum \(\mathcal{X} := \mathcal{X}_1 \times \mathcal{X}_2\). Dann ist die bedingte Varianz von \(\xi_1\) gegeben \(\xi_2 = x_2\) definiert als \[\begin{equation} \mathbb{V}(\xi_1|\xi_2 = x_2) = \mathbb{E}\left(\left(\xi_1 - \mathbb{E}(\xi_1|\xi_2 = x_2)\right)^2|\xi_2 = x_2\right) \end{equation}\] und die ist definiert als \[\begin{equation} \mathbb{S}(\xi_1|\xi_2 = x_2) = \sqrt{\mathbb{V}(\xi_1|\xi_2 = x_2)}. \end{equation}\]

Die bedingte Varianz ist im Sinne des bedingten Erwartungswerts definiert, ebenso wie ein bedingter Erwartungswert ist eine bedingte Varianz also eine Zufallsvariable. Auch für die bedingte Varianz gilt der Verschiebungssatz, wie folgendes Theorem besagt.

Theorem 24.5 (Kovarianzverschiebungssatz der bedingten Varianz) Gegeben sei ein Zufallsvektor \(\xi := (\xi_1,\xi_2)\). Dann gilt \[\begin{equation} \mathbb{V}(\xi_1|\xi_2 = x_2) = \mathbb{E}\left(\xi_1^2|\xi_2 = x_2\right) - \mathbb{E}(\xi_1|\xi_2 = x_2)^2 \end{equation}\]

Beweis. Wir beschränken uns auf den Beweis für einen diskreten Zufallsvektor. Der Beweis für einen kontinuierlichen Zufallsvektor folgt analog. Mit der Definition des bedingten Erwartungswerts (Definition 23.6) gilt \[\begin{align} \begin{split} \mathbb{V}(\xi_1|\xi_2 = x_2) & = \mathbb{E}\left(\left(\xi_1 - \mathbb{E}(\xi_1|\xi_2 = x_2)\right)^2|\xi_2 = x_2\right) \\ & = \mathbb{E}\left(\xi_1^2 - 2\xi_1\mathbb{E}(\xi_1|\xi_2 = x_2) + \mathbb{E}(\xi_1|\xi_2 = x_2)^2|\xi_2 = x_2\right) \\ & = \sum_{x_1 \in \mathcal{X}_1}p(x_1|x_2)\left(x_1^2 - 2x_1\mathbb{E}(\xi_1|\xi_2 = x_2) + \mathbb{E}(\xi_1|\xi_2 = x_2)^2\right) \\ & = \sum_{x_1 \in \mathcal{X}_1}x_1^2p(x_1|x_2) - \sum_{x_1 \in \mathcal{X}_1}2x_1\mathbb{E}(\xi_1|\xi_2 = x_2)p(x_1|x_2) + \sum_{x_1 \in \mathcal{X}_1}\mathbb{E}(\xi_1|\xi_2 = x_2)^2p(x_1|x_2) \\ & = \mathbb{E}(\xi_1^2|\xi_2 = x_2) - 2\mathbb{E}(\xi_1|\xi_2 = x_2)\sum_{x_1 \in \mathcal{X}_1}x_1p(x_1|x_2) + \mathbb{E}(\xi_1|\xi_2 = x_2)^2\sum_{x_1 \in \mathcal{X}_1}p(x_1|x_2) \\ & = \mathbb{E}(\xi_1^2|\xi_2 = x_2) - 2\mathbb{E}(\xi_1|\xi_2 = x_2)\mathbb{E}(\xi_1|\xi_2 = x_2) + \mathbb{E}(\xi_1|\xi_2 = x_2)^2 \cdot 1 \\ & = \mathbb{E}(\xi_1^2|\xi_2 = x_2) - 2\mathbb{E}(\xi_1|\xi_2 = x_2)^2 + \mathbb{E}(\xi_1|\xi_2 = x_2)^2 \\ & = \mathbb{E}(\xi_1^2|\xi_2 = x_2) - \mathbb{E}(\xi_1|\xi_2 = x_2)^2 \end{split} \end{align}\]

Folgendes Theorem, der sogenannte Satz von der iterierten Varianz stellt einen Zusammenhang zwischen der Varianz einer Zufallsvariable, ihrer bedingten Varianz und der Varianz ihres bedingten Erwartungswerts her.

Theorem 24.6 (Satz von der iterierten Varianz) Gegeben sei ein Zufallsvektor \(\xi := (\xi_1,\xi_2)\). Dann gilt \[\begin{equation} \mathbb{V}(\xi_1) = \mathbb{E}(\mathbb{V}(\xi_1|\xi_2)) + \mathbb{V}(\mathbb{E}(\xi_1|\xi_2)) \end{equation}\]

Beweis. Wir beschränken uns auf den Beweis für einen diskreten Zufallsvektor. Der Beweis für einen kontinuierlichen Zufallsvektor folgt analog. Mit dem Kovarianzverschiebungssatz (Theorem 25.2), dem Satz vom iterierten Erwartungswert (Theorem 23.4) und dem Kovarianzverschiebungssatz der bedingten Varianz (Theorem 24.5) gilt \[\begin{align} \begin{split} \mathbb{V}(\xi_1) & = \mathbb{E}(\xi_1^2) - \mathbb{E}(\xi_1)^2 \\ & = \mathbb{E}\left(\mathbb{E}(\xi_1^2|\xi_2)\right) - \mathbb{E}\left(\mathbb{E}(\xi_1|\xi_2)\right)^2 \\ & = \sum_{x_2 \in \mathcal{X}_2}p(x_2)\mathbb{E}(\xi_1^2|\xi_2 = x_2) - \mathbb{E}\left(\mathbb{E}(\xi_1|\xi_2)\right)^2 \\ & = \sum_{x_2 \in \mathcal{X}_2}p(x_2)\left(\mathbb{V}(\xi_1|\xi_2 = x_2) + \mathbb{E}(\xi_1|\xi_2 = x_2)^2 \right) - \mathbb{E}\left(\mathbb{E}(\xi_1|\xi_2)\right)^2 \\ & = \sum_{x_2 \in \mathcal{X}_2}p(x_2)\mathbb{V}(\xi_1|\xi_2 = x_2) + \sum_{x_2 \in \mathcal{X}_2}p(x_2)\mathbb{E}(\xi_1|\xi_2 = x_2)^2 - \mathbb{E}\left(\mathbb{E}(\xi_1|\xi_2)\right)^2 \\ & = \mathbb{E}(\mathbb{V}(\xi_1|\xi_2)) + \left(\mathbb{E}\left(\mathbb{E}(\xi_1|\xi_2)^2\right) - \mathbb{E}\left(\mathbb{E}(\xi_1|\xi_2)\right)^2\right) \\ & = \mathbb{E}(\mathbb{V}(\xi_1|\xi_2)) + \mathbb{V}\left(\mathbb{E}(\xi_1|\xi_2)\right) \\ \end{split} \end{align}\]

Selbstkontrollfragen

1. Geben Sie die Definition der Varianz und der Standardabweichung einer Zufallsvariable wieder.
2. Erläutern Sie die Definition der Varianz und der Standardabweichung einer Zufallsvariable.
3. Berechnen Sie die Varianz einer Bernoulli-Zufallsvariable.
4. Geben Sie die Definition von Stichprobenvarianz und Stichprobenstandardabweichung wieder.
5. Erläutern Sie die Definitionen der Stichprobenvarianz und der Stichprobenstandardabweichung.
6. Geben Sie das Theorem zur Nichtnegativität der Varianz wieder.
7. Geben Sie das Theorem zum Varianzverschiebungssatz wieder.
8. Geben Sie das Theorem zur Varianz und Standardabweicuhung bei linear-affiner Transformation einer Zufallsvariable wieder.
9. Geben Sie das Theorem zur Varianz bei Linearkombination zweier unabhängiger Zufallsvariablen wieder.

Lösungen

1. Siehe Definition 24.1.
2. Siehe Erläuterungen zu Definition 24.1.
3. Siehe Beispiel 24.2.
4. Siehe Definition 24.2.
5. Siehe Erläuterungen zu Definition 24.2 sowie Beispiel 24.4.
6. Siehe Theorem 24.1.
7. Siehe Theorem 24.2.
8. Siehe Theorem 24.3.
9. Siehe Theorem 24.4.