Die multivariate Normalverteilung ist die multivariate Generalisierung der univariaten Normalverteilung. Die Motivation für die verbreiteten Normalverteilungsannahmen in der probabilistischen Modellierung liegt bekanntermaßen im Zentralen Grenzwertsatz: In probabilistischen Modellen repräsentieren probabilistische Terme die Summation sehr vieler Zufallsvorgänge, die durch die deterministischen Bestandteile des jeweiligen Modells, also eine formalisierte wissenschaftliche Theorie, nicht erklärt werden. Nach dem Zentralen Grenzwertsatz ist die Summe dieser nicht erklärten Zufallsvorgänge dann aber gerade normalverteilt.
Über diesen grundlegenden Aspekt hinaus hat die Normalverteilung viele günstige mathematische Eigenschaften, die ihren Einsatz in vielen Bereichen der probabilistischen Modellierung ermöglichen. Anwendungen multivariater Normalverteilungen finden sich damit im Kontext des Allgemeinen Linearen Modells, den Generalisierungen des Allgemeinen Modells zu Hierarchischen Linearen Modellen oder Multivariaten Allgemeinen Linearen Modellen, der Bayesianischen Inferenz bei Normalverteilungsannahmen und nicht zuletzt der Theorie probabilistischer Filter, wie zum Beispiel dem Kalman-Bucy Filter.
In diesem Abschnitt wollen wir zeigen, wie ein bivariat normalverteilter Zufallsvektor durch Transformation und Konkatenation zweier univariat normalverteilter Zufallsvariablen konstruiert werden kann. Dazu erinnern wir zunächst an den Begriff der normalverteilten Zufallsvariable
Definition 29.1 (Normalverteilte Zufallsvariable)\(\xi\) sei eine Zufallsvariable mit Ergebnisraum \(\mathbb{R}\) und WDF \[\begin{equation}
p : \mathbb{R} \to \mathbb{R}_{>0}, x\mapsto p(x)
:= \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(-\frac{1}{2\sigma^2}(x - \mu)^2\right).
\end{equation}\] Dann sagen wir, dass \(\xi\) einer Normalverteilung (oder Gauß-Verteilung) mit Erwartungswertparameter \(\mu \in \mathbb{R}\) und Varianzparameter \(\sigma^2 > 0\) unterliegt und nennen \(\xi\) eine normalverteilte Zufallsvariable. Wir kürzen dies mit \(\xi \sim N(\mu,\sigma^2)\) ab. Die WDF einer normalverteilten Zufallsvariable bezeichnen wir mit \[\begin{equation}
N\left(x;\mu,\sigma^2\right) := \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(-\frac{1}{2\sigma^2}(x - \mu)^2\right).
\end{equation}\]
Visuell entspricht der Parameter \(\mu\) einer normalverteilten Zufallsvariable dem Wert höchster Wahrscheinlichkeitsdichte und der Parameter \(\sigma^2\) spezifiziert die Breite der WDF (Abbildung 29.1). Weiterhin gelten für den Erwartungswert und die Varianz einer normalverteilten Zufallsvariable bekanntlich \[\begin{equation}
\mathbb{E}(\xi) = \mu \mbox{ und } \mathbb{V}(\xi) = \sigma^2.
\end{equation}\] Eine normalverteilte Zufallsvariable der Form \(\xi \sim N(0,1)\) schließlich heißt auch standardnormalverteilt.
Folgendes Theorem zeigt, wie zwei unabhängige, univariat standardnormalverteilte Zufallsvariablen kombiniert werden können, um einen bivariat verteilten Zufallsvektor zu konstruieren. Die Verteilung eines ebensolchen Zufallsvektors wird dann als bivariate Normalverteilung bezeichnet.
Theorem 29.1 (Konstruktion bivariater Normalverteilungen)\(\zeta_1 \sim N(0,1)\) und \(\zeta_2 \sim N(0,1)\) seien zwei unabhängige standardnormalverteilte Zufallsvariablen. Weiterhin seien \(\mu_1,\mu_2\in \mathbb{R}\), \(\sigma_1,\sigma_2>0\) und \(\rho \in ]-1,1[\). Schließlich seien \[\begin{align}
\begin{split}
\xi_1 & := \sigma_1\zeta_1 + \mu_1 \\
\xi_2 & := \sigma_2\left(\rho\zeta_1 + (1 -\rho^2)^{1/2}\zeta_2\right) + \mu_2.
\end{split}
\end{align}\] Dann hat die WDF des Zufallsvektors \(\xi := (\xi_1,\xi_2)^T\), also der gemeinsamen Verteilung von \(\xi_1\) und \(\xi_2\), die Form \[\begin{equation}
p : \mathbb{R}^2 \to \mathbb{R}_{>0},\, x \mapsto p(x) := (2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right),
\end{equation}\] wobei \(n:=2\) und \(\mu \in \mathbb{R}^{2}\) und \(\Sigma \in \mathbb{R}^{2\times 2}\) durch \[\begin{equation}
\mu =
\begin{pmatrix}
\mu_1 \\
\mu_2
\end{pmatrix}
\mbox{ und }
\Sigma =
\begin{pmatrix}
\sigma_1^2 & \rho\sigma_1\sigma_2 \\
\rho\sigma_2\sigma_1 & \sigma_2^2 \\
\end{pmatrix}
\end{equation}\] gegeben sind.
Für einen Beweis des Theorems verweisen wir auf DeGroot & Schervish (2012).
Beispiel
Folgender R Code zeichnet das obige Theorem anhand konkreter Beispielwerte für \(\mu_1,\mu_2,\sigma_1,\sigma_2\) und \(\rho\) nach und gibt die Parameter \(\mu\) und \(\Sigma\) der resultierenden bivariaten WDF aus.
# Parameterdefinitionenmu_1 =5.0# \mu_1mu_2 =4.0# \mu_2sig_1 =1.5# \sigma_1sig_2 =1.0# \sigma_2rho =0.9# \rho# Realisierungen der standardnormalverteilten ZVenn =100# Anzahl Realisierungenzeta_1 =rnorm(n) # \zeta_1 \sim N(0,1)zeta_2 =rnorm(n) # \zeta_1 \sim N(0,1)# Evaluation von Realisierungen von \xi_1 und \xi_2xi_1 = sig_1*zeta_1 + mu_1 # Realsierungen von zeta_1xi_2 = sig_2*(rho*zeta_1 +sqrt(1-rho^2)*zeta_2) + mu_2 # Realsierungen von zeta_2# Parameter der gemeinsamen Verteilung von \xi_1 und \xi_2mu =matrix(c(mu_1, # \mu \in \mathbb{R}^2 mu_2),nrow =2, byrow =TRUE)Sigma =matrix(c(sig_1^2 , rho*sig_1*sig_2, # \Sigma \in \mathbb{R}^{2 x 2} rho*sig_1*sig_2, sig_2^2),nrow =2, byrow =TRUE)print(mu)
[,1]
[1,] 5
[2,] 4
print(Sigma)
[,1] [,2]
[1,] 2.25 1.35
[2,] 1.35 1.00
Die durch obigen R Code generierten Realisierungen von \(\xi = (\xi_1,\xi_2)^T\), sowie die Isokonturen der durch Theorem 29.1 postulierten WDF sind in Abbildung 29.2 dargestellt.
Wir wollen die multivariate Normalverteilung nun formal einführen und erste Eigenschaften angeben. Wir nutzen dazu folgende Definition.
Definition 29.2\(\xi\) sei ein \(n\)-dimensionaler Zufallsvektor mit Ergebnisraum \(\mathbb{R}^n\) und WDF \[\begin{equation}
p : \mathbb{R}^n \to \mathbb{R}_{>0},\, x \mapsto p(x) := (2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right).
\end{equation}\] Dann sagen wird, dass \(\xi\) einer multivariaten (oder \(n\)-dimensionalen) Normalverteilung mit Erwartungswertparameter\(\mu \in \mathbb{R}^n\) und positiv-definitem Kovarianzmatrixparameter\(\Sigma \in \mathbb{R}^{n \times n}\) unterliegt und nennen \(\xi\) einen (multivariat) normalverteilten Zufallsvektor. Wir kürzen dies mit \(\xi \sim N(\mu,\Sigma)\) ab. Die WDF eines multivariat normalverteilten Zufallsvektors bezeichnen wir mit \[\begin{equation}
N(x;\mu,\Sigma):= (2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right).
\end{equation}\]
Abbildung 29.3 A,B,C zeigen die Isokonturen der WDFen bivariat normlaverteilter Zufallsvektoren für \(\mu = (1,1)^T\) und \[\begin{equation}
\Sigma_A := \begin{pmatrix} 0.20 & 0.15 \\ 0.15 & 0.20 \end{pmatrix}, \quad
\Sigma_B := \begin{pmatrix} 0.20 & 0.00 \\ 0.00 & 0.20 \end{pmatrix}, \quad
\Sigma_C := \begin{pmatrix} 0.20 & -0.15 \\ -0.15 & 0.20 \end{pmatrix}
\end{equation}\] respektive. Abbildung 29.4 A,B und C zeigen jeweils 200 Realisierungen der entsprechenden Zufallsvektoren.
Ohne Beweis halten wir fest, dass wie im Fall einer univariat normalverteilten Zufallsvariable, der Erwartungswert und die Kovarianzmatrix eines normalverteilten Zufallsvektors durch die entsprechenden Parameter gegeben sind.
Theorem 29.2 (Erwartungswert und Kovarianzmatrix normalverteilter Zufallsvektoren)\(\xi \sim N(\mu,\Sigma)\) sei ein multivariat normalverteilter Zufallsvektor mit Erwartungswertparameter \(\mu \in \mathbb{R}^n\) und Kovarianzmatrixparameter \(\Sigma \in \mathbb{R}^{n \times n} \mbox{ pd}\). Dann gelten \[\begin{equation}
\mathbb{E}(\xi) = \mu \mbox{ und } \mathbb{C}(\xi) = \Sigma.
\end{equation}\]
Wie im Falle der univariat normalverteilten Zufallsvariable entspricht der Parameter \(\mu \in \mathbb{R}^n\) dem Wert höchster Wahrscheinlichkeitsdichte der multivariaten Normalverteilung. Analog zum Varianzparameter der univariat normalverteilten Zufallsvariable spezifizieren die Diagonalelemente von \(\Sigma \in \mathbb{R}^{n \times n} \mbox{ pd}\) die Breite der WDF bezüglich der Zufallsvektorkomponenten \(\xi_1,...,\xi_n\). Allgemein spezifiziert im Falle des multivariat normalverteilten Zufallsvektors das \(i,j\)te Element von \(\Sigma \in \mathbb{R}^{n \times n} \mbox{ pd}\) hier nun die Kovarianz der Zufallsvektorkomponenten \(\xi_i\) und \(\xi_j\).
29.3 Sphärizität
Folgendes Theorem ist für die grundlegende Theorie des Allgemeinen Linearen Modells zentral.
Theorem 29.3 (Sphärische multivariate Normalverteilung) Für \(i = 1,...,n\) seien \(N(x_i; \mu_i,\sigma^2)\) die WDFen von \(n\) unabhängigen univariaten normalverteilten Zufallsvariablen \(\xi_1,...,\xi_n\) mit \(\mu_1,...,\mu_n \in \mathbb{R}\) und \(\sigma^2 > 0\). Weiterhin sei \(N(x;\mu,\sigma^2I_n)\) die WDF eines \(n\)-variaten normalverteilten Zufallsvektors \(\xi\) mit Erwartungswertparameter \(\mu := (\mu_1,...,\mu_n)^T \in \mathbb{R}^n\). Dann gilt \[\begin{equation}
p_\xi(x) = p_{\xi_1,...,\xi_n}(x_1,...,x_n) = \prod_{i=1}^n p_{\xi_i}(x_i)
\end{equation}\] und insbesondere \[\begin{equation}
N\left(x;\mu,\sigma^2I_n\right) = \prod_{i=1}^n N\left(x_i;\mu_i,\sigma^2\right)
\end{equation}\] für alle \(x = (x_1,...,x_n)^T \in \mathbb{R}^n\).
Beweis. Wir zeigen die Identität der multivariaten WDF \(N(x;\mu,\sigma^2 I_n)\) mit dem Produkt von \(n\) univariaten WDFen \(N(x_i;\mu_i,\sigma^2 I_n)\), wobei \(\mu_i\) der \(i\)te Eintrag von \(\mu \in \mathbb{R}^n\) ist. Es ergibt sich \[\begin{align}
\begin{split}
N\left(x;\mu,\sigma^{2}I_{n} \right)
& = \left(2\pi \right)^{-\frac{n}{2}}
\left|\sigma^2 I_n \right|^{-\frac{1}{2}}
\exp\left(-\frac{1}{2}(x-\mu)^{T}(\sigma^2 I_n)^{-1}(x-\mu)\right)\\
& = \left(\prod_{i=1}^n 2\pi ^{-\frac{1}{2}} \right)
\left(\sigma^2\right)^{-\frac{n}{2}}
\exp\left(-\frac{1}{2\sigma^2}(x-\mu)^{T}(x-\mu)\right) \\
& = \left(\prod_{i=1}^n \left(2\pi\sigma^2 \right) ^{-\frac{1}{2}} \right)
\exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu_i)^2\right) \\
& = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}
\prod_{i=1}^n \exp\left(-\frac{1}{2\sigma^2} (x_i - \mu_i)^2\right) \\
& = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}
\exp\left(-\frac{1}{2\sigma^2} (x_i - \mu_i)^2\right) \\
& = \prod_{i=1}^n N\left(x_i; \mu_i,\sigma^2\right).
\end{split}
\end{align}\]
Einen Kovarianzmatrixparameter der Form \(\Sigma = \sigma^2 I_n\) nennt man auch sphärisch, da die Isokonturen der WDF eines normalverteilten Zufallsvektors mit einem solchen Kovarianzmatrixparameter Sphären bilden (zum Beispiel Kreise bei \(n = 2\) und Kugeln bei \(n = 3\)). Eine multivariate Normalverteilung mit sphärische Kovarianzmatrixparameter nennt man entsprechend eine sphärische Normalverteilung. Theorem 29.3 besagt, dass die WDF eines \(n\)-dimensionalen normalverteilten Zufallskvektors mit sphärischem Kovarianzparameter der gemeinsamen WDF von \(n\) unabhängigen univariat normalverteilten Zufallsvariablen entspricht und umgekehrt. Eine Realisierung eines \(n\)-dimensionalen normalverteilten Zufallsvektors entspricht also den Realisierungen von \(n\) unabhängigen univariat normalverteilten Zufallsvariablen und umgekehrt. Man beachte, dass die Identität der Verteilungen der \(\xi_i, i = 1,...,n\) hier nicht voraussgesetzt ist, insbesondere können sich ihre Erwartungswertparameter \(\mu_i, i = 1,...,n\) explizit unterscheiden.
29.4 Marginale, bedingte und gemeinsame Verteilungen
Multivariate Normalverteilungen haben die Eigenschaft, dass auch alle anderen assoziierten Verteilungen Normalverteilungen sind und deren Erwartungswert- und Kovarianzmatrixparameter aus den Parametern der jeweils komplementären Verteilung errechnet werden können. Insbesondere gilt zum einen, dass die uni- und multivariaten Marginalverteilungen multivariater Normalverteilungen wiederum Normalverteilungen sind. Zum anderen lassen sich wie alle multivariaten Verteilungen multivariate Normalverteilungen multiplikativ in eine marginale und eine bedingte Verteilung zerlegen. Insbesondere sind nun aber bei multivariaten Normalverteilungen diese Verteilungen wiederum (multivariate) Normalverteilungen, deren Parameter aus den Parametern der gemeinsame Verteilung errechnet werden können und umgekehrt. Wir fassen obige Erkenntnisse formal in den folgenden drei Theoremen zusammen.
Theorem 29.4 (Marginale Normalverteilungen) Es sei \(n := k + l\) und \(\xi = (\xi_1,...,\xi_n)^T\) sei ein \(n\)-dimensionaler normalverteilter Zufallsvektor mit Erwartungswertparameter \[\begin{equation}
\mu =
\left(\begin{matrix}
\mu_\upsilon \\
\mu_\zeta
\end{matrix}\right) \in \mathbb{R}^n,
\end{equation}\] mit \(\mu_\upsilon \in \mathbb{R}^k\) and \(\mu_\zeta \in \mathbb{R}^l\) und Kovarianzmatrixparameter \[\begin{equation}
\Sigma =
\left(\begin{matrix}
\Sigma_{\upsilon\upsilon} & \Sigma_{\upsilon\zeta} \\
\Sigma_{\zeta\upsilon} & \Sigma_{\zeta\zeta}
\end{matrix}\right) \in \mathbb{R}^{n \times n},
\end{equation}\] mit \(\Sigma_{\upsilon\upsilon} \in \mathbb{R}^{k \times k}\), \(\Sigma_{\upsilon\zeta} \in \mathbb{R}^{k \times l}\), \(\Sigma_{\zeta\upsilon} \in \mathbb{R}^{l \times k}\), und \(\Sigma_{\zeta\zeta} \in \mathbb{R}^{l \times l}\). Dann sind \(\upsilon := (\xi_1,...,\xi_k)^T\) und \(\zeta := (\xi_{k+1}, ...,\xi_n)^T\)\(k\)- und \(l\)-dimensionale normalverteilte Zufallsvektoren, respektive, und es gilt \[\begin{equation}
\upsilon \sim N(\mu_\upsilon,\Sigma_{\upsilon\upsilon}) \mbox{ und } \zeta \sim N(\mu_\zeta,\Sigma_{\zeta\zeta}).
\end{equation}\]
Die Marginalverteilungen einer multivariaten Normalverteilung sind also auch Normalverteilungen und die Parameter der Marginalverteilungen ergeben sich aus den Parametern der gemeinsamen Verteilung. Für Beweise dieses Theorems verweisen wir auf Mardia et al. (1979) und Anderson (2003). Abbildung 29.5 visualisiert Theorem 29.4 für den Fall \(n := 2, k := 1, l := 1\), \[\begin{equation}
\mu := \begin{pmatrix} 1 \\ 2 \end{pmatrix} \in \mathbb{R}^2
\mbox{ und }
\Sigma := \begin{pmatrix} 0.10 & 0.08 \\ 0.08 & 0.15 \end{pmatrix} \in \mathbb{R}^{2 \times 2}.
\end{equation}\]Abbildung 29.5 A zeigt dabei die WDF des bivariaten Zufallsvektors \(\xi\) und Abbildung 29.5 B und C die WDFen der entsprechenden marginalen Zufallsvariablen \(\upsilon\) und \(\zeta\).
Abbildung 29.5: Marginale Verteilungen eines bivariaten normalverteilten Zufallsvektor.
Mithilfe einer marginalen und einer bedingten multivariaten Normalverteilung lässt sich eine gemeinsame multivariate Normalverteilung konstruieren, deren Parameter sich aus den Parametern der marginalen und bedingten Verteilung ergeben. Dies ist die zentrale Aussage folgenden Theorems.
Theorem 29.5 (Gemeinsame Normalverteilungen)\(\xi\) sei ein \(m\)-dimensionaler normalverteilter Zufallsvektor mit WDF \[\begin{equation}
p_\xi : \mathbb{R}^m \to \mathbb{R}_{>0},\,x\mapsto
p_\xi(x) := N(x;\mu_\xi,\Sigma_{\xi\xi}) \mbox{ mit }
\mu_\xi \in \mathbb{R}^m,
\Sigma_{\xi\xi} \in \mathbb{R}^{m\times m},
\end{equation}\]\(A\in\mathbb{R}^{n\times m}\) sei eine Matrix, \(b\in\mathbb{R}^n\) sei ein Vektor und \(\upsilon\) sei ein \(n\)-dimensionaler bedingt normalverteilter Zufallsvektor mit bedingter WDF \[\begin{equation}
p_{\upsilon|\xi}(\cdot|x) : \mathbb{R}^n \to \mathbb{R}_{>0},\, y\mapsto
p_{\upsilon|\xi}(y|x) := N(y;A\xi+b,\Sigma_{\upsilon\upsilon}) \mbox{ mit }
\Sigma_{\upsilon\upsilon} \in \mathbb{R}^{n\times n}.
\end{equation}\] Dann ist der \(m+n\)-dimensionale Zufallsvektor \((\xi,\upsilon)^T\) normalverteilt mit (gemeinsamer) WDF \[\begin{equation}\label{eq:gauss_joint}
p_{\xi,\upsilon} : \mathbb{R}^{m+n} \to \mathbb{R}_{>0},\, \begin{pmatrix} x \\ y \end{pmatrix} \mapsto
p_{\xi,\upsilon}\left(\begin{pmatrix} x \\ y \end{pmatrix}\right) = N\left(\begin{pmatrix} x \\ y \end{pmatrix};
\mu_{\xi,\upsilon}, \Sigma_{\xi,\upsilon} \right),
\end{equation}\] mit \(\mu_{\xi,\upsilon} \in \mathbb{R}^{m+n}\) und \(\Sigma_{\xi,\upsilon} \in \mathbb{R}^{m+n \times m+n}\) und insbesondere \[\begin{equation}
\mu_{\xi,\upsilon} = \left( \begin{matrix} \mu_\xi \\ A\mu_\xi + b \end{matrix} \right)
\mbox{ und }
\Sigma_{\xi,\upsilon} = \left(\begin{matrix} \Sigma_{\xi\xi} & \Sigma_{\xi\xi}A^T \\ A\Sigma_{\xi\xi} & \Sigma_{\upsilon\upsilon} + A\Sigma_{\xi\xi}A^T \end{matrix} \right).
\end{equation}\]
Insbesondere ergeben sich die Parameter der gemeinsamen Verteilung also als linear-affine Transformation der Parameter der induzierenden Verteilungen. Abbildung 29.6 visualisiert Theorem 29.5 für den Fall \(m := 1, n := 1, \mu_\xi := 1, \Sigma_{\xi\xi} := 0.2, A := 1, b := 1\) und \(\Sigma_{\upsilon\upsilon} := 0.1\). Abbildung 29.6 A zeigt dabei die WDF der Zufallsvariable \(\xi\), Abbildung 29.6 B zeigt die WDF der bedingten Verteilung der Zufallsvariable \(\upsilon\) gegeben \(\xi\) und Abbildung 29.5 C schließlich zeigt die WDFen des induzierten bivariaten Zufallsvektors \((\xi,\upsilon)\).
Abbildung 29.6: Gemeinsame Verteilungen einer marginalen und einer auf dieser bedingten normalverteilten Zufallsvariable.
Die Definition einer multivariaten Normalverteilung erlaubt es weiterhin, die bedingten Verteilungen aller Komponenten des entsprechenden Zufallsvektors direkt mithilfe der Parameter der multivariaten Normalverteilung zu bestimmen. Dies ist die zentrale Aussage folgenden Theorems.
Theorem 29.6 (Bedingte Normalverteilungen)\((\xi,\upsilon)\) sei ein \(m+n\)-dimensionaler normalverteilter Zufallsvektor mit WDF \[\begin{equation}
p_{\xi,\upsilon} : \mathbb{R}^{m + n} \to \mathbb{R}_{>0}, \begin{pmatrix} x \\ y \end{pmatrix}
\mapsto p_{\xi,\upsilon}\left(\begin{pmatrix} x \\ y \end{pmatrix} \right)
:= N\left(\begin{pmatrix} x \\ y \end{pmatrix}; \mu_{\xi,\upsilon}, \Sigma_{\xi,\upsilon}\right),
\end{equation}\] mit \[\begin{equation}
\mu_{\xi,\upsilon}
= \left(\begin{matrix} \mu_\xi \\ \mu_\upsilon \end{matrix} \right),
\Sigma_{\xi,\upsilon} = \left(\begin{matrix} \Sigma_{\xi\xi} & \Sigma_{\xi\upsilon} \\ \Sigma_{\upsilon\xi} & \Sigma_{\upsilon\upsilon} \end{matrix} \right),
\end{equation}\] mit \(x,\mu_\xi \in \mathbb{R}^m, y,\mu_\upsilon\in\mathbb{R}^n\) und \(\Sigma_{\xi\xi} \in \mathbb{R}^{m\times m}, \Sigma_{\xi\upsilon} \in \mathbb{R}^{m\times n}, \Sigma_{\upsilon\upsilon} \in \mathbb{R}^{n \times n}\). Dann ist die bedingte Verteilung von \(\xi\) gegeben \(\upsilon\) eine \(m\)-dimensionale Normalverteilung mit bedingter WDF \[\begin{equation}
p_{\xi|\upsilon}(\cdot|y) : \mathbb{R}^m \to \mathbb{R}_{>0}, x \mapsto p_{\xi|\upsilon}(x|y) :=
N(x;\mu_{\xi|\upsilon},\Sigma_{\xi|\upsilon})
\end{equation}\] mit \[\begin{equation}\label{eq:gauss_cond_exp}
\mu_{\xi|\upsilon} = \mu_\xi + \Sigma_{\xi\upsilon}\Sigma_{\upsilon\upsilon}^{-1}(y-\mu_\upsilon) \in \mathbb{R}^m
\end{equation}\] und \[\begin{equation}\label{eq:gauss_cond_var}
\Sigma_{\xi|\upsilon} = \Sigma_{\xi\xi} - \Sigma_{\xi\upsilon}\Sigma_{\upsilon\upsilon}^{-1}\Sigma_{\upsilon\xi} \in \mathbb{R}^{m\times m}.
\end{equation}\]
Im Zusammenspiel mit Theorem 29.5 und Theorem 29.4 können die Parameter bedingter und marginaler Normalverteilungen also aus den Parametern der komplementären bedingten und marginalen Normalverteilungen bestimmt werden. Abbildung 29.7 visualisiert Theorem 29.6 für den Fall \(m := 2, n := 1\), \[\begin{equation}
\mu := \begin{pmatrix} 1 \\ 2 \end{pmatrix}
\mbox{ und }
\Sigma := \begin{pmatrix} 0.12 & 0.09 \\ 0.09 & 0.12 \end{pmatrix}
\end{equation}\] Dabei zeigt Abbildung 29.7 A die WDF des bivariaten Zufallsvektors \((\xi,\upsilon)^T\) und Abbildung 29.7 B und C zeigen die WDF der bedingten Verteilung der Zufallsvariable \(\xi\) gegeben \(\upsilon = 1.5\) und \(\upsilon = 2.8\), respektive.
Abbildung 29.7: Bedingte Normalverteilungen
29.5 Multivariate Transformationen
In diesem Abschnitt stellen wir einige Resultate zu den Verteilungen transformierter normalverteilter Zufallsvektoren zusammen. Wir verzichten dabei auf Beweise.
Theorem 29.7 (Invertierbare lineare Transformation eines normalverteilten Zufallsvektors)\(\xi \sim N(\mu_\xi,\Sigma_\xi)\) sei ein normalverteilter \(n\)-dimensionaler Zufallsvektor und es sei \(\zeta := A\xi\) mit einer invertierbaren Matrix \(A \in \mathbb{R}^{n \times n}\). Dann gilt \[\begin{equation}
\zeta \sim N\left(\mu_\zeta, \Sigma_\zeta\right)
\mbox{ mit }
\mu_\zeta = A\mu_\xi \mbox{ und }
\Sigma_\zeta = A\Sigma_\xi A^T.
\end{equation}\]
Nach Theorem 29.7 ergibt die invertierbare lineare Transformation eines multivariat normalverteilten Zuallsvektors also wiederum einen multivariat normalverteilten Zufallsvektor und die Parameter der Verteilung dieses normalverteilten Zufallsvektors ergeben sich aus den Parametern der Verteilung des ursprünglichen Zufallsvektors und der Transformationsmatrix.
Beispiel
Als Beispiel betrachten wir die invertierbare lineare Transformation eines bivariaten normalverteilten Zufallsvektors \(\xi\). Es seien \[\begin{equation}
\mu_\xi := \begin{pmatrix} 1 \\ 1 \end{pmatrix}
\mbox{ und }
\Sigma_\xi := \begin{pmatrix} 0.20 & 0.15 \\ 0.15 & 0.20 \end{pmatrix}
\end{equation}\] der Erwartungswert- und Kovarianzmatrixparameter von \(\xi\), respektive, und es sei \[\begin{equation}
A := \begin{pmatrix} -2 & 1 \\ - 1 & 2 \end{pmatrix}
\end{equation}\] die Transformationsmatrix. Da \(|A| = -3 \neq 0\) ist \(A\) invertierbar und es gilt nach Theorem 29.7, dass \[\begin{equation}
\zeta \sim N(\mu_\zeta,\Sigma_\zeta) \mbox{ mit }
\mu_\zeta = A\mu_\xi = \begin{pmatrix} -1 \\ 1 \end{pmatrix}
\mbox{ und }
A\Sigma_\xi A^T = \begin{pmatrix} 0.40 & 0.05 \\ 0.05 & 0.40 \end{pmatrix}.
\end{equation}\]Abbildung 29.8 A zeigt Isokonturen der WDF von \(\xi\) und Realisierungen \(x^{(i)} \in \mathbb{R}^2\) von \(\xi\) für \(i = 1,...,50\). Abbildung 29.8 B zeigt die transfomierten Realisierungen \(z^{(i)} = Ax^{(i)} \in \mathbb{R}^{2}\) von \(\zeta\) sowie die Isokonturen der WDF von \(\zeta\) nach Theorem 29.7.
Abbildung 29.8: Invertierbare lineare Transformation eines normalverteilten Zufallsvektors
Die Tatsache, dass ein linear transfomierter normalverteilter Zufallsvektor wiederum normalverteilt ist und dass sich die Parameter der Verteilung des transformierten Zufallsvektors aus den Parametern der Verteilung des ursprünglichen Zufallsvektors sowie den Transformationsparametern bestimmen lassen, bleibt auch im Falle einer nicht notwendigerweise invertierbaren linearen Transformation und auch im Falle einer nicht notwendigerweise invertierbaren linear-affinen Transformation wahr. Dies ist die Aussage folgenden zentralen Theorems. Für einen Beweis verweisen wir auf Anderson (2003).
Theorem 29.8 (Linear-affine Transformation eines normalverteilten Zufallsvektors)\(\xi \sim N(\mu_\xi,\Sigma_\xi)\) sei ein normalverteilter \(n\)-dimensionaler Zufallsvektor und es sei \[\begin{equation}
\zeta := Ax + b \mbox{ mit } A \in \mathbb{R}^{m \times n} \mbox{ und } b \in \mathbb{R}^m.
\end{equation}\] Dann gilt \[\begin{equation}
\zeta \sim N(\mu_\zeta, \Sigma_\zeta)
\mbox{ mit }
\mu_\zeta = A\mu + b \in \mathbb{R}^m \mbox{ und }
\Sigma_\zeta = A\Sigma A^T \in \mathbb{R}^{m \times m}.
\end{equation}\]
29.6 Univariate Transformationen
In diesem Abschnitt diskutieren wir sechs Transformationen normalverteilter Zufallsvariablen, die in der Frequentistischen Inferenz zentrale Rollen spielen und bei denen es sich um Anwendungen von den in ?sec-transformationstheoreme eingeführten Transformationtheore handelt. Unsere Aussagen sind dabei von der allgemeinen Form “Wenn \(\xi_i, i = 1,...,n\) unabhängig und identisch normalverteilte Zufallsvariablen sind und \(\upsilon := f(\xi_1,...,\xi_n)\) eine Transformation dieser Zufallsvariablen ist, dann ist die WDF von \(\upsilon\) durch die Formel \(p_\upsilon := \{\mbox{Formel}\}\) gegeben und man nennt die Verteilung von \(\upsilon\)Verteilungsname”. Aussagen dieser Form sind für die Frequentistische Inferenz zentral, weil
die Zentralen Grenzwertsätze die Annahme additiv unabhängig normalverteilter Störvariablen, und damit normalverteilter Daten, begründet,
wie wir in ?sec-grundbegriffe-frequentistischer-inferenz sehen werden, es sich bei Schätzern und Statistiken um Transformationen von Zufallsvariablen handelt, und
Parameterschätzergütekriterien, Konfidenzintervalle und Hypothesentests der Frequentistischen Inferenz durch die Verteilungen der jeweiligen Schätzer und Statistiken charakterisiert und begründet sind.
Summationstransformation
In diesem Abschnitt betrachten wir die resultierenden Verteilung bei Summation und Mittelwertbildung von unabhängig und identisch normalverteilten Zufallsvariablen. Speziell besagt das Theorem 29.9 besagt, dass die Summe unabhängig normalverteilter Zufallsvariablen wiederum normalverteilt ist und gibt die Parameter dieser Verteilung an, während Theorem 29.10 besagt, dass das Stichprobenmittel unabhängig normalverteilter Zufallsvariablen wiederum normalverteilt ist und gibt die Parameter dieser Verteilung an.
Theorem 29.9 (Summationstransformation) Für \(i = 1,...,n\) seien \(\xi_i \sim N(\mu_i,\sigma^2_i)\) unabhängige normalverteilte Zufallsvariablen. Dann gilt für die Summe \(\upsilon := \sum_{i=1}^n \xi_i\) , dass \[\begin{equation}
\upsilon \sim N\left(\sum_{i=1}^n \mu_i, \sum_{i=1}^n \sigma^2_i\right)
\end{equation}\] Für unabhängige und identisch normalverteilte Zufallsvariablen \(\xi_i \sim N(\mu,\sigma^2)\) gilt folglich \[\begin{equation}
\upsilon \sim N(n\mu, n \sigma^2).
\end{equation}\]
Beweis. Wir skizzieren mithilfe von Theorem 28.6, dass für \(\xi_1 \sim N(\mu_1,\sigma^2_1)\), \(\xi_2 \sim N(\mu_2,\sigma^2_2)\), und \(\upsilon := \xi_1 + \xi_2\) gilt, dass \(\upsilon \sim N(\mu_1 + \mu_2,\sigma_1^2 + \sigma_2^2)\). Für \(n > 2\) folgt das Theorem dann durch Iteration. Mit der Definition der WDF der Normalverteilung erhalten wir zunächst \[\begin{align}
\begin{split}
p_\upsilon(y)
& = \int_{-\infty}^\infty p_{\xi_1}(x_1)p_{\xi_2}(y - x_1)\,dx_1
\\
& = \int_{-\infty}^\infty
\frac{1}{\sqrt{2 \pi} \sigma_1} \exp\left(-\frac{1}{2}\left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2\right)
\frac{1}{\sqrt{2 \pi} \sigma_2} \exp\left(-\frac{1}{2}\left(\frac{y - x_1 - \mu_2}{\sigma_2}\right)^2\right)
\,dx_1
\\
& = \int_{-\infty}^\infty
\frac{1}{2 \pi \sigma_1\sigma_2}\exp
\left(
-\frac{1}{2}\left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2
-\frac{1}{2}\left(\frac{y - x_1 - \mu_2}{\sigma_2}\right)^2
\right)
\,dx_1 .
\\
\end{split}
\end{align}\] Mit einigem algebraischen Aufwand erhält man die Identität \[\begin{multline}
-\frac{1}{2}\left(\frac{x_1 - \mu_1}{\sigma_1}\right)^2
-\frac{1}{2}\left(\frac{y - x_1 - \mu_2}{\sigma_2}\right)^2
=
-\frac{(y - \mu_1 - \mu_2)^2}
{2(\sigma_1^2 + \sigma_2^2)}
-\frac{((\sigma_1^2 + \sigma_2^2)x_1 -\sigma_1^2y + \mu_2 \sigma_1^2 - \mu_1 \sigma_2^2)^2}
{2\sigma_1^2\sigma_2^2(\sigma_1^2 + \sigma_2^2)},
\end{multline}\] so dass weiterhin gilt, dass \[\begin{align}
\begin{split}
p_\upsilon(y)
& = \int_{-\infty}^\infty
\frac{1}{2 \pi \sigma_1\sigma_2}
\exp\left(
-\frac{(y - \mu_1 - \mu_2)^2}
{2(\sigma_1^2 + \sigma_2^2)}
-\frac{((\sigma_1^2 + \sigma_2^2)x_1 -\sigma_1^2y + \mu_2 \sigma_1^2 - \mu_1 \sigma_2^2)^2}
{2\sigma_1^2\sigma_2^2(\sigma_1^2 + \sigma_2^2)}
\right)
\,dx_1
\\
& = \int_{-\infty}^\infty
\frac{1}{2 \pi \sigma_1\sigma_2}
\exp\left(
-\frac{(y - \mu_1 - \mu_2)^2}
{2(\sigma_1^2 + \sigma_2^2)}
\right)
\exp\left(
-\frac{((\sigma_1^2 + \sigma_2^2)x_1 -\sigma_1^2y + \mu_2 \sigma_1^2 - \mu_1 \sigma_2^2)^2}
{2\sigma_1^2\sigma_2^2(\sigma_1^2 + \sigma_2^2)}
\right)
\,dx_1
\\
& = \frac{1}{2 \pi \sigma_1\sigma_2}
\exp\left(
-\frac{(y - \mu_1 - \mu_2)^2}
{2(\sigma_1^2 + \sigma_2^2)}
\right)
\int_{-\infty}^\infty
\exp\left(
-\frac{((\sigma_1^2 + \sigma_2^2)x_1 -\sigma_1^2y + \mu_2 \sigma_1^2 - \mu_1 \sigma_2^2)^2}
{2\sigma_1^2\sigma_2^2(\sigma_1^2 + \sigma_2^2)}
\right)
\,dx_1.
\end{split}
\end{align}\] Für das verbleibende Integral zeigt man mithilfe der Integration durch Substitution, dass \[\begin{equation}
\int_{-\infty}^\infty
\exp\left(
-\frac{((\sigma_1^2 + \sigma_2^2)x_1 -\sigma_1^2y + \mu_2 \sigma_1^2 - \mu_1 \sigma_2^2)^2}
{2\sigma_1^2\sigma_2^2(\sigma_1^2 + \sigma_2^2)}
\right)
\,dx_1
= \frac{\sqrt{2\pi}\sigma_1\sigma_2}{\sqrt{\sigma_1^2 + \sigma_2^2}}.
\end{equation}\] Es ergibt sich also \[\begin{align}
\begin{split}
p_\upsilon(y)
& = \frac{1}{2 \pi \sigma_1\sigma_2}
\frac{\sqrt{2\pi}\sigma_1\sigma_2}{\sqrt{\sigma_1^2 + \sigma_2^2}}
\exp\left(
-\frac{(y - \mu_1 - \mu_2)^2}
{2(\sigma_1^2 + \sigma_2^2)}
\right)
\\
& = \frac{(2\pi)^{-1}(2\pi)^2}{\sqrt{\sigma_1^2 + \sigma_2^2}}
\exp\left(
-\frac{(y - \mu_1 - \mu_2)^2}
{2(\sigma_1^2 + \sigma_2^2)}
\right)
\\
& = \frac{1}{\sqrt{2\pi}\sqrt{\sigma_1^2 + \sigma_2^2}}
\exp\left(
-\frac{(y - \mu_1 - \mu_2)^2}
{2(\sigma_1^2 + \sigma_2^2)}
\right).
\end{split}
\end{align}\] Schließlich folgt, dass \[\begin{align}
\begin{split}
p_\upsilon(y)
& = \frac{1}{\sqrt{2\pi(\sigma_1^2 + \sigma_2^2)}}
\exp\left(-\frac{1}{2(\sigma_1^2 + \sigma_2^2)}\left(y - (\mu_1 + \mu_2)\right)^2\right)
= N(y; \mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)
\end{split}
\end{align}\] Ein einfacheres Vorgehen ergibt sich vermutlich nach Fouriertransformation der WDF im Sinne der sogenannten charakteristischen Funktion einer Zufallsvariable. In diesem Fall würde die Faltung der WDFen der Multiplikation der charakteristischen Funktionen entsprechen.
Theorem 29.10 (Mittelwertstransformation) Für \(i = 1,...,n\) seien \(\xi_i \sim N(\mu,\sigma^2)\) unabhängig und identisch normalverteilte Zufallsvariablen. Dann gilt für das Stichprobenmittel \(\bar{\xi}_n := \frac{1}{n}\sum_{i=1}^n \xi_i\) , dass \[\begin{equation}
\bar{\xi}_n \sim N\left(\mu, \frac{\sigma^2}{n}\right).
\end{equation}\]
Beweis. Wir halten zunächst fest, dass mit dem Theorem zur Summe von unabhängig normalverteilten Zufallsvariablen gilt, dass \(\bar{\xi}_n = \frac{1}{n}\upsilon\) mit \(\upsilon := \sum_{i=1}^n \xi_i \sim N(n\mu,n\sigma^2)\). Einsetzen in Theorem 28.3 ergibt dann \[\begin{align}
\begin{split}
p_{\bar{\xi}_n}(\bar{x}_n)
& = \frac{1}{|1/n|}N\left(n\bar{x}_n; n\mu , n\sigma^2 \right) \\
& = \frac{n}{\sqrt{2\pi n\sigma^2}}\exp\left(-\frac{1}{2n\sigma^2}
\left(n\bar{x}_n - n\mu\right)^2 \right) \\
& = \frac{n}{\sqrt{2\pi n\sigma^2}}\exp\left(-\frac{1}{2n\sigma^2}
\left(n\bar{x}_n - n\mu\right)^2 \right) \\
& = nn^{-\frac{1}{2}}\frac{1}{\sqrt{2\pi\sigma^2}}
\exp\left(
-\frac{(n\bar{x}_n)^2}{2n\sigma^2}
+ \frac{2(n\bar{x}_n)(n\mu)}{2n\sigma^2}
- \frac{(n\mu)^2}{2n\sigma^2}
\right) \\
& = \sqrt{n}\frac{1}{\sqrt{2\pi\sigma^2}}
\exp\left(
-\frac{n\bar{x}_n^2}{2\sigma^2}
+ \frac{2n\bar{x}_n\mu}{2\sigma^2}
- \frac{n\mu^2}{2\sigma^2}
\right) \\
& = \frac{1}{1/\sqrt{n}}\frac{1}{\sqrt{2\pi\sigma^2}}
\exp\left(
-\frac{\bar{x}_n^2}{2(\sigma^2/n)}
+ \frac{2\bar{x}_n\mu}{2(\sigma^2/n)}
- \frac{\mu^2}{2(\sigma^2/n)}
\right) \\
& = \frac{1}{\sqrt{2\pi(\sigma^2/n)}}
\exp\left(-\frac{1}{2(\sigma^2/n)}
(\bar{x}_n - \mu)^2
\right) \\
& = N\left(\bar{x}_n;\mu,\sigma^2/n \right)
\end{split}
\end{align}\]
Wichtige Anwendungsfälle von Theorem 29.10 sind die Analyse von Erwartungswertschätzern in Kapitel 31 sowie die sowie die in Gleichung 27.2 erwähnte Generalisierung des Zentralen Grenzwertsatzes nach Lindenberg-Lévy. Wir visualisieren Theorem 29.10 exemplarisch in Abbildung 29.10.
Abbildung 29.10: Mittelwertbildung bei normalverteilten Zufallsvariablen.
\(Z\)-Transformation
Das Theorem 29.11 besagt, dass Subtraktion des Erwartungswertparameters und gleichzeitige Division mit der Wurzel des Varianzsparameters die Verteilung einer normalverteilten Zufallsvariable in eine Standardnormalverteilung transformiert.
Theorem 29.11 (\(Z\)-Transformation) Es sei \(\upsilon \sim N(\mu,\sigma^2)\) eine normalverteilte Zufallsvariable. Dann ist die Zufallsvariable \[\begin{equation}
Z := \frac{\upsilon - \mu}{\sigma}
\end{equation}\] eine standardnormalverteilte Zufallsvariable, es gilt also \(Z \sim N(0,1)\).
Beweis. Wir nutzen Theorem 28.3. Dazu halten wir zunächst fest, dass die \(Z\)-Transformation einer Funktion der Form \[\begin{equation}
f(\upsilon) := \frac{\upsilon - \mu}{\sigma} =: Z
\end{equation}\] entspricht. Wir stellen weiterhin fest, dass die Umkehrfunktion von \(f\) durch \[\begin{equation}
f^{-1}(Z) := \sigma Z + \mu
\end{equation}\] gegeben ist, da für alle \(z \in \mathbb{R}\) mit \(z = {y - \mu}{\sigma}\) gilt, dass \[\begin{equation}
\zeta^{-1}(z)
= \zeta^{-1}\left(\frac{y - \mu}{\sigma}\right)
= \frac{\sigma(y- \mu)}{\sigma} + \mu
= y - \mu + \mu
= y.
\end{equation}\] Schließlich stellen wir fest, dass für die Ableitung \(f'\) von \(f\) gilt, dass \[\begin{equation}
f'(y)
= \frac{d}{dy}\left(\frac{y - \mu}{\sigma} \right)
= \frac{d}{dy}\left(\frac{y}{\sigma} -\frac{\mu}{\sigma} \right)
= \frac{1}{\sigma}.
\end{equation}\] Einsetzen in das univariate WDF Transformationstheorem für lineare Funktionen ergibt dann \[\begin{align}
\begin{split}
p_Z(z)
& = \frac{1}{|1/\sigma|}N\left(\sigma z + \mu; \mu , \sigma^2 \right) \\
& = \frac{1}{1/\sqrt{\sigma^2}}\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{1}{2\sigma^2}\left(\sigma z + \mu - \mu\right)^2 \right) \\
& = \frac{\sqrt{\sigma^2}}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{1}{2\sigma^2}\sigma^2 z^2\right)\\
& = \frac{1}{\sqrt{2\pi}}\exp\left(-\frac{1}{2} z^2\right)\\
& = N(z;0,1)
\end{split}
\end{align}\] also, dass \(Z \sim N(0,1)\).
Wichtige Anwendungsfälle von Theorem 29.11 sind neben der häufig angewandten Standardisierung von normalverteilten Zufallsvariablen im Sinne der sogenannten \(Z\)-Werte (\(Z\)-Scores) die \(Z\)-Konfidenzintervallstatistik und die \(Z\)-Teststatistik. Wir visualisieren Theorem 29.11 exemplarisch in Abbildung 29.11.
Mit der \(\chi^2\)-Transformation führen wir nun eine erste Transformation unabhängig und identisch normalverteilter Zufallsvariablen ein, die nicht wiederrum auf eine Normalverteilung führt. Speziell besagt Theorem 29.12, dass die Summe quadrierter unabhängiger standardnormalverteilter Zufallsvariablen eine \(\chi^2\)-verteilte Zufallsvariable ist. Dazu erinnern wir zunächst an den Begriff der \(\chi^2\)-Zufallsvariable als Spezialfall der in Kapitel 21 betrachteten Gammazufallsvariablen (vgl. Definition 21.10).
Definition 29.3 (\(\chi^2\)-Zufallsvariable)\(U\) sei eine Zufallsvariable mit Ergebnisraum \(\mathbb{R}_{>0}\) und WDF \[\begin{equation}
p : \mathbb{R}_{>0} \to \mathbb{R}_{>0},
u \mapsto p(u)
:= \frac{1}{\Gamma\left(\frac{n}{2}\right)2^{\frac{n}{2}}}
u^{\frac{n}{2}-1}\exp\left(-\frac{1}{2}u\right),
\end{equation}\] wobei \(\Gamma\) die Gammafunktion bezeichne. Dann sagen wir, dass \(U\) einer \(\chi^2\)-Verteilung mit Freiheitsgradparameter \(n\) unterliegt und nennen \(U\) eine \(\chi^2\)-Zufallsvariable mit Freiheitsgradparameter \(n\). Wir kürzen dies mit \(U \sim \chi^2(n)\) ab. Die WDF einer \(\chi^2\)-Zufallsvariable bezeichnen wir mit \[\begin{equation}
\chi^2(u;n) :=
\frac{1}{\Gamma\left(\frac{n}{2}\right)2^{\frac{n}{2}}}
u^{\frac{n}{2}-1}\exp\left(-\frac{1}{2}u\right).
\end{equation}\]
Wir erinnern daran, dass die WDF der \(\chi^2\)-Verteilung der WDF \(G\left(u;\frac{n}{2},2\right)\) einer Gammaverteilung entspricht. In Abbildung 29.12 visualisieren wir exemplarisch einige WDFen von \(\chi^2\)-Zufallsvariablen. Wir beobachten, dass mit ansteigendem \(n\) sich \(\chi^2(u;n)\) verbreiter und Wahrscheinlichkeitsmasse zur größeren Werten von \(u\) verschoben wird.
Abbildung 29.12: WDFen von \(\chi^2\) Zufallsvariablen.
Theorem 29.12 (\(\chi^2\)-Transformation)\(Z_1,...,Z_n \sim N(0,1)\) seien unabhängig und identisch standardnormalverteilte Zufallsvariablen. Dann ist die Zufallsvariable \[\begin{equation}
U := \sum_{i=1}^n Z_i^2
\end{equation}\] eine \(\chi^2\)-verteilte Zufallsvariable mit Freiheitsgradparameter \(n\), es gilt also \(U \sim \chi^2(n)\). Insbesondere gilt für \(Z \sim N(0,1)\) und \(U := Z^2\), dass \(U \sim \chi^2(1)\).
Beweis. Wir zeigen das Theorem nur für den Fall \(n := 1\) mithilfe von Theorem 28.4. Danach ist die WDF einer Zufallsvariable \(U := f(Z)\), welche aus der Transformation einer Zufallsvariable \(Z\) mit WDF \(p_\zeta\) durch eine stückweise bijektive Abbildung hervorgeht, gegeben durch \[\begin{equation}\label{eq:piecewise_pdf_transform}
p_U(u) = \sum_{i=1}^k 1_{\mathcal{U}_i} \frac{1}{|f'_i(f_i^{-1}(u))|}p_\zeta\left(f_i^{-1} (u)\right).
\end{equation}\] Wir definieren \[\begin{equation}
\mathcal{U}_1 := ]-\infty,0[,
\mathcal{U}_2 := ]0,\infty[, \mbox{ und }
\mathcal{U}_i := \mathbb{R}_{>0} \mbox{ für } i = 1,2,
\end{equation}\] sowie \[\begin{equation}
f_i : \mathcal{Z}_i \to \mathcal{U}_i, x \mapsto f_i(z) := z^2 =: u \mbox{ für } i = 1,2.
\end{equation}\] Die Ableitung und die Umkehrfunktion der \(f_i\) ergeben sich zu \[\begin{equation}
f_i' : \mathcal{Z}_i \to \mathcal{Z}_i, x \mapsto f_i'(z) = 2z \mbox{ für } i = 1,2,
\end{equation}\] und \[\begin{equation}
f_1^{-1} : \mathcal{U}_1 \to \mathcal{U}_1, u \mapsto f_1^{-1}(u) = - \sqrt{u}
\mbox{ und }
f_2^{-1} : \mathcal{U}_2 \to \mathcal{U}_2, u \mapsto f_2^{-1}(u) = \sqrt{u},
\end{equation}\] respektive. Einsetzen in Gleichung \(\eqref{eq:piecewise_pdf_transform}\) ergibt dann \[\begin{align}
\begin{split}
p_U(u)
& = 1_{\mathcal{U}_1}(u) \frac{1}{|f'_1(f_1^{-1}(u))|}p_\zeta\left(f_1^{-1} (u)\right) +
1_{\mathcal{U}_2}(u) \frac{1}{|f'_2(f_2^{-1}(u))|}p_\zeta\left(f_2^{-1} (u)\right) \\
& = \frac{1}{|2(-\sqrt{u})|}\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{1}{2}(-\sqrt{u})^2\right) +
\frac{1}{|2( \sqrt{u})|}\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{1}{2}( \sqrt{u})^2\right) \\
& = \frac{1}{2\sqrt{u}}\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{1}{2}u\right) +
\frac{1}{2\sqrt{u}}\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{1}{2}u\right)\\
& = \frac{1}{\sqrt{2\pi}}\frac{1}{\sqrt{u}}\exp\left(-\frac{1}{2}u\right).
\end{split}
\end{align}\] Andererseits gilt, dass mit \(\Gamma\left(\frac{1}{2}\right) = \sqrt{\pi}\), die PDF einer \(\chi^2\)-Zufallsvariable \(U\) mit \(n = 1\) durch \[\begin{equation}
\frac{1}{\Gamma\left(\frac{1}{2}\right)2^{\frac{1}{2}}} u^{\frac{1}{2}-1}\exp\left(-\frac{1}{2}u\right)
= \frac{1}{\sqrt{2\pi}}\frac{1}{\sqrt{u}}\exp\left(-\frac{1}{2}u\right)
\end{equation}\] gegeben ist. Also gilt, dass wenn \(Z \sim N(0,1)\) ist, dann ist \(U := Z^2 \sim \chi^2(1)\).
Wichtige Anwendungsfälle sind die \(U\)-Konfidenzintervallstatistik sowie die im folgenden eingeführten \(t\)- und \(f\)-Zufallsvariablen. Wir visualisieren Theorem 29.12 exemplarisch in Abbildung 29.13.
Das in diesem Abschnitt betrachtete Theorem geht auf Student (1908) zurück und ist das zentrale und stilprägende Resultat der Entwicklung der Frequentistischen Inferenz in der ersten Hälfte der 20. Jahrhunderts. Hald (2007) und Zabell (2008) und geben hierzu einen historischen Überblick. Das zentrale Theorem 29.13 besagt dabei, dass die Zufallsvariable, die sich durch Division einer standardnormalverteilten Zufallsvariable durch die Quadratwurzel einer \(\chi^2\)-verteilten Zufallsvariable geteilt durch ein \(n\), ergibt, eine \(t\)-verteilte Zufallsvariable ist. Dabei ist eine \(t\)-verteilte Zufallsvariable wie folgt definiert.
Definition 29.4 (\(t\)-Zufallsvariable)\(T\) sei eine Zufallsvariable mit Ergebnisraum \(\mathbb{R}\) und WDF \[\begin{equation}
p : \mathbb{R} \to \mathbb{R}_{>0}, t \mapsto p(t)
:= \frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n\pi}\Gamma\left(\frac{n}{2}\right)}
\left(1 + \frac{t^2}{n} \right)^{-\frac{n+1}{2}},
\end{equation}\] wobei \(\Gamma\) die Gammafunktion bezeichne. Dann sagen wir, dass \(T\) einer \(t\)-Verteilung mit Freiheitsgradparameter \(n\) unterliegt und nennen \(T\) eine \(t\)-Zufallsvariable mit Freiheitsgradparameter \(n\). Wir kürzen dies mit \(T \sim t(n)\) ab. Die WDF einer \(t\)-Zufallsvariable bezeichnen wir mit \[\begin{equation}
T(t;n) := \frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n\pi}\Gamma\left(\frac{n}{2}\right)}
\left(1 + \frac{t^2}{n} \right)^{-\frac{n+1}{2}}.
\end{equation}\]
In Abbildung 29.14 visualisieren wir exemplarisch einige WDFen von \(t\)-Zufallsvariablen. Wir beobachten, dass die \(t\)-Verteilung immer um \(0\) symmetrisch ist und ein steigendes \(n\) Wahrscheinlichkeitsmasse aus den Ausläufen zum Zentrum verschiebt. Wir merken an, dass ab etwa \(n = 30\) gilt, dass \(T(t;n) \approx N(0,1)\).
Abbildung 29.14: WDFen von \(T\)-Zufallsvariablen.
Theorem 29.13 (\(T\)-Transformation)\(Z \sim N(0,1)\) sei eine standarnormalverteilte Zufallsvariable, \(U \sim \chi^2(n)\) sei eine \(\chi^2\)-Zufallsvariable mit Freiheitsgradparameter \(n\), und \(Z\) und \(U\) seien unabhängig. Dann ist die Zufallsvariable \[\begin{equation}
T := \frac{Z}{\sqrt{U/n}}
\end{equation}\] eine \(t\)-verteilte Zufallsvariable mit Freiheitsgradparameter \(n\), es gilt also \(T \sim t(n)\).
Beweis. Wir halten zunächst fest, dass die zweidimensionale WDF der gemeinsamen (unabhängigen) Verteilung von \(Z\) und \(U\) durch \[\begin{equation}
p_{Z,U}(z,u)
=
\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{1}{2}z^2\right)
\frac{1}{\Gamma(\frac{n}{2})2^{\frac{n}{2}}}u^{\frac{n}{2}-1} \exp\left(-\frac{1}{2}u\right).
\end{equation}\] gegeben ist. Wir betrachten dann die multivariate vektorwertige Abbildung \[\begin{equation}
f : \mathbb{R}^2 \to \mathbb{R}^2,
(z,u)
\mapsto
f(z,u)
:=
\left(\frac{z}{\sqrt{u/n}},u\right)
=:
(t,w)
\end{equation}\] und benutzen das multivariate WDF Transformationstheorem für bijektive Abbildungen um die WDF von \((t,w)\) herzuleiten. Dazu erinnern wir uns, dass wenn \(\xi\) ein \(n\)-dimensionaler Zufallsvektor mit WDF \(p_\xi\) und \(\upsilon := f(\xi)\) für eine differenzierbare und bijektive Abbildung \(f : \mathbb{R}^n \to \mathbb{R}^n\) ist, die WDF des Zufallsvektors \(\upsilon\) durch \[\begin{equation}\label{eq:pdftmv}
p_\upsilon : \mathbb{R}^n \to \mathbb{R}_{\ge 0},
y \mapsto p_\upsilon(y) :=
\frac{1}{|J^f\left(f^{-1}(y)\right)|}p_\xi\left(f^{-1}(y)\right)
\end{equation}\] gegeben ist. Für die im vorliegenden Fall betrachtete Abbildung halten wir zunächst fest, dass \[\begin{equation}
f^{-1}:\mathbb{R}^2 \to \mathbb{R}^2,
(t,w)
\mapsto
f^{-1}
(t,w)
:=\left(\sqrt{w/n}t, w\right).
\end{equation}\] Dies ergibt sich direkt aus \[\begin{equation}
f^{-1}(f(z,u))
=
f^{-1}\left(\frac{z}{\sqrt{u/n}},u\right)
=
\left(\frac{\sqrt{u/n}z}{\sqrt{u/n}}, u \right)
=
(z,u)
\mbox{ für alle }
(z,u)
\in \mathbb{R}^2.
\end{equation}\] Wir halten dann fest, dass die Determinante der Jacobi-Matrix von \(f\) an der Stelle \((z,u)\) durch \[\begin{equation}
|J^f(z,u)|
=
\begin{vmatrix}
\frac{\partial}{\partial z} \left(\frac{z}{\sqrt{u/n}}\right)
& \frac{\partial}{\partial u} \left(\frac{z}{\sqrt{u/n}}\right) \\
\frac{\partial}{\partial z} u
& \frac{\partial}{\partial u} u\\
\end{vmatrix}
= \left(\frac{v}{n}\right)^{-1/2},
\end{equation}\] gegeben ist, sodass folgt, dass \[\begin{equation}
\frac{1}{|J^f\left(f^{-1}(z,u)\right)|}
= \left(\frac{w}{n}\right)^{1/2}.
\end{equation}\] Einsetzen in Gleichung \(\eqref{eq:pdftmv}\) ergibt dann \[\begin{equation}
p_{T,W}(t,w) = \left(\frac{w}{n}\right)^{1/2}p_{Z,V}\left(\sqrt{w/n}t,w\right),
\end{equation}\] Es folgt also \[\begin{align}
\begin{split}
p_T(t)
& =
\int_0^\infty p_{T,W}(t,w)
\,dw \\
& =
\int_0^\infty
\left(\frac{w}{n}\right)^{1/2}
p_{Z,V}\left(\sqrt{w/n}t,w\right)
\,dw \\
& =
\int_0^\infty
\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{1}{2}(\sqrt{w/n}t)^2\right)
\frac{1}{\Gamma(\frac{n}{2})2^{\frac{n}{2}}}w^{\frac{n}{2}-1} \exp\left(-\frac{1}{2}w\right)
\left(\frac{w}{n}\right)^{1/2}
\,dw \\
& =
\frac{1}{\sqrt{2\pi}}\frac{1}{\Gamma(\frac{n}{2})2^{\frac{n}{2}}n^{\frac{1}{2}}}
\int_0^\infty
\exp\left(-\frac{1}{2}\frac{w}{n}t^2\right)
w^{\frac{n}{2}-1} \exp\left(-\frac{1}{2}w\right)w^{1/2}
\,dw \\
& =
\frac{1}{\sqrt{2\pi}}\frac{1}{\Gamma(\frac{n}{2})2^{\frac{n}{2}}n^{\frac{1}{2}}}
\int_0^\infty
\exp\left(-\frac{1}{2}\frac{w}{n}t^2 -\frac{1}{2}w\right)
w^{\frac{n}{2}-1} w^{\frac{1}{2}}
\,dw \\
& =
\frac{1}{\sqrt{2\pi}}\frac{1}{\Gamma(\frac{n}{2})2^{\frac{n}{2}}n^{\frac{1}{2}}}
\int_0^\infty
\exp\left(-\frac{1}{2}\left(\frac{w}{n}t^2 + w\right)\right)
w^{\frac{n + 1}{2}-1}
\,dw \\
& =
\frac{1}{\sqrt{2\pi}}\frac{1}{\Gamma(\frac{n}{2})2^{\frac{n}{2}}n^{\frac{1}{2}}}
\int_0^\infty
\exp\left(-\frac{1}{2}\left(1 + \frac{t^2}{n}\right)\right)
w^{\frac{n + 1}{2}-1}
\,dw \\
\end{split}
\end{align}\] Wir stellen dann fest, dass der Integrand auf der linken Seite der obigen Gleichung dem Kern einer Gamma WDF mit Parametern \(\alpha = \frac{n+1}{2}\) und \(\beta = \frac{2}{1+\frac{t^2}{n}}\) entspricht, wie man leicht einsieht: \[\begin{align*}
\Gamma(w;\alpha,\beta)
= \frac{1}{\Gamma(\alpha)\beta^{\alpha}}w^{\alpha-1}\exp\left(-\frac{w}{\beta}\right) & \\
\Rightarrow
\Gamma\left(w;\frac{n+1}{2},\frac{2}{1+\frac{t^2}{n}}\right)
& = \frac{1}{\Gamma(\frac{n+1}{2})\left(\frac{2}{1+\frac{t^2}{n}}\right)^{\frac{n+1}{2}}}
w^{\frac{n+1}{2}-1}\exp\left(-\frac{w}{\frac{2}{1+\frac{t^2}{n}}}\right) \\
& = \frac{1}{\Gamma( \frac{n+1}{2})\left(\frac{2}{1+\frac{t^2}{n}}\right)^{ \frac{n+1}{2}}}
\exp\left(-\frac{1}{2}\left(1 + \frac{t^2}{n}\right)\right) w^{\frac{n+1}{2}-1}.
\end{align*}\] Es ergibt sich also \[\begin{equation}
p_T(t)
=
\frac{1}{\sqrt{2\pi}}\frac{1}{\Gamma(\frac{n}{2})2^{\frac{n}{2}}n^{\frac{1}{2}}}
\int_0^\infty
\Gamma\left(w;\frac{n+1}{2},\frac{2}{1+\frac{t^2}{n}}\right)
\,dw .
\end{equation}\] Schließlich stellen wir fest, dass der Integralterm in obiger Gleichung dem Normalisierungsterm einer Gamma WDF entspricht. Abschließend ergibt sich also \[\begin{equation}
p_T(t) =
\frac{1}{\sqrt{2\pi}}\frac{1}{\Gamma(\frac{n}{2})2^{\frac{n}{2}}n^{\frac{1}{2}}}
\Gamma\left(\frac{n+1}{2}\right)\left(\frac{2}{1 + \frac{t^2}{n}} \right)^{\frac{n+1}{2}}.
\end{equation}\] Die Verteilung von \(Z/\sqrt{U/n}\) hat also die WDF einer \(t\)-Zufallsvariable.
Wichtige Anwendungsfälle sind die \(T\)-Konfidenzintervallstatistik sowie die \(T\)-Teststatistiken der Theorie von Hypothesentests im Kontext des Allgemeinen Linearen Modells. Wir visualisieren Theorem 29.13 exemplarisch in Abbildung 29.15.
In diesem Abschnitt betrachten wir den Fall, dass der Erwartungswertparameter der Zählervariable der in Theorem 29.13 betrachteten Zufallsvariable \(T\) von Null verschieden ist, dass es sich bei der Zählervariable also nicht um eine nach \(N(0,1)\), sondern eine nach \(N(\mu,1)\) verteilte Zufallsvariable für ein beliebiges \(\mu \in \mathbb{R}\) handelt. Die so entstehende Zufallsvariable \(T\) folgt dann einer sogenannten nichtzentralen-t-Verteilung. Eine frühe ausführliche Diskussion dieser Verteilung findet sich zum Beispiel in Johnson & Welch (1940). Eine entsprechende nichtzentralen-\(t\)-verteilte Zufallsvariable ist wie folgt definiert (vgl. Lehmann (1986)).
Definition 29.5 (Nichtzentrale \(t\)-Zufallsvariable)\(T\) sei eine Zufallsvariable mit Ergebnisraum \(\mathbb{R}\) und WDF \[\begin{multline}
p : \mathbb{R} \to \mathbb{R}_{>0}, t \mapsto p(t) :=
\frac{1}{2^{\frac{n-1}{2}}\Gamma\left(\frac{n}{2} \right)(n \pi)^{\frac{1}{2}}} \\
\times \int_{0}^\infty \tau^{\frac{n-1}{2}} \exp\left(-\frac{\tau}{2}\right)
\exp\left(-\frac{1}{2}\left(t \left(\frac{\tau}{n}\right)^{\frac{1}{2}} - \delta \right)^2 \right)\,d\tau.
\end{multline}\] Dann sagen wir, dass \(T\) einer nichtzentralen \(t\)-Verteilung mit Nichtzentralitätsparameter \(\delta\) und Freiheitsgradparameter \(n\) unterliegt und nennen \(T\) eine nichtzentrale \(t\)-Zufallsvariable mit Nichtzentralitätsparameter \(\delta\) und Freiheitsgradparameter \(n\). Wir kürzen dies mit \(t(\delta, n)\) ab. Die WDF einer nichtzentralen \(t\)-Zufallsvariable bezeichnen wir mit \(t(T;\delta,n)\). Die KVF und inverse KVF einer nichtzentralen \(t\)-Zufallsvariable bezeichnen wir mit \(\Psi(\cdot; \delta, n)\) und \(\Psi^{-1}(\cdot; \delta, n)\), respektive.
Ohne Beweis merken wir an, dass eine nichtzentrale \(t\)-Zufallsvariable mit \(\delta = 0\) einer \(t\)-Zufallsvariable enstpricht, es gelten also \[\begin{equation}
t(T;0,n) = t(T;n)
\end{equation}\] sowie \[\begin{equation}
\Psi(T;0,n) = \Psi(T;n) \mbox{ und } \Psi^{-1}(T;0,n) = \Psi^{-1}(T;n).
\end{equation}\]
In Abbildung 29.16 visualisieren wir exemplarisch einige WDFen von nichtzentralen \(t\)-Zufallsvariablen. Wir beobachten, dass ein positiver Nichtzentralitätsparameter \(\delta\) die Verteilung nach rechts verschiebt und die Verteilungen mit steigendem Freiheitsgradparameter \(\delta\) sich entsprechend lokalisierten Normalverteilungen mit Varianzparameter 1 annähern. Man beachte auch die Nichtsymmetrie der WDFen für kleine Freiheitsgradparameter bei von Null verschiedenem positivem Nichtzentralitätsparameter.
Abbildung 29.16: WDFen von Nichtzentralen-\(T\)-Zufallsvariablen.
Eine nichtzentrale \(t\)-Zufallsvariable ist das Resultat einer nichtzentralen \(T\)-Transformation, wie folgendes Theorem besagt.
Theorem 29.14 (Nichtzentrale T-Transformation)\(\upsilon \sim N(\mu,1)\) sei eine normalverteilte Zufallsvariable, \(U \sim \chi^2(n)\) sei eine \(\chi^2\) Zufallsvariable mit Freiheitsgradparameter \(n\), und \(\upsilon\) und \(U\) seien unabhängige Zufallsvariablen. Dann ist die Zufallsvariable \[\begin{equation}
T := \frac{\upsilon}{\sqrt{U/n}}
\end{equation}\] eine nichtzentrale \(t\)-Zufallsvariable mit Nichtzentralitätsparameter \(\mu\) und Freiheitsgradparameter \(n\), also \(T \sim t(\mu,n)\).
Wir verzichten auf einen Beweis. Wichtige Anwendungsfälle sind die Testgütefunktionen der T-Test Varianten im Kontext des Allgemeinen Linearen Modells. Wir visualisieren Theorem 29.14 exemplarisch in Abbildung 29.17.
Das in diesem Abschnitt zentrale Theorem 29.15 besagt, dass die Zufallsvariable, die sich durch Division zweier \(\chi^2\) verteilter Zufallsvariablen, jeweils geteilt durch ihre jeweiligen Freiheitsgradparameter, eine \(F\)-verteilte Zufallsvariable ist. Dabei ist eine \(F\)-verteilte Zufallsvariable wie folgt definiert.
Definition 29.6 (\(f\)-Zufallsvariable)\(F\) sei eine Zufallsvariable mit Ergebnisraum \(\mathbb{R}_{>0}\) und WDF \[\begin{equation}
p_F : \mathbb{R} \to \mathbb{R}_{>0}, f \mapsto p_F(f)
:= m^{\frac{m}{2}}n^{\frac{n}{2}}
\frac{\Gamma\left(\frac{m+n}{2}\right)}{\Gamma\left(\frac{m}{2}\right)\Gamma\left(\frac{n}{2}\right)}
\frac{f^{\frac{m}{2}-1}}{\left(1 + \frac{m}{n}f \right)^{\frac{m+n}{2}}},
\end{equation}\] wobei \(\Gamma\) die Gammafunktion bezeichne. Dann sagen wir, dass \(F\) einer \(f\)-Verteilung mit Freiheitsgradparametern \(n,m\) unterliegt und nennen \(F\) eine \(f\)-Zufallsvariable mit Freiheitsgradparametern \(n,m\). Wir kürzen dies mit \(F \sim f(n,m)\) ab. Die WDF einer \(f\)-Zufallsvariable bezeichnen wir mit \[\begin{equation}
F(f;n,m)
:= m^{\frac{m}{2}}n^{\frac{n}{2}}
\frac{\Gamma\left(\frac{m+n}{2}\right)}{\Gamma\left(\frac{m}{2}\right)\Gamma\left(\frac{n}{2}\right)}
\frac{f^{\frac{m}{2}-1}}{\left(1 + \frac{m}{n}f \right)^{\frac{m+n}{2}}}.
\end{equation}\]
In Abbildung 29.18 visualisieren wir exemplarisch einige WDFen von \(f\)-Zufallsvariablen. Wir beobachten, dass die Form der WDFen zunächt primär durch den Freiheitsgradparameter \(n\) und dann sekundär durch den Freiheitsgradparameter \(m\) bestimmt werden.
Abbildung 29.18: WDFen von \(f\)-verteilten Zufallsvariablen.
Theorem 29.15 (\(F\)-Transformation)\(V \sim \chi^2(n)\) und \(W \sim \chi^2(m)\) seien zwei unabhängige \(\chi^2\)-Zufallfsvariablen mit Freiheitsgradparametern \(n\) und \(m\), respektive. Dann ist die Zufallsvariable \[\begin{equation}
F := \frac{V/n}{W/m}
\end{equation}\] eine \(f\)-verteilte Zufallsvariable mit Freiheitsgradparametern \(n,m\), es gilt also \(F \sim f(n,m)\).
Das Theorem kann bewiesen werden, in dem man zunächst ein Transformationstheorem für Quotienten von Zufallsvariablen mithilfe von Theorem 28.1 und Marginalisierung herleitet und dieses Theorem dann auf die WDF von \(\chi^2\)-verteilten Zufallsvariablen anwendet. Wir visualisieren Theorem 29.15 exemplarisch in Abbildung 29.19. Wichtige Anwendungsfälle von Theorem 29.15 sind die im Rahmen der Theorie des Allgemeinen Linearen Modells betrachteten \(F\)-Statistiken.
Die Entwicklung der bivariaten Normalverteilung hat ihre Ursprünge in der statistischen Literatur zur Mitte des 19. Jahrhunderts, insbesondere in den Arbeiten von Francis Galton (1822-1911). Die mathematische Formalisierung der bivariaten Normalverteilung geht dabei wohl insbesondere auf Pearson (1896) zurück (Seal (1967)). Die ursprüngliche Formulierung der multivariaten Normalverteilung wird bei Edgeworth (1892) verortet. Tong (1990) gibt eine umfassenden Überblick zur Theorie und Anwendung der multivariaten Normalverteilung.
Anderson, T. W. (2003). An Introduction to Multivariate Statistical Analysis (3rd ed). Wiley-Interscience.
DeGroot, M. H., & Schervish, M. J. (2012). Probability and Statistics (4th ed). Addison-Wesley.
Edgeworth, F. Y. (1892). The Law of Error and Correlated Averages. The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, 34(210), 429–438. https://doi.org/10.1080/14786449208620355
Hald, A. (2007). A History of Parametric Statistical Inference from Bernoulli to Fisher, 1713-1935. Springer.
Johnson, N. L., & Welch, B. L. (1940). Applications of the Non-Central t-Distribution. Biometrika, 31(3/4), 362. https://doi.org/10.2307/2332616
Lehmann, E. L. (1986). Testing Statistical Hypotheses. Wiley Series in Probability and Statistics.
Mardia, K. V., Kent, J. T., & Bibby, J. M. (1979). Multivariate Analysis. Academic Press.
Pearson, K. (1896). Mathematical Contributions to the Theory of Evolution. III. Regression, Heredity, and Panmixia. Philosophical Transactions of the Royal Society of London. Series A, Containing Papers of a Mathematical or Physical Character, 18, 253–318. https://www.jstor.org/stable/90707
Seal, H. L. (1967). Studies in the History of Probability and Statistics. XV: The Historical Development of the Gauss Linear Model. Biometrika, 54(1/2), 1. https://doi.org/10.2307/2333849
Student. (1908). The Probable Error of a Mean. Biometrika, 6(1), 1–25.
Tong, Y. L. (1990). Multivariate Normal Distribution. Springer.
Zabell, S. L. (2008). On Student’s 1908 Article„The Probable Error of a Mean“. Journal of the American Statistical Association, 103(481), 1–7. https://doi.org/10.1198/016214508000000030
