# Modellformulierung
mu = 10 # wahrer, aber unbekannter, Erwartungswertparameter
sigsqr = 4 # wahrer, aber unbekannter, Varianzparameter
n = 12 # Stichprobenumfang
ns = 1e4 # Anzahl Stichprobenrealisierungen
res = 1e3 # Ausgangsraumaufloesung
# analytische Definitionen und Resultate
yx = seq(3,17,len = res) # y_i Raum
ssqrx = seq(0,20,len = res) # S^2 Raum
tx = seq(-4,4,len = res) # T Raum
p_y_i = dnorm(yx,mu,sqrt(sigsqr)) # y_i WDF
p_y_bar = dnorm(yx,mu,sqrt(sigsqr/n)) # y_bar WDF
p_sqr = dchisq(ssqrx,n-1) # S^2 WDF
p_t = dt(tx,n-1) # T WDF
# Simulation
y_i = rep(NaN,ns) # y_i Array
y_bar = rep(NaN,ns) # \bar{y} Array
S = rep(NaN,ns) # S Array
TKS = rep(NaN,ns) # T-Konfidenzintervallstatistik Array
for(s in 1:ns){ # Simulationsiterationen
y = rnorm(n,mu,sqrt(sigsqr)) # Stichprobenrealisierung
y_i[s] = y[1] # Stichprobenrealisierung y_i mit i = 1
y_bar[s] = mean(y) # Stichprobenmittelrealisierung
S[s] = sd(y) # Stichprobenstandardabweichungrealisierung
TKS[s] = sqrt(n)*((y_bar[s]-mu)/S[s]) # T-Konfidenzintervallstatistikrealisierung
}32 Konfidenzintervalle
Konfidenzintervalle stellen eine Intervallschätzung wahrer, aber unbekannter, Parameter dar, die so konstruiert ist, dass sie in den meisten Fällen zutrifft. Dabei wird die gegenüber der Punktschätzung gewonnene Sicherheit hinsichtlich der Akkuratheit der Schätzung durch einen Verlust der Genauigkeit der Schätzung erkauft. Wo im Bereich der Punktschätzung zum Beispiel die Schätzung eines wahren, aber unbekannten, Parameterwertes von \(\theta = 2\) durch einen Punktschätzer der Form \(\hat{\theta}\) zwar sehr genau erfolgt, z.B. durch \(\hat{\theta} = 2.14\). Jedoch ist diese Schätzung vor dem Hintergrund der verschwindenen Wahrscheinlichkeit einer kontinuierlichen Zufallsvariable genau einen reellen Wert anzunehmen mit hoher Sicherheit falsch. Durch eine Intervallschätzung des wahren, aber unbekannten Parameters durch z.B. \([1.94, 2.34]\) ist eine gröbere Schätzung gegeben, die jedoch so konstruiert werden kann, dass sie mit einer hohen gewünschten Wahrscheinlichkeit zutrifft. Um diese Intuition formal darzustellen, fokussieren wir in diesem Kapitel zunächst auf eindimensionale Parameterräume, also \(\Theta \subseteq \mathbb{R}\) und damit in der Tat nur Konfidenzintervalle, d.h. Teilmengen von \(\mathbb{R}\). Eine Generalisierung der hier vorgestellten Konzepte auf höher dimensionale Parameterräume im Sinne von Konfidenzmengen ist jedoch relativ unproblematisch möglich.
32.1 Definition
Definition 32.1 (\(\delta\)-Konfidenzintervall) Es sei \(y\) die Stichprobe eines Frequentistischen Inferenzmodells mit wahrem, aber unbekannten Parameter, \(\theta \in \Theta\), es sei \(\delta \in \,]0,1[\) und es seien \(G_u(y)\) und \(G_o(y)\). Dann heißt ein Intervall der Form \[\begin{equation} \kappa(y) := [G_u(y), G_o(y)], \end{equation}\] so dass \[\begin{equation} \mathbb{P}_\theta\left(\kappa(y) \ni \theta\right) = \mathbb{P}_\theta\left(G_u(y) \le \theta \le G_o(y) \right) = \delta \mbox{ für alle } \theta \in \Theta \mbox{ gilt} \end{equation}\] ein \(\delta\)-Konfidenzintervall für \(\theta\). \(\delta\) ist die Überdeckungswahrscheinlichkeit von \(\kappa(y)\) für \(\theta\) und wird meist Konfidenzlevel genannt. Die Statistiken \(G_u(y)\) und \(G_o(y)\) heißen die unteren und oberen Grenzen des Konfidenzintervalls, respektive.
Man beachte in Definition 32.1 dass, wie in allen Frequentistischen Inferenzmodellen, der Parameter \(\theta\) ein wahrer, aber unbekannter, Wert und damit insbesondere fest, nicht zufällig, ist. Weil die oberen und unteren Grenzen eines Konfidenzintervalls als Funktionen der zufälligen Stichprobe Zufallsvariablen sind, ist das durch sie definierte Konfidenzintervall ein zufälliges Intervall. Die etwas ungewöhnliche Schreibweise \(\kappa(y) \ni \theta\) bedeutet schlicht \(\theta \in \kappa(y)\). Da \(\kappa(y)\) in dem Ausdruck \(\mathbb{P}_\theta\left(\kappa(y) \ni \theta\right)\) wie beschrieben die zufällige Entität ist, steht \(\kappa(y)\) konventionellerweise links, man denke zum Beispiel an einen Ausdruck wie \(\mathbb{P}(\xi = x)\). Ein \(\delta\)-Konfidenzintervall überdeckt den wahren, aber unbekannten, Parameter \(\theta\) nach Definition mit Wahrscheinlichkeit \(\delta\). Dabei wird oft eine hohe Überdeckungswahrscheinlichkeit von \(\delta := 0.95\) gewählt, in diesem Fall spricht man von einem \(95\%\)-Konfidenzintervall.
Intuitiv mag man \(\delta\)-Konfidenzintervalle auf zwei Arten interpretieren. Im ersten Fall geht man von der Wiederholung der unabhängigen Realisierung von Stichproben bei immer identischen wahren, aber unbekannten, Parameter \(\theta\) aus. Wiederholt man die Realisierung von Daten also “unter immer den gleichen Umständen” und bei identischen wahren, aber, unbekannten, Parameter \(\theta\), so überdeckt ein \(\delta\)-Konfidenzintervall diesen wahren, aber unbekannten, Parameter im langfristigen Mittel in \(\delta\cdot 100 \%\) der realisierten Fälle. Alternativ gilt diese Frequentistische Wahrscheinlichkeit für die Überdeckung des wahren, aber unbekannten, Parameters nach Definition 32.1 jedoch auch für jeden beliebigen wahren, aber unbekannten, Parameterwert \(\theta_i, i = 1,2,...\). Auch wenn man also unterschiedliche, wahre, aber unbekannte, Parameterwerte \(\theta_1,\theta_2,...\) betrachtet und in jedem Fall eine, von den anderen Realisierungen unabhängige, Realisierung der Stichprobe erfasst, so überdecken die entsprechenden \(\delta\)-Konfidenzintervalle diese wahren, aber unbekannten, Parameter im langfristigen Mittel in \(\delta\cdot 100 \%\) der Fälle. Intuitiv braucht man also “eine Studie”, also die Untersuchung eines wahren, aber unbekannten, Parameterwerts, nicht unter den gleichen Umständen “unendlich oft wiederholen”, um von der Überdeckungswahrscheinlichkeit eines Konfidenzintervalls zu profitieren, sondern es genügt in “unterschiedlichen Studien”, also den Untersuchungen unterschiedlicher wahrer, aber unbekannten, Parameter, Konfidenzintervalle gemäß Definition 32.1 zu bestimmen, auch im diesen Fall ist ihre Überdeckungswahrscheinlichkeit für die wahren, aber unbekannten Parameter, gesichert. Wir demonstrieren diese beiden Interpretationen in der Folge mithilfe einer Simulation.
Um nun für gegeben Frequentistische Inferenzmodelle \(\delta\)-Konfidenzintervalle durch eine konkrete Angabe der Statistiken \(G_u(y)\) und \(G_o(y)\) zu konstruieren, geht man vor wie folgt. Zunächst definiert man das Frequentistische Inferenzmodell und legt damit die Verteilung der Stichprobe \(y\) fest. In einem zweiten Schritt definiert man eine Statistik, also eine Funktion der Stichprobe, die als Grundlage für \(G_u(y)\) und \(G_o(y)\) dienen mag und analysiert ihre, auf der Stichprobenverteilung basierende, Verteilung. Hat man die entsprechende Verteilung gefunden, so kann man diese dazu nutzen, die Überdeckungswahrscheinlichkeit des wahren, aber unbekannten, Parameters durch ein entsprechend definiertes Konfidenzintervall zu sichern. Wir zeichnen dieses Verfahren in der Entwicklung und den konstruktiven Beweisen der folgenden Beispiele nach.
32.2 Beispiele für Konfidenzintervalle
Konfidenzintervall für den Erwartungswertparameter des Normalverteilungsmodells
Wir betrachten die Konstruktion eines \(\delta\)-Konfidenzintervalls für den Erwartungswertparameter des Normalverteilungsmodells. Zu diesem Zweck definieren wir zunächst folgende Konfidenzintervallstatistik.
Definition 32.2 (\(T\)-Konfidenzintervallstatistk) Gegeben sei das Normalverteilungsmodell \[\begin{equation} y_1,...,y_n \sim N\left(\mu,\sigma^2\right) \end{equation}\] Dann heißt die mit dem Stichprobenmittel und der Stichprobenstandardabweichung \[\begin{equation} \bar{y} := \frac{1}{n}\sum_{i=1}^n y_i \mbox{ und } S := \sqrt{\frac{1}{n-1}\sum_{i=1}^n(y_i - \bar{y})^2}, \end{equation}\] definierte Statistik \[\begin{equation} T := \sqrt{n}\frac{\bar{y} - \mu}{S} \end{equation}\] \(T\)-Konfidenzintervallstatistik.
Für die Verteilung der \(T\)-Konfidenzintervallstatistik gilt folgendes Theorem.
Theorem 32.1 (Verteilung der \(T\)-Konfidenzintervallstatistik) Die \(T\)-Konfidenzintervallstatistik ist eine \(t\)-verteilte Zufallsvariable mit Parameter \(n-1\), es gilt also \[\begin{equation} T \sim t(n-1) \end{equation}\]
Beweis.
Man beachte, dass die \(T\)-Konfidenzintervallstatistik nach Definition 32.2 eine Funktion der Stichprobe ist, während ihre Verteilung nach Theorem 32.1 unabhängig von den wahren, aber unbekannten, Parametern der Stichprobenverteilung ist. Man nennt dies auch die Pivoteigenschaft der \(T\)-Konfidenzeigenschaft. Für die folgenden Entwicklungen erinnern wir daran, dass wir die WDF einer \(t\)-verteilten Zufallvariable mit \(t\), die KVF einer \(t\)-verteilten Zufallvariable mit \(\Psi\) und die inverse KVF einer \(t\)-verteilten Zufallvariable mit \(\Psi^{-1}\) bezeichnen. Folgender R Code simuliert zunächst die Verteilung der \(T\)-Konfidenzintervallstatistitk.
In Abbildung 32.1 visualisieren wir die Verteilung der \(T\)-Konfidenzintervallstatistik als Resultat der ihr zugrundeliegenden Verteilungen der Stichprobenvariablen, des Stichprobenmittels und der Stichprobenvarianz (vgl. ?sec-t-transformation). Mithilfe der Verteilung der \(T\)-Konfidenzintervallstatistik können wir jetzt folgendes Theorem zum Konfidenzintervall für den Erwartungswertparameter des Normalverteilungsmodells beweisen.
Theorem 32.2 (Konfidenzintervall für den Erwartungswertparameter des Normalverteilungsmodells) Gegeben sei das Normalverteilungsmodell \[\begin{equation} y_1,...,y_n \sim N(\mu,\sigma^2) \end{equation}\] mit wahren, aber unbekannten, Parametern \(\mu\) und \(\sigma^2\), es sei \(\delta \in ]0,1[\) und es sei \[\begin{equation} t_\delta := \Psi^{-1}\left(\frac{1+\delta}{2}; n-1\right). \end{equation}\] mit der inversen KVF \(\Psi^{-1}\) einer \(t\)-verteilten Zufallsvariable. Dann gilt für das Intervall \[\begin{equation} \kappa(y) := \left[\bar{y} - \frac{S}{\sqrt{n}}t_\delta, \bar{y} + \frac{S}{\sqrt{n}}t_\delta\right], \end{equation}\] mit dem Stichprobenmittel und der Stichprobenstandardabweichung \[\begin{equation} \bar{y} := \frac{1}{n}\sum_{i=1}^n y_i \mbox{ und } S := \sqrt{\frac{1}{n-1}\sum_{i=1}^n(y_i - \bar{y})^2}, \end{equation}\] respektive, dass \[\begin{equation} \mathbb{P}_{\mu}(\kappa(y) \ni \mu) = \delta. \end{equation}\]
Beweis. Für \(\delta \in ]0,1[\) seien zunächst \[\begin{equation} t_1 := \Psi^{-1}\left(\frac{1 - \delta}{2}; n - 1\right) \mbox{ und } t_2 := \Psi^{-1}\left(\frac{1 + \delta}{2}; n-1\right) \end{equation}\] definiert. Dann gilt \[\begin{equation} \frac{1+\delta}{2} - \frac{1-\delta}{2} = \delta \end{equation}\] und weiterhin gilt mit der Symmetrie der WDF der \(t\)-Verteilung, dass \[\begin{equation} t_1 = - t_2. \end{equation}\] Per Definition gilt dann aber mit Definition 32.2 und Theorem 32.1, dass \[\begin{equation} \mathbb{P}_\mu\left(-t_{\delta} \le T \le t_{\delta} \right) = \delta. \end{equation}\] Damit folgt dann aber direkt \[\begin{align} \begin{split} \delta & = \mathbb{P}_\mu\left(-t_\delta \le T \le t_\delta \right) \\ & = \mathbb{P}_\mu\left(-t_\delta \le \frac{\sqrt{n}}{S}(\bar{y} - \mu) \le t_\delta \right) \\ & = \mathbb{P}_\mu\left(-\frac{S}{\sqrt{n}}t_\delta \le \bar{y} - \mu \le \frac{S}{\sqrt{n}}t_\delta \right) \\ & = \mathbb{P}_\mu\left(-\bar{y} -\frac{S}{\sqrt{n}}t_\delta \le - \mu \le - \bar{y} + \frac{S}{\sqrt{n}}t_\delta \right) \\ & = \mathbb{P}_\mu\left(\bar{y} + \frac{S}{\sqrt{n}}t_\delta \ge \mu \ge \bar{y} - \frac{S}{\sqrt{n}}t_\delta \right) \\ & = \mathbb{P}_\mu\left(\bar{y} - \frac{S}{\sqrt{n}}t_\delta \le \mu \le \bar{y} + \frac{S}{\sqrt{n}}t_\delta \right) \\ & = \mathbb{P}_\mu\left(\left[\bar{y} - \frac{S}{\sqrt{n}}t_\delta, \bar{y} + \frac{S}{\sqrt{n}}t_\delta\right] \ni \mu \right). \\ & = \mathbb{P}_\mu\left(\kappa(y) \ni \mu \right). \\ \end{split} \end{align}\]
Der entscheidene Schritt zur Sicherung der Überdeckungswahrscheinlichkeit \(\delta\) des wahren, aber unbekannten, Erwartungswertparameters durch das in Theorem 32.2 definierte Konfidenzintervall ist die Definition von
\[\begin{equation}
t_\delta := \Psi^{-1}\left(\frac{1+\delta}{2}; n-1\right).
\end{equation}\] Wie im Beweis von Theorem 32.2 nachgezeichnet ist die Überdeckungswahrscheinlichkeit des Konfidenzintervalls für den wahren, aber unbekannten, Erwartungswertparameter äquivalent zu der Tatsache, dass bei Wahl eben dieses \(t_\delta\) die \(T\)-Konfidenzintervallstatistik eine Wahrscheinlichkeit von \(\delta\) dafür hat, einen Wert im Intervall \([-t_\delta, t_\delta]\) anzunehmen. Wir visualisieren die Wahl von \(t_\delta\) für Fall \(\delta := 0.95\) und \(n := 5\) in Abbildung 32.2. In diesem Fall ergibt sich \[\begin{equation}
-t_\delta = \Psi^{-1}(0.025;4) = -2.57 \mbox{ und }
t_\delta = \Psi^{-1}(0.975;4) = 2.57.
\end{equation}\] Abbildung 32.2 A zeigt diese Wahl aus Perspektive der WDF der \(T\)-Konfidenintervallstatistik. Die von \(-t_\delta\) und \(t_\delta\) eingeschlossene Wahrscheinlichkeitsmasse beträgt nach Konstruktion \(\delta\), \(T\) nimmt mit einer Wahrscheinlichkeit von \(\delta\) also einen Wert zwischen \(-t_\delta\) und \(t_\delta\) an. Abbildung 32.2 B zeigt die entsprechende Perspektive der KVF der \(T\)-Konfidenintervallstatistik. Basierend auf der Vorgabe von \(\frac{1-\delta}{2}\) und \(\frac{1+\delta}{2}\) werden anhand der inversen KVF \(\Psi^{-1}\) die entsprechenden Werte für \(-t_\delta\) und \(t_\delta\) bestimmt. Man beachte, dass die hier gegebene Zentralität der Wahrscheinlichkeitsmasse in Definition 32.1 nicht implizit ist, sondern sich aus den Gegebenheiten der Verteilung der \(T\)-Konfidenzintervallstatistik, insbesondere ihrer Symmetrie um 0, ergibt.
Abschließend wollen wir die Überdeckungswahrscheinlichkeit des durch Theorem 32.2 gegebenen Konfidenzintervalls mithilfe einer Simulation demonstrieren. Wir betrachten dabei lediglich die erste Interpretation eines Konfidenzintervalls bei konstantem, wahrem, aber unbekanntem, Parameter. Folgender R Code bestimmt in diesem Sinne zu jeder Stichprobenrealisierung das entsprechende Konfidenzintervall.
# Modellformulierung
set.seed(1) # Random number generator seed
mu = 2 # wahrer, aber unbekannter, Erwartungswertparameter
sigsqr = 1 # wahrer, aber unbekannter, Varianzparameter
sigma = sqrt(sigsqr) # wahrer, aber unbekannter, Standardabweichungsparameter
n = 12 # Stichprobenumfang
delta = 0.95 # Konfidenzbedingung
t_delta = qt((1+delta)/2,n-1) # \Psi^-1((\delta + 1)/2, n-1)
# Stichprobenrealisierungen
ns = 1e2 # Anzahl Stichprobenrealisierungen
y_bar = rep(NaN,ns) # Stichprobenmittelarray
S = rep(NaN,ns) # Standardabweichungsarray
kappa = matrix(rep(NaN,2*ns), ncol = 2) # Konfidenzintervallarray
for(i in 1:ns){
y = rnorm(n,mu,sigma) # Stichprobenrealisierung
y_bar[i] = mean(y) # Stichprobenmittel
S[i] = sd(y) # Stichprobenstandardabweichung
kappa[i,1] = y_bar[i] - (S[i]/sqrt(n))*t_delta # untere Konfidenzintervallgrenze
kappa[i,2] = y_bar[i] + (S[i]/sqrt(n))*t_delta # obere Konfidenzintervallgrenze
}Wir visualisieren die Ergebnisse dieser Simulation in Abbildung 32.3.
# Anzahl Simulationen mit \theta_1, \theta_2,...
set.seed(1) # random number generator seed
ns = 1e2 # Anzahl Simulationen
mu = 2*seq(0,1,len = ns) # wahrer, aber unbekannter, Erwartungswertparameter
sigsqr = 1 # wahrer, aber unbekannter, Varianzparameter
sigma = sqrt(sigsqr) # wahrer, aber unbekannter, Standardabweichungsparameter
n = 12 # Stichprobenumfang
delta = 0.95 # Konfidenzbedingung
t_delta = qt((1+delta)/2,n-1) # \Psi^-1((\delta + 1)/2, n-1)
# Simulation
y_bar = rep(NaN,ns) # Stichprobenmittelarray
S = rep(NaN,ns) # Standardabweichungsarray
kappa = matrix(rep(NaN,2*ns), ncol = 2) # Konfidenzintervallarray
for(i in 1:ns){
y = rnorm(n,mu[i],sigma) # Stichprobenrealisierung
y_bar[i] = mean(y) # Stichprobenmittel
S[i] = sd(y) # Stichprobenstandardabweichung
kappa[i,1] = y_bar[i] - (S[i]/sqrt(n))*t_delta # untere Konfidenzintervallgrenze
kappa[i,2] = y_bar[i] + (S[i]/sqrt(n))*t_delta # obere Konfidenzintervallgrenze
}Wir visualisieren die Ergebnisse dieser Simulation in Abbildung 32.4.
Konfidenzintervall für den Varianzparameter des Normalverteilungsmodells
Wir betrachten die Konstruktion eines \(\delta\)-Konfidenzintervalls für den Varianzparameter des Normalverteilungsmodells. Zu diesem Zweck definieren zunächst folgende Konfidenzintervallstatistik.
Definition 32.3 (\(U\)-Konfindenzintervallstatistik) Gegeben sei das Normalverteilungsmodell \[\begin{equation} y_1,...,y_n \sim N(\mu,\sigma^2) \end{equation}\] Dann heißt die mit der Stichprobenvarianz \[\begin{equation} \frac{1}{n-1}\sum_{i=1}^n \left(y_i - \bar{y}\right)^2 \end{equation}\] definierte Statistik \[\begin{equation} U := \frac{n-1}{\sigma^2}S^2 \end{equation}\] \(U\)-Konfidenzintervallstatistik.
Für die Verteilung der \(U\)-Konfidenzintervallstatistik gilt folgendes Theorem.
Theorem 32.3 (Verteilung der \(U\)-Konfidenzintervallstatistik) Die \(U\)-Konfidenzintervallstatistik ist eine \(\chi^2\)-verteilte Zufallsvariable mit Parameter \(n-1\), es gilt also \[\begin{equation} U \sim \chi^2(n-1) \end{equation}\]
Für einen Beweis von Theorem 32.3 verrweisen wir auf Casella & Berger (2002). Wie die \(T\)-Konfidenzintervallstatistik besitzt auch die \(U\)-Konfidenzintervallstatistik die Pivoteigenschaft, da sie eine Funktion der Stichprobe ist, aber ihre Verteilung nach Theorem 32.3 von den wahren, aber unbekannten, Verteilungsparametern der Stichprobe nicht abhängt. Für die folgenden Entwicklungen erinnern wir daran, dass wir die WDF einer \(\chi^2\)-verteilten Zufallvariable mit \(\chi^2\), die KVF einer \(\chi^2\)-verteilten Zufallvariable mit \(\Xi\) und die inverse KVF einer \(\chi^2\)-verteilten Zufallvariable mit \(\Xi^{-1}\) bezeichnen. Folgender R Code simuliert zunächst die Verteilung der \(U\)-Konfidenzintervallstatistik.
# Modellformulierung
mu = 10 # wahrer Erwartungswertparameter
sigsqr = 4 # wahrer bekannter Varianzparameter
n = 12 # Stichprobenumfang
ns = 1e4 # Anzahl Stichprobenrealisierungen
res = 1e3 # Ausgangsraumaufloesung
# analytische Definitionen und Resultate
yx = seq(3,17,len = res) # y_i Raum
ux = seq(0,30,len = res) # U Raum
p_y_i = dnorm(yx,mu,sqrt(sigsqr)) # y_i WDF
p_y_bar = dnorm(yx,mu,sqrt(sigsqr/n)) # y_bar WDF
p_u = dchisq(ux,n-1) # U WDF
# Simulation
y_i = rep(NaN,ns) # y_i Array
y_bar = rep(NaN,ns) # \bar{y} Array
S_sqr = rep(NaN,ns) # S^2 Array
UKS = rep(NaN,ns) # U-Konfidenzintervallstatistik Array
for(s in 1:ns){ # Simulationsiterationen
y = rnorm(n,mu,sqrt(sigsqr)) # Stichprobenrealisierung
y_i[s] = y[1] # Stichprobenrealisierung y_i mit i = 1
y_bar[s] = mean(y) # Stichprobenmittelrealisierung
S_sqr[s] = var(y) # Stichprobenvarianzrealisierung
UKS[s] = ((n-1)/sigsqr)*S_sqr[s] # U-Konfidenzintervallstatistikrealisierung
} 
Mithilfe der Verteilung der \(U\)-Konfidenzintervallstatistik können wir jetzt folgendes Theorem zum Konfidenzintervall für den Varianzparameter des Normalverteilungsmodells beweisen.
Theorem 32.4 (Konfidenzintervall für den Varianzparameter des Normalverteilungsmodells) Gegeben sei das Normalverteilungsmodell \[\begin{equation} y_1,...,y_n \sim N(\mu,\sigma^2) \end{equation}\] mit wahren, aber unbekannten, Parametern \(\mu\) und \(\sigma^2\), es sei \(\delta \in ]0,1[\) und es seien \[\begin{equation} u_{\delta} := \Xi^{-1}\left(\frac{1 - \delta}{2}; n -1 \right) \mbox{ und } u_{\delta}' := \Xi^{-1}\left(\frac{1 + \delta}{2};n-1 \right) \end{equation}\] mit der inversen KVF \(\Xi^{-1}\) einer \(\chi^2\)-verteilten Zufallsvariable. Dann gilt für das Intervall \[\begin{equation} \kappa(y) := \left[\frac{(n-1)S^2}{u_{\delta}'}, \frac{(n-1)S^2}{u_{\delta}}\right]. \end{equation}\] mit der Stichprobenvarianz \[\begin{equation} S^2 := \frac{1}{n-1}\sum_{i=1}^n(y_i - \bar{y})^2, \end{equation}\] dass \[\begin{equation} \mathbb{P}_{\sigma^2}(\kappa(y) \ni \sigma^2) = \delta. \end{equation}\]
Beweis. Per Definition gilt mit Definition 32.3 und Theorem 32.3, dass \[\begin{equation} \mathbb{P}_{\sigma^2}\left(u_{\delta} \le U \le u_{\delta}' \right) = \delta. \end{equation}\] Damit folgt dann aber direkt \[\begin{align} \begin{split} \delta & = \mathbb{P}_{\sigma^2}\left(u_{\delta} \le U \le u_{\delta}' \right) \\ & = \mathbb{P}_{\sigma^2}\left(u_{\delta} \le \frac{n-1}{\sigma^2}S^2 \le u_{\delta}' \right) \\ & = \mathbb{P}_{\sigma^2}\left(u_{\delta}^{-1} \ge \frac{\sigma^2}{(n-1)S^2} \ge {u_{\delta}'}^{-1} \right) \\ & = \mathbb{P}_{\sigma^2}\left(\frac{(n-1)S^2}{u_{\delta}} \ge \sigma^2 \ge \frac{(n-1)S^2}{u_{\delta}'} \right) \\ & = \mathbb{P}_{\sigma^2}\left(\frac{(n-1)S^2}{u_{\delta}'} \le \sigma^2 \le \frac{(n-1)S^2)}{u_{\delta}} \right) \\ & = \mathbb{P}_{\sigma^2}\left(\left[\frac{(n-1)S^2}{u_{\delta}'}, \frac{(n-1)S^2)}{u_{\delta}}\right] \ni \sigma^2 \right). \\ \end{split} \end{align}\]
Wie im Falle von Theorem 32.2 ist der entscheidene Schritt zur Sicherung der Überdeckungswahrscheinlichkeit \(\delta\) des wahren, aber unbekannten, Varianzparameters durch das in Theorem 32.4 definierte Konfidenzintervall die Definition von
\[\begin{equation}
u_{\delta} := \Xi^{-1}\left(\frac{1-\delta}{2}; n-1\right)
\mbox{ und }
u_{\delta}' := \Xi^{-1}\left(\frac{1 + \delta}{2};n-1 \right)
\end{equation}\] Wie im Beweis von Theorem 32.4 nachgezeichnet ist die Überdeckungswahrscheinlichkeit des Konfidenzintervalls für den wahren, aber unbekannten, Varianzparameter äquivalent zu der Tatsache, dass bei Wahl eben dieser Werte von \(u_\delta\) und \(u_{\delta}'\) die \(U\)-Konfidenzintervallstatistik eine Wahrscheinlichkeit von \(\delta\) dafür hat, einen Wert im Intervall \([u_{\delta}, u_{\delta}']\) anzunehmen. Wir visualisieren die Wahl von \(u_\delta\) und \(u_\delta'\) für Fall \(\delta := 0.95\) und \(n := 10\) in Abbildung 32.6. In diesem Fall ergibt sich \[\begin{equation}
u_{\delta} := \Xi^{-1}\left(0.025;9\right) = 2.70 \mbox{ und }
u_{\delta}' := \Xi^{-1}\left(0.975;9\right) = 19.0.
\end{equation}\] Abbildung 32.6 A zeigt diese Wahl aus Perspektive der WDF der \(U\)-Konfidenintervallstatistik. Die von \(u_\delta\) und \(u_\delta'\) eingeschlossene Wahrscheinlichkeitsmasse beträgt nach Konstruktion \(\delta\), \(U\) nimmt mit einer Wahrscheinlichkeit von \(\delta\) also einen Wert zwischen \(u_\delta\) und \(u_\delta'\) an. Abbildung 32.6 B zeigt die entsprechende Perspektive der KVF der \(U\)-Konfidenintervallstatistik. Basierend auf der Vorgabe von \(\frac{1-\delta}{2}\) und \(\frac{1+\delta}{2}\) werden anhand der inversen KVF \(\Psi^{-1}\) die entsprechenden Werte für \(u_\delta\) und \(u_\delta'\) bestimmt. Man beachte, dass in diesem Fall die Wahrscheinlichkeitsmasse recht arbiträr hinsichtlich des Modalwerts der Verteilung der \(U\)-Konfidenzintervallstatistik lokalisiert ist. Dementsprechend gibt es weitergehende Verfahren, die Überdeckungswahrscheinlichkeit einer Konfidenzintervallstatistik so zu lokalisieren, dass sie beispielsweise ein maximales Intervall in ihrem Ergebnisraum einnimmt oder eine Symmetrieeigenschaft um den Erwartungswert erfüllt, die wir hier aber nicht vertiefen wollen.
Abschließend wollen wir die Überdeckungswahrscheinlichkeit des durch Theorem 32.4 gegebenen Konfidenzintervalls mithilfe einer Simulation demonstrieren. Dazu betrachten wir zunächst die in Kapitel 32.1 gegebene erste Interpretation eines Konfidenzintervalls bei immer gleichem wahrem, aber unbekanntem, Parameter. Folgender R Code bestimmt in diesem Sinne zu jeder Stichprobenrealisierung das entsprechende Konfidenzintervall.
# Modellformulierung
set.seed(1) # random number generator seed
mu = 2 # wahrer, aber unbekannter, Erwartungswertparameter
sigsqr = 2 # wahrer, aber unbekannter, Varianzparameter
n = 12 # Stichprobenumfang
delta = 0.95 # Konfidenzbedingung
u_delta_u = qchisq((1-delta)/2, n - 1) # \Xi^2((1-\delta)/2; n - 1)
u_delta_o = qchisq((1+delta)/2, n - 1) # \Xi^2((1+\delta)/2; n - 1)
# Stichprobenrealisierungen
ns = 1e2 # Anzahl Simulationen
y_bar = rep(NaN,ns) # Stichprobenmittelarray
S2 = rep(NaN,ns) # Stichprobenvarianzarray
kappa = matrix(rep(NaN,2*ns), ncol = 2) # Konfidenzintervallarray
for(i in 1:ns){ # Simulationsiterationen
y = rnorm(n,mu,sqrt(sigsqr)) # Stichprobenrealisierung
S2[i] = var(y) # Stichprobenvarianz
kappa[i,1] = (n-1)*S2[i]/u_delta_o # untere Konfidenzintervallgrenze
kappa[i,2] = (n-1)*S2[i]/u_delta_u # obere Konfidenzintervallgrenze
}
32.3 Anwendungsbeispiel
Zum Abschluss dieses Abschnitts wollen wir die Evaluation von Konfidenzintervallen für den Erwartungswert und den Varianzparameter bei Normalverteilung nun im Kontext des Anwendungsbeispiels von Kapitel 30.3.1. Dazu werten wir zunächst einmal die unverzerrten Punktschätzer von \(\mu\) und \(\sigma^2\), also das Stichprobenmittel und die Stichprobenvarianz des Datensatzes mithilfe folgenden R Codes aus.
D = read.csv("./_data/bdi-ii-datensatz.csv") # Datensatzeinlesen
y = D$dBDI # Datenauswahl
mu_hat = mean(y) # Stichprobenmittel
sigsqr_hat = var(y) # Stichprobenvarianz
cat("mu_hat :", mu_hat,"\nsigsqr_hat :", sigsqr_hat) # Ausgabe mu_hat : 3.166667
sigsqr_hat : 13.78788Basierend auf diesen Schätzern und den vorliegenden \(n = 12\) Datenpunkten sind also \[\begin{equation} \hat{\mu} = 3.17 \mbox{ und } \hat{\sigma}^{2} = 13.8 \end{equation}\] sinnvolle Tipps für \(\mu\) und \(\sigma^2\). Um neben diesen Punktschätzern, die zwar sehr genau sind, mit einer Wahrscheinlichkeit von 0 aber den wahren, aber unbekannten Parametern, exakt entsprechen, werten wir zusätzlich die 95%-Konfidenzintervallschätzungen für \(\mu\) und \(\sigma^2\) aus. Folgender R Code bestimmt das 95%-Konfidenzintervall für den Erwartungswertparameter.
# Konfidenzintervall für den Erwartungswertparameter
delta = 0.95 # Konfidenzlevel
n = length(y) # Anzahl Datenpunkte
t_delta = qt((1+delta)/2,n-1) # \psi^-1((\delta+1)/2,n-1)
y_bar = mean(y) # Stichprobenmittel
s = sd(y) # Stichprobenstandardabweichung
mu_hat = y_bar # Erwartungswertparameterschätzer
kappa_u = y_bar - (s/sqrt(n))*t_delta # untere Konfidenzintervallgrenze
kappa_o = y_bar + (s/sqrt(n))*t_delta # obere Konfidenzintervallgrenze
cat("kappa_u:", kappa_u, "\nkappa_o:", kappa_o) # Ausgabe kappa_u: 0.8074098
kappa_o: 5.525923Das 0.95-Konfidenzintervall für den Erwartungswertparameter ist also \[\begin{equation} \kappa(y) = [0.80,5.52]. \end{equation}\] Im langfristigen Mittel überdeckt ein auf diese Weise berechnetes Konfidenzintervall den wahren, aber unbekannten, Erwartungswertparameter in 95 von 100 Fällen. In diesem Sinne liegt der wahre, aber unbekannte, Therapieeffekt also sehr sicher in einem Intervall zwischen 0.80 und 5.52 BDI-II Score Pre-Post-Differenzen.
Folgender R Code bestimmt das 95%-Konfidenzintervall für den Varianzparameter.
# Konfidenzintervall für den Varianzwertparameter
delta = 0.95 # Konfidenzlevel
n = length(y) # Anzahl Datenpunkte
u_delta_u = qchisq((1-delta)/2, n - 1) # \Xi^2((1-\delta)/2; n - 1)
u_delta_o = qchisq((1+delta)/2, n - 1) # \Xi^2((1+\delta)/2; n - 1)
s2 = var(y) # Stichprobenstandardabweichung
sigsqr_hat = s2 # Varianzparameterschätzer
kappa_u = (n-1)*s2/u_delta_o # untere Konfidenzintervallgrenze
kappa_o = (n-1)*s2/u_delta_u # obere Konfidenzintervallgrenze
cat("kappa_u:", kappa_u, "\nkappa_o:", kappa_o) # Ausgabe kappa_u: 6.919084
kappa_o: 39.74756Das 0.95-Konfidenzintervall für den Varianzparameter ist also \[\begin{equation} \kappa(y) = [6.91,39.74]. \end{equation}\] Im langfristigen Mittel überdeckt ein auf diese Weise berechnetes Konfidenzintervall den wahren, aber unbekannten, Varianzparameter in 95 von 100 Fällen. In diesem Sinne liegt die wahre, aber unbekannte, Therapieeffektstreuung also sehr sicher in einem Intervall zwischen 6.91 und 39.74 quadriertern BDI-II Score Pre-Post-Differenzen.
32.4 Literaturhinweise
Die in diesem Kapitel vorgestellten Ergebnisse gehen in ganz wesentlicher Weise auf Neyman (1937) zurück.
Casella, G., & Berger, R. (2002). Statistical Inference (2. Aufl.). Thomson Learning.
Neyman, J. (1937). Outline of a Theory of Statistical Estimation Based on the Classical Theory of Probability. Statistical Stimation.