5  Folgen, Grenzwerte, Stetigkeit

Die in diesem Kapitel behandelten Themen sind in der probabilistischen Datenwissenschaft nicht zentral, sondern bilden Grundbausteine der reellen Analysis. Durch die enge Verschränkung der modernen Wahrscheinlichkeitstheorie mit analytischen Ansätzen dienen sie jedoch dem Verständnis bestimmter Resultate der Wahrscheinlichkeitstheorie. Ein Beispiel für ein solches Resultat ist der Zentrale Grenzwertsatz. Der Zentrale Grenzwertsatz wiederrum bildet die Grundlage für die weit verbreitete Normalverteilungsannahme in der probabilistischen Datenwissenschaft. Die hier betrachteten Grundlagen erhöhen also mittelbar das Verständnis datenwissenschaftlicher Prinzipien. In aller Kürze ist der Zentrale Grenzwertsatz eine Aussage über die Grenzfunktion einer Funktionenfolge, genauer einer Folge von Zufallsvariablen. Das Wissen um das Wesen von Folgen, Funktionenfolgen und ihren Grenzwerten erlaubt also einen informierten Zugang zum Studium des Zentralen Grenwertsatzes. Weiterhin ermöglichen die indiesem Kapitel behandelten Themen zumindest einen ersten Einstieg in das Verständnis der Stetigkeit und Glattheit von Funktionen, die beispielsweise in der nichtlinearen Optimierung zu Bestimmung von Parameterschätzern probabilistischer Modelle wichtige Grundkonzepte bilden.

5.1 Folgen

Wir beginnen mit der Definition des Begriffs der reellen Folge.

Definition 5.1 (Reelle Folge) Eine ist eine Funktion der Form \[\begin{equation} f:\mathbb{N} \to \mathbb{R}, n \mapsto f(n). \end{equation}\] Die Funktionswerte \(f(n)\) einer reellen Folge werden üblicherweise mit \(x_n\) bezeichnet und genannt. Übliche Schreibweisen für Folgen sind \[\begin{equation} (x_1,x_2,...) \mbox{ oder } (x_n)_{n=1}^\infty \mbox{ oder } (x_n)_{n\in \mathbb{N}} \mbox{ oder } (x_n). \end{equation}\]

Man beachte, dass weil es unendlich viele natürliche Zahlen gibt, eine reelle Folge immer unendlich viele Folgenglieder hat. Dies sollte man sich insbesondere bei der Schreibweise \((x_1,x_2,...)\) bewusst machen. Wir wollen zwei Standardbeispiele für reelle Folgen betrachten.

Beispiele für reelle Folgen

  1. Reelle Folgen der Form \[\begin{equation} f:\mathbb{N} \to \mathbb{R}, n \mapsto f(n) := \left(\frac{1}{n}\right)^{\frac{p}{q}} \mbox{ mit } p,q\in \mathbb{N} \end{equation}\] nennt man harmonische Folgen. Für \(p := q := 1\) hat eine harmonische Folge die Folgengliederform \[\begin{equation} \left(\frac{1}{1}, \frac{1}{2}, \frac{1}{3}, ...\right). \end{equation}\]

  2. Reelle Folgen der Form \[\begin{equation} f:\mathbb{N} \to \mathbb{R}, n \mapsto f(n) := q^n \mbox{ mit } q \in ]-1,1[ \end{equation}\] nennt man geometrische Folgen. Für \(q := \frac{1}{2}\) hat eine geometrische Folge die Folgengliederform \[\begin{align} \begin{split} \left(\left(\frac{1}{2}\right)^1,\left(\frac{1}{2}\right)^2,\left(\frac{1}{2}\right)^3, ...\right) & = \left(\left(\frac{1}{2}\right)^1,\left(\frac{1}{2}\right)^2,\left(\frac{1}{2}\right)^3, ...\right)\\ & = \left(\frac{1^1}{2^1},\frac{1^2}{2^2},\frac{1^3}{2^3} ...\right) \\ & = \left(\frac{1}{2},\frac{1}{4},\frac{1}{8} ...\right) \end{split} \end{align}\]

Neben den reellen Folgen, also Folgen reeller Zahlen, kann man auch Folgen anderer mathematischer Objekte betrachten. Eine wichtige Folgenart sind die Funktionenfolgen.

Definition 5.2 (Funktionenfolge) Es sei \(\phi\) eine Menge univariater reellwertiger Funktionen mit Definitionsmenge \(D \subseteq \mathbb{R}\). Dann ist eine Funktionenfolge eine Funktion der Form \[\begin{equation} F: \mathbb{N} \to \phi, n \mapsto F(n). \end{equation}\] Die Funktionswerte \(F(n)\) einer Funktionenfolge werden üblicherweise mit \(f_n\) bezeichnet und genannt. Übliche Schreibweisen für Funktionenfolgen sind \[\begin{equation} (f_1,f_2,...) \mbox{ oder } (f_n)_{n=1}^\infty \mbox{ oder } (f_n)_{n\in \mathbb{N}} \mbox{ oder } (f_n). \end{equation}\]

Die Definition einer Funktionenfolge ist offenbar analog zur Definition einer reellen Folge. Der Unterschied zwischen einer reellen Folge und einer Funktionenfolge ist, dass die Folgenglieder einer reellen Folge reelle Zahlen, die Folgenglieder einer Funktionenfolge dagegen univariate reellwertige Funktionen sind. Auch hier wollen wir zwei Standardbeispiele diskutieren.

Beispiele für Funktionenfolgen

  1. Wir betrachten die Menge \(\phi\) der univariaten reellwertigen Funktionen der Form \[\begin{equation} \phi := \{f_n|f_n : [0,1] \to \mathbb{R}, x \mapsto f_n(x) := x^n \mbox{ für } n \in \mathbb{N}\} \end{equation}\] Dann definiert \[\begin{equation} F : \mathbb{N} \to \phi, n\mapsto F(n) := f_n \end{equation}\] eine Funktionenfolge. Für die Funktionswerte der Folgenglieder von \(F\) gilt \[\begin{equation} f_1(x) := x^1, f_2(x) := x^2, f_3(x) := x^3, ... \end{equation}\]
  2. Wir betrachten die Menge \(\phi\) der univariaten reellwertigen Funktionen der Form \[\begin{equation} \phi := \{f_n|f_n : [-a,a] \to \mathbb{R}, x \mapsto f_n(x) := \sum_{k=0}^n \frac{x^k}{k!} \mbox{ für } n \in \mathbb{N}\} \end{equation}\] Dann definiert \[\begin{equation} F : \mathbb{N} \to \phi, n\mapsto F(n) := f_n \end{equation}\] eine Funktionenfolge. Für die Funktionswerte der Folgenglieder von \(F\) gilt \[\begin{equation} f_1(x) := \sum_{k=0}^1 \frac{x^k}{k!}, f_2(x) := \sum_{k=0}^2 \frac{x^k}{k!}, f_3(x) := \sum_{k=0}^3 \frac{x^k}{k!}, ... \end{equation}\]

5.2 Grenzwerte

Wenn man die Folgenglieder einer Folge betrachtet, kann man sich fragen, welche Werte eine Folge wohl annimmt, wenn der Folgenindex \(n\) sehr groß wird, also gegen unendlich strebt. Wenn in diesem Fall die Folgenglieder sehr ähnliche Werte annehmen (und nicht etwa auch unendlich groß werden), so ist man auf den Begriff des Grenzwerts für reelle Folgen bzw. der Grenzfunktion für Funktionenfolgen geführt.

Definition 5.3 (Grenzwert einer reellen Folge) \(x \in \mathbb{R}\) heißt Grenzwert einer reellen Folge \((x_n)_{n=1}^\infty\), wenn es zu jedem \(\epsilon>0\) ein \(m \in \mathbb{N}\) gibt, so dass \[\begin{equation} |x_n - x| < \epsilon \mbox{ für alle } n \ge m. \end{equation}\] Eine Folge, die einen Grenzwert besitzt, wird genannt, eine Folge die keinen Grenzwert besitzt, wird genannt. Dafür, dass \(x \in \mathbb{R}\) Grenzwert der Folge \((x_n)_{n=1}^\infty\) ist, schreibt man auch \[\begin{equation} \lim_{n \to \infty} x_n = x \mbox{ oder } x_n \to x \mbox{ für } n \to \infty \mbox{ oder } x_n\xrightarrow[]{n \to \infty} x. \end{equation}\]

Nach Definition 5.3 kann der Grenzwert einer Folge kann existieren, muss es aber nicht. So hat zum Beispiel die Folge \[\begin{equation} f : \mathbb{N} \to \mathbb{R}, n \mapsto f(n) := n \end{equation}\] keinen Grenzwert, da hier sowohl \(n\) als auch \(f(n)\) unendlich groß werden. Für eine konvergent Folge, also eine Folge deren Grenzwert existiert, gilt nach Definition 5.3, dass sich für ein beliebig kleines, aber positives, \(\epsilon\) ein \(m \in \mathbb{N}\) angeben lässt, sodass alle Folgenglieder \(x_n\) mit \(n \ge m\) der Abstand in positiver oder negativer Richtung vom Grenzwert kleiner als \(\epsilon\) ist. Die Folgenglieder mit \(n\ge m\) liegen also beliebig nah am Grenzwert \(x\). Oft mag es so sein, dass für ein kleineres \(\epsilon\) ein größeres \(m\) erforderlich ist.

Beispiele

Die oben betrachteten Beispiele für reelle Folgen dagegen haben Grenzwerte.

  1. Für die verallgemeinerten harmonischen Folgen gilt mit \(p,q \in \mathbb{N}\) \[ \lim_{n\to \infty} \left(\frac{1}{n}\right)^{\frac{p}{q}} = 0. \tag{5.1}\]

  2. Für die geometrischen Folgen gilt mit \(q \in ]-1,1[\) \[ \lim_{n\to \infty} q^n = 0. \tag{5.2}\]

Man nennt die harmonischen und geometrischen Folgen entsprechend auch Nullfolgen. Für allgemeine Beweise von Gleichung 5.1 und Gleichung 5.2 verweisen wir auf die weiterführende Literatur. Tatsächlich sind diese Beweise nicht trivial und rühren an den Grundannahmen über das Wesen der reellen Zahlen. Wir visualisieren die ersten zehn Folgenglieder sowie die Grenzwerte der harmonischen Folge für \(p := q := 1\) und der geometrischen Folge für \(q := 1/2\) in Abbildung 5.1. Die durch Punkte dargestellten Folgenglieder liegen für höheres \(n\) offenbar zunehmend näher an dem durch eine graue Linie dargestellten Grenzwert.

Abbildung 5.1: Beispiele für Grenzwerte reeller Folgen.

Für den Spezialfall der harmonischen Folge mit \(p = q = 1\) wollen wir die Argumentation für den Grenzwert \[ \lim_{n\to\infty} \frac{1}{n} = 0 \tag{5.3}\] kurz darstellen. Nach Definition 5.3 gilt Gleichung 5.3 genau dann, wenn sich für ein beliebiges \(\epsilon > 0\) (also insbesondere ein beliebig kleines) ein \(m \in \mathbb{N}\) angeben lässt, so dass für alle \(n \ge m\) gilt, dass \[ \left\lvert \frac{1}{n} - 0 \right\rvert < \epsilon \Leftrightarrow \frac{1}{n} < \epsilon. \] Setzt man also mit der Aufrundungsfunktion \(\lceil \cdot \rceil\) für ein beliebiges \(\epsilon > 0\) \[ m := \left\lceil \frac{1}{\epsilon} \right\rceil + 1, \] also z.B. bei \(\epsilon := 0.01\) entsprechend \(m := \left\lceil \frac{1}{0.01} \right\rceil + 1 = 101\), so gilt für alle \(n \ge m\), dass \(\frac{1}{n} < \epsilon\). Da \(\epsilon > 0\) beliebig gewählt wurde, ist diese Konstruktion für alle \(\epsilon > 0\) möglich.

Für Funktionenfolgen ist eine Möglichkeit der Erweiterung der Begriffe der Konvergenz und des Grenzwertes folgende.

Definition 5.4 (Punktweise Konvergenz und Grenzfunktion einer Funktionenfolge) \(F = (f_n)_{n\in \mathbb{N}}\) sei eine Funktionenfolge von univariaten reellwertigen Funktionen mit Definitionsbereich \(D\). \(F\) heißt , wenn die reelle Folge \(\left(f_n(x)\right)_{n\in \mathbb{N}}\) für jedes \(x \in D\) eine konvergente Folge ist, also einen Grenzwert besitzt. Die Funktion, die jedem \(x \in D\) diesen Grenzwert von \(\left(f_n(x)\right)_{n\in \mathbb{N}}\) zuordnet, heißt dann die und hat die Form \[\begin{equation} f : D \to \mathbb{R}, x \mapsto f(x) := \lim_{n\to \infty}f_n(x). \end{equation}\]

Man beachte, dass die Grenzwerte von konvergenten reellen Folgen reelle Zahlen sind, die Grenzfunktionen von punktweise konvergenten Funktionenfolgen dagegen sind Funktionen. Neben der punktweisen Konvergenz von Funktionenfolgen gibt es noch den mächtigeren Begriff der gleichmäßigen Konvergenz von Funktionenfolgen, für den wir aber auf die weiterführende Literatur verweisen. Als Beispiel betrachten wir die Grenzfunktionen der oben diskutierten Funktionenfolgen, wobei wir für Beweise auf die weiterführende Literatur verweisen.

Beispiele

  1. Wir betrachten die Funktionenfolge \[\begin{equation} F:\mathbb{N} \to \phi, n\mapsto F(n) \end{equation}\] mit \[\begin{equation} \phi := \{f_n|f_n : [0,1] \to \mathbb{R}, x \mapsto f_n(x) := x^n \mbox{ für } n \in \mathbb{N}\} \end{equation}\] Dann ist \(F\) punktweise konvergent mit Grenzfunktion \[\begin{equation} f : [0,1] \to \mathbb{R}, x \mapsto f(x) := \begin{cases} 0, & \mbox{ für } x \in [0,1[ \\ 1, & \mbox{ für } x = 1 \\ \end{cases} \end{equation}\] da \(f_n(x) := x^n\) für \(x \in [0,1[\) eine geometrische Folge und damit eine Nullfolge ist und \(f_n(x) := x^n\) für \(x = 1\) eine konstante Folge ist, für die alle Folgenglieder den Abstand \(0\) von \(1\) haben. Die Funktionenfolge \(F\) konvergiert also gegen eine Funktion, die auf dem gesamten Intervall \([0,1]\) gleich null ist, außer im Punkt \(1\). Diese Funktion hat offenbar einen Sprung.

  2. Wir betrachten die Funktionenfolge \[\begin{equation} F:\mathbb{N} \to \phi, n\mapsto F(n) \end{equation}\] mit \[\begin{equation} \phi := \{f_n|f_n : [-a,a] \to \mathbb{R}, x \mapsto f_n(x) := \sum_{k=0}^n \frac{x^k}{k!} \mbox{ für } n \in \mathbb{N}\} \end{equation}\] Dann ist \(F\) punktweise konvergent mit Grenzfunktion \[\begin{equation} f : [-a,a] \to \mathbb{R}, x \mapsto f(x) := \sum_{k=0}^\infty \frac{x^k}{k!} =: \exp(x) \end{equation}\] Die Funktionenfolge \(F\) konvergiert also gegen die Exponentialfunktion auf \([-a,a]\). Umgekehrt betrachtet ist die Exponentialfunktion gerade durch \[\begin{equation} \exp(x) := \sum_{k=0}^\infty \frac{x^k}{k!} \end{equation}\] definiert.

Abbildung 5.2: Beispiele für Grenzwerte von Funktionenfolgen

5.3 Stetigkeit

In diesem Abschnitt versuchen wir uns dem Begriff der Stetigkeit einer Funktion zu nähern. Intuitiv ist eine Funktion stetig, wenn sie keine Sprünge hat oder äquivalent, wenn kleine Änderungen in ihren Argumenten stets zu nur kleinen Änderungen in ihren Funktionswerten (und damit eben keinen Sprüngen) führen. Zur Definition der Stetigkeit benötigen wir zunächst den Begriff des Grenzwertes einer Funktion.

Definition 5.5 (Grenzwert einer Funktion)  

Für \(D\subseteq\mathbb{R}\) und \(Z\subseteq\mathbb{R}\) sei \(f : D \to Z, x \mapsto f(x)\) eine Funktion und es seien \(a,b \in \mathbb{R}\). \(b\) heißt , wenn

Wenn \(b\) Grenzwert der Funktion \(f\) für \(x\) gegen \(a\) ist, so schreibt man auch \(\lim_{x \to a} f(x) = b\).

In Abbildung 5.3 visualisieren wir den Grenzwert der Exponentialfunktion in \(a = 1\) durch Darstellung von Folgenglieder \(x_n \to 1\) als Punkte parallel zur x-Achse und den entsprechenden Folgengliedern \(f(x_n)\) auf dem Funktionengraf. Offenbar gilt \(\lim_{x\to 1}\exp(x) = e \approx 2.71\).

Abbildung 5.3: Beispiel für einen Grenzwert einer Funktion. Die Folge der \(x\)-Werte ist hier definiert als d \(x_n := 1 - (1/2)^n\) für \(i = 1,2,...\)

Wir können nun den Begriff der Stetigkeit einer Funktion definieren.

Definition 5.6 (Stetigkeit einer Funktion) Eine Funktion \(f : D \to Z\) mit \(D \subseteq \mathbb{R}, Z \subseteq \mathbb{R}\) heißt , wenn \[\begin{equation} \lim_{x\to a} f(x) = f(a). \end{equation}\] Ist \(f\) in jedem \(x \in D\) stetig, so heißt .

Man beachte, dass für eine in \(a\) stetige Funktion folgt, dass \[\begin{equation} \lim_{x \to a} f(x) = f\left(\lim_{x\to a} x\right) \end{equation}\] Bei stetigen Funktion können also Grenzwertbildung und Auswertung der Funktion vertauscht werden.