stochi1.tex

\documentclass{cheat-sheet}

\pdfinfo{
  /Title (Zusammenfassung Stochastik 1)
  /Author (Tim Baumann)
}

\usepackage{bbm} % Für 1 mit Doppelstrich (Indikatorfunktion)
\usepackage{stmaryrd} % Für \vartimes

\newcommand{\Alg}{\mathfrak{A}} % (Mengen-)Algebra
\newcommand{\Ring}{\mathfrak{R}} % (Mengen-)Ring
\newcommand{\LebAlg}{\mathfrak{L}} % Lebesgue-Borel-Mengen
\renewcommand{\P}{\mathbb{P}} % Wahrscheinlichkeitsmaß
\newcommand{\E}{\mathbb{E}} % Elementare Funktion, Erwartungswert
\newcommand{\Bor}{\mathfrak{B}} % Borel
\newcommand{\Leb}{\mathcal{L}} % Lebesgue
\newcommand{\ind}{\mathbbm{1}} % Indikatorfunktion
\renewcommand{\ER}{\overline{\R^1}} % Erweiterte reelle Zahlen, Heine-Notation (mit ^1)

% TODO: Groß- oder Kleinschreibung?
\DeclareMathOperator{\Var}{Var} % Varianz
\DeclareMathOperator{\var}{Var} % Varianz
\DeclareMathOperator{\Cov}{Cov} % Kovarianz
\DeclareMathOperator{\cov}{Cov} % Kovarianz
\DeclareMathOperator{\Cor}{Cor} % Korrelation
\DeclareMathOperator{\cor}{Cor} % Korrelation

% Symmetrische Differenz
\DeclareMathOperator{\symmdiff}{\triangle}

% Kleinere \bigvee und \bigwedge
\let\myBigvee\bigvee
\DeclareMathOperator*{\textbigvee}{{\textstyle \myBigvee}}
\renewcommand{\bigvee}{\textbigvee\limits}
\let\myBigwedge\bigwedge
\DeclareMathOperator*{\textbigwedge}{{\textstyle \myBigwedge}}
\renewcommand{\bigwedge}{\textbigwedge\limits}

\DeclareMathOperator*{\esssup}{ess\,sup} % Essentielles Supremum
\newcommand{\fue}{\overset{\text{f.ü.}}} % fast überall

\newcommand{\IntO}[2]{\Int{\Omega}{}{#1}{#2}} % Integral über \Omega
\newcommand{\IntOmu}[1]{\Int{\Omega}{}{#1}{\mu}} % Integral über \Omega bzgl. \mu

\usepackage{relsize}
\let\myBinom\binom
\renewcommand{\binom}[2]{\mathsmaller{\myBinom{#1}{#2}}}

\begin{document}

% TODO: Approximationssatz für Maße?

% TODO: Verteilungen:
% * Bernoulli
% * geometrische Verteilung
% * Pascal-Verteilung

\maketitle{Zusammenfassung Stochastik \rom{1}}

% Kapitel 1
\section{Der abstrakte Maß- und Wkts-Begriff}

% Kapitel 1.1. Zufällige Ereignisse, Ereignisalgebra

\iffalse
\begin{defn}
  Ein \emph{zufälliger Versuch} ist ein Experiment,
  \begin{itemize}
    \item welches unter einem festen Bedingungskomplex beliebig oft wiederholbar ist und
    \item dessen Ausgänge wohldefiniert und bei jeder Wiederholung ungewiss sind.
  \end{itemize}
\end{defn}

\begin{defn}
  Ein zufälliges Ereignis ist ein Ergebnis eines zufälligen Experiments.
\end{defn}
\fi

% Ausgelassen: Beispiele: * Werfen eines Würfels, * Werfen einer Münze, * Lebensdauer eines Menschen

\begin{defn}
  Eine \emph{Ereignisalgebra} oder \emph{Boolesche Algebra} ist eine Menge $\Alg$ mit zweistelligen Verknüpfungen $\wedge$ (\glqq und\grqq) und $\vee$ (\glqq oder\grqq), einer einstelligen Verknüpfung $\overline{\,\cdot\,}$ (Komplement) und ausgezeichneten Elementen $U \in \Alg$ (unmögliches Ereignis) und $S \in \Alg$ (sicheres Ereignis), sodass für alle $A, B, C \in \Alg$ gilt:

  {\scriptsize
  \begin{itemize}%\begin{enumerate}[label=\roman*.,leftmargin=2em]
    \miniitem{0.25\linewidth}{$A \wedge A = A$}
    \miniitem{0.29\linewidth}{$A \wedge B = B \wedge A$}
    \miniitem{0.29\linewidth}{$A \wedge S = A$}
    \miniitem{0.25\linewidth}{$A \wedge U = U$}
    \miniitem{0.29\linewidth}{$A \wedge \overline{A} = U$}
    \miniitem{0.40\linewidth}{$A \wedge (B \wedge C) = (A \wedge B) \wedge C$}
    \miniitem{0.25\linewidth}{$A \vee A = A$}
    \miniitem{0.29\linewidth}{$A \vee B = B \vee A$}
    \miniitem{0.29\linewidth}{$A \vee S = S$}
    \miniitem{0.25\linewidth}{$A \vee U = A$}
    \miniitem{0.29\linewidth}{$A \vee \overline{A} = S$}
    \miniitem{0.40\linewidth}{$A \vee (B \vee C) = (A \vee B) \vee C$}
    \miniitem{0.98\linewidth}{$A \wedge (B \vee C) = (A \wedge B) \vee (A \wedge C)$}
  \end{itemize}}
\end{defn}

\begin{defn}
  Sei $\Alg$ eine Ereignisalgebra und $A, B$ Ereignisse.
  \begin{itemize}
    \item Durch $A \leq B \coloniff A \wedge B = B$ (gesprochen $A$ \emph{impliziert} $B$) ist auf $\Alg$ eine Partialordnung definiert.
    \item $A$ und $B$ heißen \emph{äquivalent}, falls $A \leq B$ und $B \leq A$.
    \item $A$ und $B$ heißen \emph{unvereinbar}, falls $A \wedge B = U$.
  \end{itemize}
\end{defn}

\begin{kor}
  In einer Ereignisalgebra $\Alg$ gilt mit $A, B \in \Alg$:
  \begin{itemize}
    \miniitem{0.3\linewidth}{$\overline{\overline{A}} = A$}
    \miniitem{0.68\linewidth}{$A \le B \iff \overline{B} \le \overline{A}$ \pright{Kontraposition}}
  \end{itemize}
  % Liste neu begonnen für mehr Abstand
  \vspace{-2pt} % aber etwas zu viel
  \begin{itemize}
    \miniitem{0.3\linewidth}{$\overline{A \vee B} = \overline{A} \wedge \overline{B}$}
    \miniitem{0.68\linewidth}{$\overline{A \wedge B} = \overline{A} \vee \overline{B}$ \pright{De Morgansche Regeln}}
  \end{itemize}
\end{kor}

\begin{kor}
  Durch Induktion folgt aus den De Morganschen Regeln:
  \[
    \overline{\left( \bigvee_{i=1}^n A_i \right)} = \bigwedge_{i=1}^n \overline{A_i}
    \quad \text{und} \quad
    \overline{\left( \bigwedge_{i=1}^n A_i \right)} = \bigvee_{i=1}^n \overline{A_i}
    \quad \text{für } A_1, ..., A_n \in \Alg.
  \]
\end{kor}

% Ausgelassen: De Morgan für unendliche Mengen

\begin{defn}
  Eine \emph{Algebra} (Mengenalgebra) über $\Omega$ ist ein System von Teilmengen $\Alg \subset \mathcal{P}(\Omega)$ mit $\Omega \in \Alg$, das unter endl. Vereinigungen und Komplementen stabil ist, \dh{} für alle $A, B \in \Alg$ gilt:
  \begin{itemize}
    \begin{multicols}{3}
      \item $\Omega \in \Alg$
      \item $A \cup B \in \Alg$
      \item $A^c \coloneqq \Omega \setminus A \in \Alg$
    \end{multicols}
  \end{itemize}
\end{defn}

\begin{bem}
  Aus den De Morganschen Regeln folgt, dass Mengenalgebren auch unter endlichen Schnitten stabil sind.
\end{bem}

\begin{satz}[Isomorphiesatz von Stone]
  Zu jeder Ereignisalgebra $\Alg$ gibt es eine Menge $\Omega$, sodass $\Alg$ isomorph zu einer Mengenalgebra über $\Omega$ ist.
\end{satz}
% Ausgelassen: Präzisierung

\begin{nota}
  $A \symmdiff B \coloneqq (A \setminus B) \cup (B \setminus A)$ heißt \emph{symm. Differenz}.
\end{nota}

\begin{defn}
  Eine \emph{$\sigma$-Algebra} über $\Omega$ ist eine Algebra $\Alg \subset \mathcal{P}(\Omega)$ über $\Omega$, die auch unter abzählbaren Vereinigungen stabil ist, \dh{}
  \[ \bigcup_{n = 0}^{\infty} A_n \in \Alg \quad \text{für alle Folgen $(A_n)_{n \in \N}$ in $\Alg$}. \]
\end{defn}

% Ausgelassen: Bemerkung $\emptyset \in \Alg$

\begin{bem}
  Jede $\sigma$-Algebra ist auch unter abzählb. Schnitten stabil.
\end{bem}


\begin{defn}
  Sei $(A_n)_{n \in \N}$ eine Folge in einer $\sigma$-Algebra $\Alg$. Setze
  \[
    \limsup_{n \to \infty} A_n \coloneqq \bigcap_{n = 1}^{\infty} \bigcup_{m = n}^{\infty} A_n \in \Alg, \quad
    \liminf_{n \to \infty} A_n \coloneqq \bigcup_{n = 1}^{\infty} \bigcap_{m = n}^{\infty} A_n \in \Alg.
  \]
\end{defn}

\begin{bem}
  In einer $\sigma$-Algebra, in der die Mengen mögliche Ereignisse beschreiben, ist der Limes Superior das Ereignis, das eintritt, wenn unendlich viele Ereignisse der Folge $A_n$ eintreten. Der Limes Infinum tritt genau dann ein, wenn alle bis auf endlich viele Ereignisse der Folge $A_n$ eintreten.
\end{bem}

\begin{defn}
  Eine Folge $(A_n)_{n \in \N}$ in einer $\sigma$-Algebra $\Alg$ \emph{konvergiert} gegen $A \in \Alg$, notiert $\lim_{\mathclap{n \to \infty}} A_n = A$, falls $A = \liminf_{n \to \infty} A_n = \limsup_{n \to \infty} A_n$.
\end{defn}

% TODO: Definition isoton / antiton?
\begin{satz}
  Für isotone / antitone Folgen $(A_n)_{n \in \N}$ in $\Alg$ gilt:
  \[
    \lim_{\mathclap{n \to \infty}} A_n = \bigcup_{n=1}^\infty A_n
    \quad \big/ \quad
    \lim_{\mathclap{n \to \infty}} A_n = \bigcap_{n=1}^\infty A_n
  \]
\end{satz}

\begin{defn}
  Ein \emph{Ring} (Mengenring) über $\Omega$ ist ein System von Teilmengen $\Ring \subset \mathcal{P}(\Omega)$ mit $\emptyset \in \Ring$, das unter endlichen Vereinigungen und Differenzen stabil ist, \dh{} für alle $A, B \in \Ring$ gilt:
  \begin{itemize}
    \begin{multicols}{3}
      \item $\emptyset \in \Ring$
      \item $A \cup B \in \Ring$
      \item $A \setminus B \in \Ring$
    \end{multicols}
  \end{itemize}
\end{defn}

\begin{bem}
  Ein Ring ist auch unter Schnitten stabil, da
  \[ A \cap B = (A \cup B) \setminus (A \symmdiff B). \]
\end{bem}

\begin{defn}
  Ein \emph{$\sigma$-Ring} über $\Omega$ ist ein Ring $\Ring \subset \mathcal{P}(\Omega)$ über $\Omega$, der auch unter abzählbaren Vereinigungen stabil ist, \dh{}
  \[ \bigcup_{n = 0}^{\infty} A_n \in \Alg \quad \text{für alle Folgen $(A_n)_{n \in \N}$ in $\Alg$}. \]
\end{defn}

\begin{bem}
  Jeder $\sigma$-Ring ist auch unter abzählb. Schnitten stabil.
\end{bem}

\begin{satz}
  $\Alg$ ist ($\sigma$-)\,Algebra $\iff$ $\Alg$ ist ($\sigma$-)\,Ring mit $\Omega \in \Alg$.
\end{satz}

\begin{satz}
  Sei $(\Alg_i)_{i \in I}$ Familie von ($\sigma$-)\,Ringen / ($\sigma$-)\,Algebren über $\Omega$. Dann ist der Schnitt $\bigcap_{i \in I} \Alg_i$ ein ($\sigma$-)\,Ring / eine ($\sigma$-)\,Algebra über $\Omega$.
\end{satz}

\begin{defn}
  Sei $E \subset \mathcal{P}(\Omega)$. Setze
  \begin{align*}
    \mathcal{R}(E) &\coloneqq \Set{ \Ring \subset \mathcal{P}(\Omega) }{ E \subset \Ring, \Ring \text{ $\sigma$-Ring} } \text{ und} \\
    \mathcal{A}(E) &\coloneqq \Set{ \Alg \subset \mathcal{P}(\Omega) }{ E \subset \Alg, \Alg \text{ $\sigma$-Algebra} }.
  \end{align*}
  Dann heißen $\quad\rho(E) \coloneqq \enspace \bigcap_{\mathclap{\Ring \in \mathcal{R}(E)}} \enspace \Ring, \quad \sigma(E) \coloneqq \enspace \bigcap_{\mathclap{\Alg  \in \mathcal{A}(E)}} \enspace \Alg$\\
  von $E$ \emph{erzeugter Ring} bzw. von $E$ \emph{erzeugte $\sigma$-Algebra}.
\end{defn}

\begin{defn}
  Die \emph{Borel-Mengen} in $\R^1$ sind $\Bor(\R^1) \coloneqq \sigma(\mathcal{E})$, wobei wir $\mathcal{E}$ aus folgenden äquivalenten Optionen wählen dürfen:
  \begin{itemize}
    \miniitem{0.26\linewidth}{$\Set{ \ocinterval{a}{b} }{ a \leq b }$}
    \miniitem{0.26\linewidth}{$\Set{ \ointerval{a}{b} }{ a \leq b }$}
    \miniitem{0.45\linewidth}{$\Set{ G \subset \R^1 }{\text{$G$ abgeschl.}}$}
    \miniitem{0.26\linewidth}{$\Set{ \cinterval{a}{b} }{ a \leq b }$}
    \miniitem{0.26\linewidth}{$\Set{ \cointerval{a}{b} }{ a \leq b }$}
    \miniitem{0.45\linewidth}{$\Set{ F \subset \R^1 }{\text{$F$ offen}}$}
  \end{itemize}
\end{defn}

% Definition wird später wiederholt!
\iffalse
\begin{defn}
  Allgemeiner ist für $d \in \N$ die $\sigma$-Algebra der Borel-Mengen in $\R^d$ gleich $\Bor(\R^d) \coloneqq \sigma(\mathcal{E})$, wobei
  \[ \mathcal{E} \coloneqq \Set{ \vartimes_{i=1}^d \ocinterval{a_i}{b_i} }{ \fa{i \in \{1, ..., d\}} a_i \leq b_i }. \]
  % Ausgelassen: Äquivalent offene Mengen oder geschlossene Mengen
\end{defn}
\fi

% Kapitel 1.3. Mengenfunktionen (Inhalt, Prämaß, Maß)

\begin{nota}
  $\ER \coloneqq \R \cup \{-\infty, +\infty\} = \cinterval{-\infty}{\infty}$
\end{nota}

\begin{defn}
  Funktionen mit Wertebereich $\ER$ heißen \emph{numerisch}.
\end{defn}

\begin{defn}
  Sei $\Ring$ ein Ring über $\Omega$. Eine Fkt. $\mu : \Ring \to \cinterval{0}{\infty}$ heißt
  \begin{itemize}
    \item \emph{Inhalt} auf $\Ring$, falls $\mu(\emptyset) = 0$ und $\mu(A \cup B) = \mu(A) + \mu(B)$ für alle $A, B \in \Ring$ mit $A \cap B = \emptyset$ gilt.
    \item \emph{Prämaß} auf $\Ring$, wenn $\mu$ ein Inhalt ist und für alle Folgen $(A_n)_{n \in \N}$ in $\Ring$ mit $A_i \cap A_j = \emptyset$ für $i \not= j$ und $\bigcup_{n=1}^\infty A_n \in \Ring$ gilt:
    \begin{align*}
      \mu \left( \bigcup_{n=1}^\infty A_n \right) &= \sum_{n=1}^\infty \mu(A_n) & \text{($\sigma$-Additivität)}
    \end{align*}
    \item \emph{Maß}, wenn $\mu$ Prämaß und $\Ring$ in Wahrheit sogar eine $\sigma$-Algebra ist. Dann ist die letzte Vorraussetzung in Punkt 2 immer erfüllt.
  \end{itemize}
\end{defn}

\begin{defn}
  Ein Inhalt/Maß $\mu$ auf einem Ring / einer $\sigma$-Algebra $\Alg$
  \begin{itemize}
    \item heißt \emph{endlich}, falls $\mu(\Omega) < \infty$,
    \item heißt \emph{$\sigma$-endlich}, falls eine Folge $A_n$ in $\Alg$ existiert, sodass
    \[ \Omega = \bigcup_{n \in \N} A_n \quad \text{und} \quad \fa{i \in \N} \mu(A_i) < \infty. \]
  \end{itemize}
\end{defn}

\begin{nota}
  Sei $\Omega$ eine Menge.
  Die \emph{Indikatorfktn} von $A \subset \Omega$ ist
  \[ \chi_1 = \ind_A : \Omega \to \R, \quad \omega \mapsto \abs{\Set{ \star }{ \omega \in A }} =
  \begin{cases}
    1, & \text{falls } \omega \in A \\
    0, & \text{falls } \omega \not\in A.
  \end{cases} \]
\end{nota}

\begin{bsp}
  Sei $\Ring$ ein Ring über $\Omega$ und $\omega \in \Omega$. Die Abbildung
  \[ \delta_{\omega} : \Ring \to \cinterval{0}{\infty}, \quad A \mapsto \ind_A(\omega) \]
  ist dann ein Prämaß auf $\Ring$, genannt \emph{Dirac-(Prä)-Maß}.
\end{bsp}

\begin{lem}
  Sei $\mu$ ein Inhalt auf einem Ring $\Ring$. Seien $A, B \in \Ring$ und $(A_n)_{n \in \N}$ Folge in $\Ring$ mit $\mu(A) < \infty$ und $\fa{n \in \N} \mu(A_n) < \infty$. Dann:
  \begin{itemize}
    \item $\mu(A \cup B) = \mu(A) + \mu(B) - \mu(A \cap B)$
    \item $A \subset B \implies \mu(A) \leq \mu(B)$ \pright{Isotonie}
    \item $A \subset B \implies \mu(B \setminus A) = \mu(B) - \mu(A)$
    \item $\mu(\bigcup_{i=1}^n A_i) \leq \sum_{i=1}^n \mu(A_i)$ \pright{Subadditivität}
  \end{itemize}
\end{lem}

\begin{satz}
  Sei $\Ring$ ein Ring und $\mu$ ein Inhalt. Es gelten für $n \in \N$ und $A_1, ..., A_n \in \Ring$ die Ein- und Ausschlussformeln
  \begin{align*}
    \mu(A_1 \cup ... \cup A_n) &= \sum_{k=1}^n (-1)^{k-1} \quad \sum_{\mathclap{1 \leq i_1 < ... < i_k \leq n}} \quad \mu(A_{i_1} \cap ... \cap A_{i_k}), \\
    \mu(A_1 \cap ... \cap A_n) &= \sum_{k=1}^n (-1)^{k-1} \quad \sum_{\mathclap{1 \leq i_1 < ... < i_k \leq n}} \quad \mu(A_{i_1} \cup ... \cup A_{i_k}).
  \end{align*}
\end{satz}

\begin{satz}
  Sei $\mu$ ein Inhalt auf $\Ring \subset \mathcal{P}(\Omega)$. Wir betrachten die Aussagen:

  \begin{enumerate}[label=(\roman*),leftmargin=2em]
    \item $\mu$ ist ein Prämaß auf $\Ring$.
    \item Stetigkeit von unten: Für jede monoton wachsende Folge $(A_n)_{n \in \N}$ in $\Ring$ mit $A \coloneqq \lim_{n \to \infty} A_n = \bigcup_{n = 0}^\infty A_n \in \Ring$ gilt $\lim_{n \to \infty} \mu(A_n) = \mu(A)$.
    \item Stetigkeit von oben: Für jede monoton fallende Folge $(A_n)_{n \in \N}$ in $\Ring$ mit $\mu(A_0) < \infty$ und $A \coloneqq \lim_{n \to \infty} A_n = \bigcap_{n = 0}^\infty A_n \in \Ring$ gilt $\lim_{n \to \infty} \mu(A_n) = \mu(A)$.
    \item Für jede monoton fallende Folge $(A_n)_{n \in \N}$ in $\Ring$ mit $\mu(A_0) < \infty$ und $\lim_{n \to \infty} A_n = \bigcap_{n = 0}^\infty A_n = \emptyset$ gilt $\lim_{n \to \infty} \mu(A_n) = 0$.
  \end{enumerate}

  Dann gilt (i) $\iff$ (ii) $\implies$ (iii) $\iff$ (iv).\\
  Falls $\mu$ endlich ist, so gilt auch (iii) $\implies$ (ii).
\end{satz}

% Ausgelassen: Beispiel: Inhalt der Elementarquader im $\R^d$

\begin{defn}
  Seien $a = (a_1, ..., a_d), b = (b_1, ..., b_d) \in \R^d$. Wir schreiben $a \leq b$, falls $a_i \leq b_i$ für alle $i \in \{ 1, ..., d \}$ gilt. Dann heißt
  \[ \ocinterval{a}{b} \coloneqq \Set{ (x_1, ..., x_d) \in \R^d }{ a_i < x_i \leq b_i \text{ für alle } i \in \{ 1, ..., d \} } \]
  von $a$ und $b$ aufgespannter \emph{Elementarquader} in $\R^d$.
\end{defn}

\begin{defn}
  Sei $f : \R^d \to \R^1$ eine Funktion, $x = (x_1, ..., x_d) \in \R^d$ und $h = (h_1, ..., h_d) \in \R_{\geq 0}^d$. Dann heißt
  \[ (\triangle f)(\ocinterval{x}{x + h}) \coloneqq \sum_{\mathclap{\delta_1, ..., \delta_d \in \{0,1\}}} \, (-1)^{d-(\delta_1 + ... + \delta_k)} f(x_1 + \delta_1 h_1, ..., x_d + \delta_d h_d) \]
  \emph{Zuwachs} von $f$ im Elementarquader $\ocinterval{x}{x+h}$.
\end{defn}
% Ausgelassen: Alternative, rekursive Definition der Zuwächse

\begin{defn}
  $G : \R^d \to \R$ heißt \emph{maßerzeugende Funktion}, falls
  \begin{itemize}
    \item $G$ ist nicht-fallend in jedem Argument, \dh{} für alle $k \in \{ 1, ..., d \}$ und $x_1, ..., x_d \in \R$ ist $f(x_1, ..., x_{k-1}, -, x_{k+1}, ..., x_d)$ nicht-fallend.
    \item $G$ ist rechtsseitig stetig in jedem Argument, \dh{} für alle $k \in \{ 1, ..., d \}$ und $x_1, ..., x_d \in \R$ gilt
    \[ \lim_{h \downarrow 0} f(x_1, ..., x_{k-1}, x_k + h, x_{k+1}, ..., x_d) = f(x_1, ..., x_d). \]
    \item Für alle $x \in \R^d$ und $h \in \R_{\geq 0}^d$ ist der Zuwachs $(\triangle G)(\ocinterval{x}{x + h}) \geq 0$.
  \end{itemize}
\end{defn}

% Ausgelassen: Bemerkung: Die dritte Eigenschaft folgt i.A. nicht aus den beiden ersten; Gegenbeispiel

\begin{defn}
  Eine maßerzeugende Funktion $F$ heißt \emph{Verteilungsfunktion} (VF) in $\R^d$, falls zusätzlich gilt:
  \[
    \lim_{\mathclap{\substack{x_1 \to \infty \\ ... \\ x_d \to \infty}}} F(x_1, ..., x_d) = 1
    \qquad \text{und} \qquad
    \lim_{\mathclap{x_i \to -\infty}} F(x_1, ..., x_d) = 0
  \]
  für alle $i \in \{ 1, ..., d \}$ und $x_1, ..., \widehat{x_i}, ..., x_d \in \R$ fest.
\end{defn}

\begin{bem}
  Sei $G_i : \R^1 \to \R_{> 0}^1$ für $i \in \{ 1, ..., d \}$ maßerzeugende Funktion im $\R^1$, dann ist
  \[ G : \R^d \to \R_{>0}^1, \quad (x_1, ..., x_d) \mapsto G_1(x_1) \cdot ... \cdot G_d(x_d) \]
  eine maßerzeugende Funktion in $\R^d$ und es gilt für jeden Elementarquader $\ocinterval{a}{b} \subset \R^d$ mit $a = (a_1, ..., a_d)$, $b = (b_1, ..., b_d)$:
  \[ (\triangle G)(\ocinterval{a}{b}) = \prod_{i=1}^d \left( G_i(b_i) - G_i(a_i) \right). \]
\end{bem}
% Ausgelassen: Spezialfall $G_1 = ... = G_d = \max(0, \id)$

\begin{satz}
  Der Ring aller Elementarquader im $\R^d$ ist
  \begin{align*}
     \Ring \coloneqq \{ \bigsqcup_{i=1}^m \ocinterval{a_i}{b_i} \,\mid\,\, & m \in \N \text{ und } \ocinterval{a_1}{b_1}, ..., \ocinterval{a_m}{b_m} \\[-8pt]
     & \text{disjunkte Elementarquader im } \R^d \}
  \end{align*}
  und für jede maßerzeugende Funktion $G : \R^d \to \R^1$ definiert
  \[ \mu_G : \Ring \to \cointerval{0}{\infty}, \quad \bigsqcup_{i=1}^m \ocinterval{a_i}{b_i} \mapsto \sum_{i=1}^m (\triangle G)(\ocinterval{a_i}{b_i}) \]
  einen Inhalt auf $\Ring$, der sogar ein Prämaß ist.
\end{satz}

% Kapitel 1.4. Fortsetzungssätze für Prämaße

\begin{defn}
  Eine numerische Funktion $\mu^* : \mathcal{P}(\Omega) \to \overline{\R}$ heißt \emph{äußeres Maß} auf $\Omega$, wenn gilt:
  \begin{itemize}
    \miniitem{0.3 \linewidth}{$\mu^*(\emptyset) = 0$}
    \miniitem{0.68 \linewidth}{$A \subset B \implies \mu^*(A) \leq \mu^*(B)$ \pright{Monotonie}}
    \item Für eine Folge $(A_n)_{n \in \N}$ in $\mathcal{P}(\Omega)$ gilt $\mu^*\left(\bigcup_{n \in \N} A_n \right) \leq \sum_{n = 0}^\infty \mu^*(A_n)$. %\hfill ($\sigma$-Subadditivität)
  \end{itemize}
\end{defn}

\begin{bem}
  Wegen $\mu^*(\emptyset) = 0$ und der Monotonie nimmt ein äußeres Maß nur Werte in $\cinterval{0}{\infty}$ an.
\end{bem}

\begin{defn}
  Eine Teilmenge $A \subset \Omega$ heißt \emph{$\mu^*$-messbar}, falls
  \[ \mu^*(Q) = \mu^*(Q \cap A) + \mu^*(Q \setminus A) \quad \text{für alle } Q \subset \Omega. \]
\end{defn}

\begin{satz}[Carathéodory]
  Für ein äußeres Maß $\mu^* : \mathcal{P}(\Omega) \to \cinterval{0}{\infty}$ ist
  \begin{itemize}
    \item $\Alg^* \coloneqq \Set{ A \subset \Omega }{ A \text{ ist $\mu^*$-messbar } }$ eine $\sigma$-Algebra und
    \item $\mu^*|_{\Alg^*}$ ein Maß auf $\Alg^*$.
  \end{itemize}
\end{satz}

\begin{satz}[\emph{1. Fortsetzungssatz}]
  \begin{itemize}
    \item Sei $\mu$ ein Prämaß auf einem Ring $\Ring$ über $\Omega$. Dann existiert eine Fortsetzung $\widetilde{\mu}$ von $\mu$ zu einem Maß auf der von $\Ring$ erzeugten $\sigma$-Algebra $\Alg \coloneqq \sigma(\Ring)$, sodass $\widetilde{\mu}|_{\Ring} = \mu$.
    \item Falls $\mu$ $\sigma$-endlich ist, so ist die Fortsetzung eindeutig.
  \end{itemize}
\end{satz}

\begin{bem}
  Im Beweis wird ein äußeres Maß $\mu^*$ auf $\Omega$ so definiert:
  \begin{align*}
    \mathfrak{U}(Q) &\coloneqq \left\{ (A_n)_{n \in \N} \,\middle|\, Q \subset \bigcup_{n = 0}^\infty A_n \text{ und } A_n \text{ Folge in } \Ring \right\}, \\
    \mu^*(Q) &\coloneqq \inf \left( \left\{ \sum_{i = 0}^\infty \mu(A_n) \,\middle|\, (A_n)_{n \in \N} \in \mathfrak{U}(Q) \right\} \cup \{ \infty \} \right).
  \end{align*}
  Das äußere Maß $\mu^*$ eingeschränkt auf $\Alg^* \supset \Alg(\Ring)$ ist ein Maß.
\end{bem}

% Kapitel 1.5. Vervollständigung von Maßräumen

\begin{defn}
  Sei $\Omega$ eine Menge und $\Alg \subset \mathcal{P}(\Omega)$ eine $\sigma$-Algebra auf $\Omega$, sowie ggf. $\mu$ ein Maß auf $\Alg$. Dann heißt
  \begin{itemize}
    \item das Tupel $(\Omega, \Alg)$ \emph{messbarer Raum},
    \item das Tripel $(\Omega, \Alg, \mu)$ \emph{Maßraum}.
  \end{itemize}
\end{defn}

% Fragen:
% * Welche Mengen aus $\mathcal{P}(\Omega)$, die nicht in $\sigma(\Alg)$ liegen, umfasst $\Alg^*$?
% * Kann $\mu^*|_{\Alg^*}$ noch weiter ausgedehnt werden?

\begin{satz}
  Unter den Bedingungen des 1. Fortsetzungssatzes ist $\Alg^*$ die größte $\sigma$-Algebra $\overline{\Alg}$ mit $\Alg \subset \overline{\Alg}$, sodass $\mu^*|_{\overline{\Alg}}$ ein Maß ist.
\end{satz}

\begin{defn}
  Sei $(\Omega, \Alg, \mu)$ ein Maßraum. Eine Menge $N \subset \Omega$ heißt \emph{Nullmenge}, falls es ein $A \in \Alg$ gibt, sodass $N \subset A$ und $\mu(A) = 0$.
\end{defn}

\begin{defn}
  Ein Maßraum $(\Omega, \Alg, \mu)$ heißt \emph{vollständig}, falls jede Nullmenge $N \subset \Omega$ ein Element von $\Alg$ ist.
\end{defn}

\begin{satz}
  $(\Omega, \Alg^*, \mu^*|_{\Alg^*})$ ist vollständig für jedes bel. äußere Maß $\mu^*$.
\end{satz}

\begin{satz}
  Jeder Maßraum $(\Omega, \Alg, \mu)$ kann zu einem vollständigen Maßraum $(\Omega, \Alg_c, \mu_c)$ erweitert werden mit
  \[
    \Alg_c \coloneqq \Set{ A \cup N }{ A \in \Alg, \, N \text{ $\mu$-Nullmenge} }, \quad
    \mu_c(A \cup N) \coloneqq \mu(A).
  \]
\end{satz}

\begin{satz}
  Sei $\mu$ ein $\sigma$-endliches Prämaß auf dem Ring $\Ring$ über $\Omega$ sowie $\widetilde{\Alg} \coloneqq \sigma(\Ring)$. Dann gilt $\Alg^* = \Alg_c$ und $\mu^*|_{\Alg^*} = \widetilde{\mu}_c$, wobei $\widetilde{\mu}$ das eindeutig fortgesetzte Maß ist.
\end{satz}

% Ausgelassen: Korollar: Alle Teilmengen einer Nullmenge $N_0$ bilden zusammen eine $\sigma$-Algebra über $N_0$.

\begin{sprech}
  Eine Eigenschaft oder Aussage gilt für \emph{fast alle} $\omega \in \Omega$ oder \emph{$\mu$-fast-überall}, wenn es eine Nullmenge $N_0 \subset \Omega$ gibt, sodass die Aussage oder Eigenschaft für alle $\omega \in N_0^c$ gilt.
\end{sprech}

\begin{defn}
  Sei $(\Omega, \Alg, \mu)$ ein Maßraum.
  \begin{itemize}
    \item Dann heißt $\mu$ \emph{diffus} (atomlos), falls $\mu(\{ \omega \}) = 0$ für alle $\omega \in \Omega$.
    \item Sei $\eta$ ein weiteres Maß auf $(\Omega, \Alg)$. Dann heißt $\mu$ \emph{absolut stetig} bezüglich $\eta$ (notiert $\mu \ll \eta$), falls
  \[ \eta(A) = 0 \implies \mu(A) = 0 \quad \text{ für alle } A \in \Alg. \]
  \end{itemize}
\end{defn}

% Ausgelassen: Elementarere Definition (bzw. Charakterisierung) von Nullmengen in $\R^d$

% Ausgelassen: Beispiele für Nullmengen
% * Höchstens abzählbare Mengen im $\R^1$
% * Alle Dezimalzahlen im $\R^1$, wobei eine Ziffer verboten wird
% * Die Diagonale im $\R^2$

% Kapitel 1.6. Das Lebesgue-Borel-Maß

\begin{defn}
  Die von den Elementarquadern im $\R^d$ erzeugte $\sigma$-Algebra heißt \emph{Borel-$\sigma$-Algebra} $\Bor(\R^d)$. Das von der maßerzeugenden Funktion
  \[ G : \R^d \to \R, \quad (x_1, ..., x_d) \mapsto x_1 \cdot ... \cdot x_d \]
  erzeugte Prämaß auf dem von den Elementarquadern erzeugten Ring $\mu_G$, das zu einem Maß $\widetilde{\mu}_G$ auf $\Bor(\R^d)$ fortgesetzt wird, heißt \emph{Lebesgue-Borel-Maß}. Die durch Hinzunahme aller Nullmengen vervollständigte $\sigma$-Algebra $\Alg^* = \Bor(\R^d)_c$ heißt \emph{Lebesgue-$\sigma$- Algebra} und das fortgesetzte Maß $\lambda_d \coloneqq \mu_G^*$ \emph{Lebesgue-Maß}.
\end{defn}

\begin{satz}
  Das Lebesgue-Maß auf dem $\R^d$ ist bewegungsinvariant, \dh{}
  \[ \fa{A \in \Bor(\R^d), \, O \in \mathrm{SO}_d, \, x \in \R^d} \lambda_d(O \cdot A + x) = \lambda_d(A). \]
  Das Lebesgue-Maß ist bis auf einen multiplikativen Faktor das einzige verschiebungsinvariante Maß auf $(\R^d, \Bor(\R^d))$.
\end{satz}

% Kapitel 1.7. Das Wahrscheinlichkeitsmaß -- Wahrscheinlichkeitstheorie nach Kolmogorow

\begin{sprech}
  Sei $(\Omega, \Alg)$ ein messbarer Raum. Wir nennen $\Omega$ abstrakte Grundmenge und die Elemente von $\Omega$ Elementarereignisse. Die $\sigma$-Algebra $\Alg$ enthält zufällige Ereignisse, unter anderem das sichere Ereignis $\Omega$ und das unmögliche Ereignis $\emptyset$.
\end{sprech}

\begin{defn}
  Sei $(\Omega, \Alg, \P)$ ein Maßraum mit $\P(\Omega) = 1$. Dann heißt $\P$ \emph{Wahrscheinlichkeitsmaß} (W-Maß) und das Tripel $(\Omega, \Alg, \P)$ \emph{Wahrscheinlichkeitsraum} (W-Raum).
\end{defn}

\begin{sprech}
  Sei $(\Omega, \Alg, \P)$ ein W-Raum und $A, B \in \Alg$. Wir sagen:
  \begin{itemize}
    \item $A$ ist \emph{fast sicher}, wenn $\P(A) = 1$.
    \item $A$ ist \emph{fast unmöglich}, wenn $\P(A) = 0$.
    \item $A$ und $B$ sind \emph{äquivalent}, wenn $\P(A \symmdiff B) = 0$.
  \end{itemize}
\end{sprech}

% Ausgelassen: Akkumulierte Axiomensammlung für W-Räume

% Vorlesung 9

\begin{bem}
  Sei $\mu$ ein W-Maß auf $\LebAlg(\R^1)$. Dann definiert $x \mapsto F_{\mu}(x) \coloneqq \mu(\ocinterval{-\infty}{x})$ eine VF. Für eine VF $F : \R \to \I$ definiert umgekehrt $\mu_F(\ocinterval{a}{b}) \coloneqq F(b) - F(a)$ ein W-Maß auf $\LebAlg(\R^1)$. Analog funktioniert dies auf dem $\R^d$.
\end{bem}

% Wichtige Verteilungsfunktionen:

\begin{defn}[Wichtige Verteilungsfunktionen]\mbox{}\\
  \begin{itemize}
    \item \emph{Exponentialverteilung} mit Parameter $\lambda > 0$:
    \[ F_{\lambda}(x) = \max(0, 1 - \exp(- \lambda x)) \tag*{Exp($\lambda$)} \]
    %\[ F_{\lambda}(x) = \begin{cases} 0, & \text{ für } x \leq 0 \\
    %                                  1 - \exp(- \lambda x), & \text{ für } x > 0
    %\end{cases} \]
    \item \emph{Poisson-Verteilung} mit Parameter $\lambda > 0$:
    \[ F_{\lambda}(x) = \sum_{0 \leq n \leq x} \tfrac{\lambda^n}{n!} \exp(-\lambda) \tag*{Poi($\lambda$)} \]
    \item \emph{Gleichverteilung} auf $\ocinterval{a}{b}$: $F(x) = \min(1, \max(0, \tfrac{x - a}{b - a}))$
    %\[ F(x) \coloneqq 0 \text{ für } x < a, \quad F(x) \coloneqq \tfrac{x-a}{b-a} \text{ für } x \in \cinterval{a}{b}, \quad F(x) \coloneqq 1 \text{ für } x > b \]
    \item \emph{Normalverteilung} (Gaußverteilung) mit EW $\mu$ und Varianz $\sigma^2$:
    \[ F_{\mu \sigma^2}(x) = \tfrac{1}{\sqrt{2 \pi \sigma^2}} \Int{-\infty}{x}{\exp\left(\tfrac{-(t-\mu)^2}{2 \sigma^2}\right)}{t} \tag*{N($\mu$, $\sigma^2$)} \]
    besitzt die Dichte $F_{\mu \sigma^2}'(x) = \tfrac{1}{\sqrt{2 \pi \sigma^2}} \exp\left(\tfrac{-(x-\mu)^2}{2 \sigma^2}\right)$ und die Symmetrie $F_{\mu \sigma^2}(\mu{-}x) = 1 - F_{\mu \sigma^2}(\mu{+}x)$.
    \item $d$-dimensionale \emph{Normalverteilung} mit Erwartungswertvektor $m \in \R^d$ positiv definiter Kovarianzenmatrix $C \in \R^{d \times d}$:
    \[ F(x) = \tfrac{1}{\sqrt{(2 \pi)^d \det C}} \enspace \Int{\ocinterval{-\infty}{x}}{}{\!\! \exp(- \tfrac{1}{2} (y-m)^T C^{-1} (y-m))}{y} \]
    \item \emph{$2$-dimensionale Exponentialverteilung} mit $\lambda, \mu > 0$, $\nu \geq 0$:
    \[ F(x, y) = \begin{cases} 0, \text{ falls $x < 0$ oder $y < 0$, ansonsten:} \\ 1 - e^{-(\lambda {+} \nu) x} - e^{-(\mu {+} \nu) y} + e^{-(\lambda x {+} \mu y {+} \nu \max(x, y))} \end{cases} \]
  \end{itemize}
\end{defn}

% Ausgelassen: zweidimensionale Exponentialverteilung
% Ausgelassen: Gauß-Levy-Kuzmin-Theorem, und zugehörige Verteilung
% Ausgelassen: Wiener Maß für Modellierung von Brown'scher Bewegung

% Kapitel 2.
\section{Elementare Wahrscheinlichkeitsrechnung}

% Kapitel 2.1. Definition der relativen und bedingten relativen Häufigkeit

\begin{defn}
  Ein Ereignis $A \in \Alg$ trete bei $n$ Versuchen genau $h_n(A) \in \N$ mal auf. Dann heißt
  \begin{itemize}
    \item $h_n(A)$ \emph{absolute Häufigkeit} von $A$,
    \item $H_n(A) \coloneqq \tfrac{h_n(A)}{n}$ \emph{relative Häufigkeit} von $A$.
  \end{itemize}
\end{defn}

\begin{bem}
  Unmittelbar klar:
  \begin{itemize}
    \miniitem{0.35\linewidth}{$H_n(A) \in \I$}
    \miniitem{0.60\linewidth}{$H_n(A) \leq H_n(B)$ für $A \subset B$}
    \item $H_n(A \sqcup B) = H_n(A) + H_n(B)$ für $A \cap B = \emptyset$
  \end{itemize}
\end{bem}

\begin{bem}
  Bei wachsendem $n$ stabilisiert sich normalerweise der Wert $H_n(A)$. Dieser Grenzwert ist die Wahrscheinlichkeit von $A$.
\end{bem}


% Vorlesung 10

\begin{defn}
  Seien $A, B \in \Alg$ Ereignisse, $n \in \N$ die Anzahl der Versuche. Dann heißt
  \[ H_n(A \mid B) \coloneqq \tfrac{H_n(A \cap B)}{H_n(B)} = \tfrac{h_n(A \cap B)}{h_n(B)} \]
  die \emph{relative Wahrscheinlichkeit} von $A$ unter der Bedingung $B$.
\end{defn}

\begin{bem}
  Offenbar gilt:
  \begin{itemize}
    \miniitem{0.35\linewidth}{$H_n(A \mid B) \in \I$}
    \miniitem{0.60\linewidth}{$H_n(A_1 \mid B) \leq H_n(A_2 \mid B)$ für $A_1 \subset A_2$}
    \item $H_n(A_1 \sqcup A_2 \mid B) = H_n(A_1 \mid B) + H_n(A_2 \mid B)$ für $A_1 \cap A_2 = \emptyset$
  \end{itemize}
\end{bem}

% Kapitel 2.2. Geometrische Wahrscheinlichkeiten

\begin{defn}
  Sei $\Omega \in \LebAlg(\R^d)$ mit $\lambda_d(\Omega) > 0$. Dann heißt das W-Maß
  \[ \P : \LebAlg(\Omega) \to \I, \quad A \mapsto \tfrac{\lambda_d(A)}{\lambda_d(\Omega)} \quad \text{\emph{Gleichverteilung}.} \]
\end{defn}

\begin{defn}
  Sei $\Omega$ eine endliche Menge. Dann definiert
  \[ \P : \mathcal{P}(\Omega) \to \I, \quad A \mapsto \tfrac{|A|}{|\Omega|} = \tfrac{\text{\# günstige Fälle}}{\text{\# mögliche Fälle}} \]
  ein W-Maß auf $(\Omega, \mathcal{P}(\Omega))$, genannt \emph{Laplace'sche Wkt}.
\end{defn}

\begin{bem}
  Damit sind Berechnungen von Wkten mit kombinatorischen Überlegungen möglich.
\end{bem}

% Kapitel 2.4. Berechnung von Wahrscheinlichkeiten durch kombinatorische Überlegungen

\begin{lem}[Fundamentalprinzip des Zählens]
  Seien $A_1, ..., A_n$ endliche Mengen. Dann gilt $| A_1 \times ... \times A_n | = |A_1| \cdots |A_n|$.
\end{lem}

\begin{lem}
  Sei $A$ eine endliche Menge, $r \leq n \coloneqq |A| < \infty$. Dann ist die Anzahl der $r$-Tupel mit Elementen aus $A$ gleich

  \begin{center}
    \begin{tabular}{ r | l l }
      & Mit Wdh. & Ohne Wdh. \\ \hline
      Mit Ordnung & $n^r$ & $\tfrac{n!}{(n-r)!}$ \\
      Ohne Ordnung & $\tfrac{(n+r-1)!}{r!}$ & $\binom{n}{r} \coloneqq \tfrac{n!}{r!(n-r)!}$
    \end{tabular}
  \end{center}
\end{lem}


% Vorlesung 11

\begin{lem}
  Sei $A$ eine endliche Menge, $n \coloneqq |A| < \infty$. Dann ist die Anzahl der möglichen Zerlegungen von $A$ in disjunkte Mengen $B_1, ..., B_k$ mit $|B_i| = n_i$ und $n_1 + ... + n_k = n$ gleich
  \[
    \binom{n}{n_1, ..., n_k} \coloneqq \tfrac{n!}{n_1! \cdots n_k!}. \quad \text{\emph{(Multinomialkoeffizient)}}
  \]
\end{lem}

% Ausgelassen: Beispiel Kartenverteilungen beim Skatspiel

% Kapitel 2.5. Berechnung von geometrischen Wahrscheinlichkeiten

% Ausgelassen: Beispiel Bertrand'sches Paradoxon (http://en.wikipedia.org/wiki/Bertrand_paradox_(probability))

% Ausgelassen: Beispiel Buffonsches Nadelproblem (http://de.wikipedia.org/wiki/Buffonsches_Nadelproblem)
% und dessen Verallgemeinerung auf Polygone


% Vorlesung 12

% Kapitel 2.6. Hypergeometrische Verteilung

\begin{modell}
  Eine Urne enthalte $N$ Kugeln, darunter $M \leq N$ schwarze. Dann ist ist die Wkt für das Ereignis $A^n_m$, dass sich unter $n$ gezogenen Kugeln genau $m \leq \min(n, M)$ schwarze Kugeln befinden,
  \[ \P(A^n_m) = \frac{\binom{M}{m} \binom{N - M}{n - m}}{\binom{N}{n}}. \quad \text{\emph{(hypergeometrische Verteilung)}} \]
\end{modell}

% Ausgelassen: Beispiel: $m$-er beim Lotto
% Ausgelassen: Beispiel: Capture-Recapture-Problem, Maximum-Likelihood-Schätzung

\begin{bem}
  Für Maximum-Likelihood-Schätzungen:
  \begin{itemize}
    \item Der Ausdruck $\binom{N-M}{n-m} / \binom{N}{n}$ wird maximal bei $N \coloneqq \lfloor \tfrac{n-M}{m} \rfloor$.
    \item Der Ausdruck $\binom{M}{m} \cdot \binom{N-M}{n-m}$ wird maximal bei $M \coloneqq \lfloor \tfrac{m (N-1)}{n} \rfloor$.
  \end{itemize}
\end{bem}

% Ausgelassen: Beispiel statistische Qualitätskontrolle

\begin{modell}
  Eine Urne enthalte $N$ Kugeln in $k \leq N$ verschiedenen Farben, darunter $N_1$ in der ersten Farbe, ..., $N_k$ in der $k$-ten Farbe, $N_1 + ... + N_k = N$. Dann ist ist die Wkt für das Ereignis $A^n_{n_1,...,n_k}$, dass sich unter $n$ gezogenen Kugeln genau $n_1 \leq N_1$ Kugeln der ersten Farbe, ..., und $n_k \leq N_k$ Kugeln der $k$-ten Farbe befinden, $n_1 + ... + n_k = n$, gleich
  \[ \P(A^n_{n_1, ..., n_k}) = \frac{\binom{N_1}{n_1} \cdots \binom{N_k}{n_k}}{\binom{N}{n}}. \]
  Diese W-Verteilung heißt \emph{polyhypergeometrische Verteilung}.
\end{modell}

% Ausgelassen: Zusatz-5er beim Lotto

% Kapitel 2.7. Bedingte Wahrscheinlichkeiten

\begin{defn}
  Sei $(\Omega, \Alg, \P)$ ein W-Raum und $A, B \in \Alg$. Dann heißt
  \[ \P(A \mid B) \coloneqq \begin{cases} \tfrac{\P(A \cap B)}{\P(B)}, & \text{ falls } \P(B) > 0 \\
  0, & \text{ falls } \P(B) = 0 \end{cases} \]
  Wahrscheinlichkeit von $A$ unter der Bedingung $B$.
\end{defn}

\begin{bem}
  Falls $\P(B) > 0$ gilt, so ist $\P(- \mid B)$ ein W-Maß über $B$ auf der Spur-$\sigma$-Algebra $\Alg|_B$.
\end{bem}

\begin{lem}
  Seien $A_1, ..., A_k \in \Alg$, dann gilt die Pfadregel:
  \[ \P(A_1 \cap ... \cap A_k) = \P(A_1) \cdot \prod_{i=2}^k \P(A_i \mid A_1 \cap ... \cap A_{i-1}). \]
\end{lem}

% Ausgelassen: Beispiel: Lose ziehen

% Kapitel 2.8. Formel der totalen Wahrscheinlichkeit und Bayes'sche Formel


% Vorlesung 13

\begin{satz}
  Sei $(\Omega, \Alg, \P)$ ein W-Raum und $A_1, ... \in \Alg$ ein vollständiges Ereignissystem, \dh{} paarweise disjunkt mit
  \[ \Omega = \bigsqcup_{i = 1}^\infty A_i. \]
  Dann gilt für jedes $B \in \Alg$ mit $\P(B) > 0$
  \begin{align*}
    \P(B) &= \sum_{i=1}^{\infty} \P(B \mid A_i) \cdot \P(A_i) & \text{(Formel der totalen Wkt)} \\
    \P(A_n \mid B) &= \frac{\P(B \mid A_n) \cdot \P(A_n)}{\sum_{i=1}^\infty \P(B \mid A_i) \cdot \P(A_i)} & \text{(\emph{Bayessche Formel})}
  \end{align*}
\end{satz}

% Ausgelassen: Interpretation als "Mischformel"

\begin{sprech}
  In der Bayesischen Statistik heißt
  \begin{itemize}
    \item $\P(A_i)$ \quad \,\, \emph{A-priori-Wahrscheinlichkeit},
    \item $\P(A_i \mid B)$ \emph{A-posteriori-Wahrscheinlichkeit}.
  \end{itemize}
\end{sprech}

% Ausgelassen: Beispiel der Produktion auf zwei Maschinen mit untersch. Ausschussraten

% Kapitel 2.9. Unabhängigkeit von Ereignissen

\begin{defn}
  Zwei Ereignisse $A, B \in \Alg$ heißen \emph{($\P$-)unabhängig}, falls
  \[ \P(A \cap B) = \P(A) \cdot \P(B). \]
\end{defn}

\begin{bem}
  \begin{itemize}
    \item $A \in \Alg$ mit $\P(A) = 0$ ist unabhängig zu jedem $B \in \Alg$.
    \item Wenn $A, B \in \Alg$ unabhängig, dann sind auch unabhängig:
    \[ (A^c, B), \quad (A, B^c), \quad (A^c, B^c) \]
  \end{itemize}
\end{bem}

\begin{satz}
  $A, B \in \Alg$ unabhängig $\iff$ $\P{B \mid A} = \P(B)$.
\end{satz}

% Ausgelassen: Beispiel: Ziehen von Karo-, Ass- und Karo-Ass-Karten

\begin{defn}
  Sei $(A_i)_{i \in I}$ ($I$ bel.) eine Familie von Ereignissen in $\Alg$.
  \begin{itemize}
    \item \emph{vollständig unabhhängig}, falls
    \[ \P(A_{i_1} \cap A_{i_2} \cap ... \cap A_{i_n}) = \P(A_{i_1}) \cdot \P(A_{i_2}) \cdot ... \cdot \P(A_{i_n}) \]
    für alle $i_1, ..., i_n \in I$ mit $2 \leq n < \infty$ und
    \item \emph{paarweise unabhängig}, falls
    \[ \P(A_i \cap A_j) = \P(A_i) \cdot \P(A_j) \quad \text{ für alle } i, j \in I, i \not= j. \]
  \end{itemize}
\end{defn}

\begin{acht}
  Aus paarweiser Unabhängigkeit folgt nicht vollständige Unabhängigkeit (Gegenbeispiel: Bernsteins Tetraeder).
\end{acht}

\begin{defn}
  Sei $(\Omega, \Alg, \P)$ ein W-Raum und $\Alg_1, \Alg_2 \subset \Alg$ Ereignissysteme. Dann heißen $\Alg_1$ und $\Alg_2$ \emph{unabhängig}, falls
  \[ \P(A_1 \cap A_2) = \P(A_1) \cdot \P(A_2) \quad \text{für alle } A_1 \in \Alg_1, A_2 \in \Alg_2. \]
\end{defn}

\begin{satz}
  Seien $\Alg_1, \Alg_2 \subset \Alg$ unabhängige Ereignissysteme, die Algebren sind. Dann sind auch die $\sigma$-Algebren $\sigma(\Alg_1)$ und $\sigma(\Alg_2)$ unabhängig.
\end{satz}

% Ausgelassen: Anwendung in der Zuverlässigkeitsanalyse (Reihenschaltung von Parallelschaltungen)


% Vorlesung 14

% Kapitel 2.10. Bernoulli-Schema

\begin{satz}
  Sei $(\Omega, \Alg, \P)$ ein W-Raum, $(A_i)_{i \in \N}$ Folge von unabhängigen Ereignissen mit gleicher Erfolgswkt $\P(A_i) = p$ für alle $i \in \N$. Für $k \leq n$, $k, n \in \N$ ist dann die Wahrscheinlichkeit, dass genau $k$ Stück der Ereignisse $A_1, ..., A_n$ eintreten, genau
  \[ B(k, n, p) \coloneqq \binom{n}{k} \, p^k \, (1-p)^{n-k} \]
  Die zugehörige VF $x \mapsto \sum_{\mathclap{0 \leq k \leq x}} B(k,n,p)$ heißt \emph{Binomialverteilung}.
\end{satz}

% Ausgelassen: Beispiel: Rosinen werden in einen Teig gemengt

\begin{lem}
  Voraussetzung wie im vorherigen Satz. Sei $r, k \in \N$, $1 \leq r$, dann ist die Wkt für das Ereignis $A_k^{(r)}$, dass beim Versuch $A_{k+r}$ der $r$-te Erfolg eintritt, gleich
  \[ \P(A_k^{(r)}) = \binom{k+r-1}{r-1} \, p^r \, (1-p)^k. \]
  Im Spezialfall $r = 1$ ist $\P(A_k^{(1)}) = p \, (1-p)^k$.
\end{lem}

\begin{satz}
  Sei $(\Omega, \Alg, \P)$ ein W-Raum, $A_1, ..., A_r \in \Alg$ mit $p_i \coloneqq \P(A_i)$ für $i = 1, ..., k$ und $p_1 + ... + p_r = 1$. Dann ist die Wahrscheinlichkeit, dass bei $n \in \N$ Versuchen $A_1$ genau $n_1$-mal, $A_2$ genau $n_2$-mal, ..., $A_r$ genau $n_r$-mal auftritt ($n_1 + ... + n_r = n$), genau
  \[ B(n_1, ..., n_r, n, p_1, ..., p_r) \coloneqq \binom{n}{n_1, ..., n_r} p_1^{n_1} \cdots p_r^{n_r}. \]
  Diese W-Verteilung heißt \emph{Multinomialverteilung}.
\end{satz}

% Kapitel 2.11. Grenzwertsatz von Poisson -- Gesetz der kleinen Zahlen

\begin{satz}
  Für $0 \leq m \leq n$, $p \in \I$ gilt
  \[ \frac{\binom{M}{m} \binom{N-M}{n-m}}{\binom{N}{n}} \enspace \xrightarrow[M/N \to p]{M, N \to \infty} \enspace \binom{n}{m} \, p^m \, (1-p)^{n-m}. \]
\end{satz}

% Intuitive Interpretation: Ein Urnenmodell mit vielen Kugeln können wir auch als Bernoulli-Experiment auffassen, ohne uns einen zu großen Fehler einzuhandeln

\begin{satz}[GWS von Poisson]
  Für $m \in \N$, $\lambda \in \R_{>0}$ gilt
  \[ \binom{n}{m} \, p_n^m \, (1-p_n)^{n-m} \enspace \xrightarrow[n p_n \to \lambda]{n \to \infty} \enspace \frac{\lambda^m}{m!} \exp(-\lambda). \]
\end{satz}


% Vorlesung 15

\begin{defn}
  Sei $(\Omega, \Alg)$ ein messbarer Raum mit zwei W-Maßen $\P_1$ und $\P_2$. Dann heißt
  \[ \mathrm{d}_\infty(\P_1, \P_2) \coloneqq \sup_{A \in \Alg} \abs{\P_1(A) - \P_2(A)} \]
  \emph{Totalvariation} des signierten Maßes $\P_1 - \P_2$.
\end{defn}

\begin{satz}
  Seien $\P_1$ und $\P_2$ zwei W-Maße auf $(\N, \mathcal{P}(\N))$, $\P_1(\{ i \}) = p_i$, $\P_2(\{ i \}) = q_i$ für alle $i \in \N$. Dann gilt
  \[ \mathrm{d}_\infty(\P_1, \P_2) = \tfrac{1}{2} \sum_{i=0}^\infty \abs{p_i - q_i}. \]
\end{satz}

\begin{lem}
  Für $n, k \in \N$, $p \in \I$ und $\P_1$ und $\P_2$ wie eben definiert durch $p_i \coloneqq \binom{n}{k} p^k (1-p)^{n-k}$, $q_i \coloneqq \tfrac{(np)^k}{k!} \exp(-np)$ gilt
  \[ \mathrm{d}_\infty(\P_1, \P_2) \leq 2 n p^2. \]
\end{lem}

% Kapitel 2.10. 0-1-Gesetze von Borel-Cantelli und Kolmogorow

\begin{lem}[Borel-Cantelli]
  Sei $(A_n)_{n \in \N}$ eine Folge von Ereignissen über $(\Omega, \Alg, \P)$. Dann gilt für $A = \limsup_{n \to \infty} A_n$
  \[ \sum_{n=1}^\infty \P(A_n) < \infty \enspace \implies \enspace \P(A) = 0. \]
  Falls die Ereignisse $(A_n)_{n \in \N}$ unabhängig sind, so gilt
  \[ \sum_{n=1}^\infty \P(A_n) = \infty \enspace \implies \enspace \P(A) = 1, \]
  also zusammengefasst $\P(A) \in \{ 0, 1 \}$.
\end{lem}

\begin{defn}
  Sei $(\Alg_n)_{n \in \N}$ Folge von $\sigma$-Algebren über $\Omega$. Dann ist
  \[ \mathcal{T}_\infty = \bigcap_{n=1}^\infty \mathcal{T}_n \quad \text{mit} \quad \mathcal{T}_n \coloneqq \sigma \left( \bigcup_{k=n}^\infty \Alg_k \right) \]
  die \emph{terminale $\sigma$-Algebra} von $(\Alg_n)_{n \in \N}$.
\end{defn}

% Was bedeutet Unabhängigkeit von $\sigma$-Algebren?

\begin{samepage}

\begin{satz}[Null-Eins-Gesetz von Kolmogorow]
  Sei $(\Alg_n)_{n \in \N}$ eine Folge von unabhängigen Unter-$\sigma$-Algebren in einem W-Raum $(\Omega, \Alg, \P)$. Dann gilt $\P(A) \in \{ 0, 1 \}$ für alle Ereignisse $A \in \mathcal{T}_\infty$ der terminalen $\sigma$-Algebra.
\end{satz}

% Kapitel 3. Integrationstheorie

\section{Integrationstheorie}

\end{samepage}

% Kapitel 3.1. Messbare Abbildungen und Zufallsgrößen

\begin{defn}
  Seien $(\Omega_1, \Alg_1)$ und $(\Omega_2, \Alg_2)$ messbare Räume. Dann heißt $f : \Omega_1 \to \Omega_2$ \emph{$(\Alg_1, \Alg_2)$-messbar}, falls
  \[ f^{-1}(A_2) \in \Alg_1 \quad \text{für alle } A_2 \in \Alg_2. \]
\end{defn}

\begin{nota}
  Für solches $f$ schreiben wir $f : (\Omega_1, \Alg_1) \to (\Omega_2, \Alg_2)$.
\end{nota}

\begin{beob}
  Sei $(\Omega, \Alg)$ messbarer Raum, $A \subset \Omega$, dann gilt
  \[ \ind_A \text{ $(\Alg, \LebAlg(\R^1))$-messbar} \enspace \iff \enspace A \in \Alg. \]
\end{beob}


% Vorlesung 16

\begin{lem}
  Die Verkettung messbarer Abbildungen ist messbar, \dh{} für $f : (\Omega_1, \Alg_1) \to (\Omega_2, \Alg_2)$ und $g : (\Omega_2, \Alg_2) \to (\Omega_3, \Alg_3)$ gilt $g \circ f : (\Omega_1, \Alg_1) \to (\Omega_3, \Alg_3)$.
\end{lem}

\begin{lem}
  Sei $f : \Omega \to \Omega'$ eine Abb. und $\mathcal{E}' \subset \mathcal{P}(\Omega)$, dann ist
  \[ \Alg(f^{-1}(\mathcal{E}')) = f^{-1}(\Alg(\mathcal{E}')). \]
\end{lem}

\begin{lem}
  Sei $(\Omega, \Alg)$ ein messbarer Raum und $f : \Omega \to \Omega'$ eine Abbildung, sowie $\mathcal{E} \subset \P(\Omega')$. Dann gilt
  \[ f \text{ ist $(\Alg, \sigma(\mathcal{E}))$-messbar} \enspace \iff \enspace f^{-1}(E) \in \Alg \text{ für alle } E \in \mathcal{E}. \]
\end{lem}

\begin{nota}
  Seien $f, g : \Omega \to \ER$ zwei numerische Funktionen. Setze
    \[ \{ f \leq g \} \coloneqq \Set{ \omega \in \Omega }{ f(\omega) \leq g(\omega) } \subset \Omega \]
  und definiere analog $\{ f < g \}$, $\{ f \geq g \}$, $\{ f > g \}$, $\{ f = g \}$, $\{ f \not= g \}$.
\end{nota}

\begin{satz}
  Für eine Funktion $f : (\Omega, \Alg) \to (\ER, \overline{\Bor})$ sind äquivalent:
  \begin{itemize}
    \miniitem{0.27 \linewidth}{$f$ ist messbar}
    \miniitem{0.7 \linewidth}{$\forall \, a \in \R \,:\, \{ f \geq a \} = f^{-1}(\cinterval{a}{\infty}) \in \Alg$}
    \begin{multicols}{2}
      \item $\fa{a \in \R} \{ f > a \} \in \Alg$
      \item $\fa{a \in \R} \{ f \leq a \} \in \Alg$
    \end{multicols}
    \item $\fa{a \in \R} \{ f < a \} \in \Alg$
  \end{itemize}
\end{satz}

\begin{defn}
  \begin{itemize}
    \item Sei $(\Omega, \Alg)$ ein messbarer Raum, $f : \Omega' \to \Omega$ eine Abbildung, dann heißt
    \[ \sigma(f) \coloneqq f^{-1}(\Alg) \coloneqq \Set{ f^{-1}(A) }{ A \in \Alg } \]
    die \emph{von $f$ erzeugte $\sigma$-Algebra}.
    \item Sei $(\Omega_i, \Alg_i)_{i \in I}$ eine Familie von messbaren Räumen, $f_i : \Omega' \to \Omega_i$ für alle $i \in I$ eine Abbildung. Dann heißt
    \[ \sigma((f_i)_{i \in I}) \coloneqq \sigma(\bigcup_{i \in I} \sigma(f_i)) = \sigma(\bigcup_{i \in I} f_i^{-1}(\Alg_i)) \]
    die \emph{von der Familie $(f_i)_{i \in I}$ erzeugte $\sigma$-Algebra}.
  \end{itemize}
\end{defn}

\begin{defn}
  Sei $(\Omega', \Alg', \mu')$ ein Maßraum, $(\Omega, \Alg)$ ein messbarer Raum, $f : (\Omega', \Alg) \to (\Omega, \Alg)$. Dann ist durch
  \[ \mu'_f \coloneqq \mu' \circ f^{-1} : \Alg \to \cinterval{0}{\infty}, \quad A \mapsto \mu'(f^{-1}(A)) \]
  ein Maß auf $(\Omega, \Alg)$, das sog. \emph{Bildmaß} von $\mu'$ unter $f$, definiert.
\end{defn}

\begin{satz}
  Für zwei numerische Funktionen $f, g : (\Omega, \Alg) \to (\ER, \overline{\Bor})$ gilt:
  \begin{multicols}{3}
    \begin{itemize}
      \item $\{ f < g \} \in \Alg$
      \item $\{ f \leq g \} \in \Alg$
      \item $\{ f > g \} \in \Alg$
      \item $\{ f \geq g \} \in \Alg$
      \item $\{ f = g \} \in \Alg$
      \item $\{ f \not= g \} \in \Alg$
    \end{itemize}
  \end{multicols}
\end{satz}

\begin{satz}
  Seien $f, g : (\Omega, \Alg) \to (\ER, \overline{\Bor})$ messbare numerische Funktionen und $\lambda, \mu \in \R$. Dann auch messbar (\ddag: falls $0 \not\in \mathrm{Bild}(f)$):
  \begin{multicols}{5}
    \begin{itemize}
      \item $\lambda \cdot f$
      \item $f + \mu \cdot g$
      \item $f \cdot g$
      \item $\tfrac{1}{f}$ (\ddag)
      \item $\tfrac{g}{f}$ (\ddag)
    \end{itemize}
  \end{multicols}
\end{satz}

\begin{satz}
  Seien $f_n : (\Omega, \Alg) \to (\ER, \overline{\Bor}), n \in \N$ messbare numerische Funktionen, dann auch messbar:
  \begin{multicols}{4}
    \begin{itemize}
      \item $\sup_{n \in \N} f_n$
      \item $\inf_{n \in \N} f_n$
      \item $\liminf_{n \in \N} f_n$
      \item $\limsup_{n \in \N} f_n$
    \end{itemize}
  \end{multicols}
  \vspace{4pt}
  Dabei werden Infimum, Supremum, usw. punktweise gebildet.
\end{satz}

\begin{defn}
  Für $f : \Omega \to \ER$ heißen die Funktionen
  \begin{itemize}
    \item $\abs{f} \coloneqq \max(f, -f) : \Omega \to \cinterval{0}{\infty}$ \emph{Betrag} von $f$
    \item $f^+ \coloneqq \,\,\,\, \max(f, 0) : \Omega \to \cinterval{0}{\infty}$ \emph{Positivteil} von $f$
    \item $f^- \coloneqq -\min(f, 0) : \Omega \to \cinterval{0}{\infty}$ \emph{Negativteil} von $f$
  \end{itemize}
\end{defn}

\begin{satz}
  Falls $f : (\Omega, \Alg) \to (\ER, \overline\Bor)$ messbar, dann auch $\abs{f}$, $f^+$ u. $f^-$.
\end{satz}


% Vorlesung 17

\begin{satz}
  \begin{itemize}
    \item Sei $(\Omega, \mathcal{O})$ ein topologischer Raum und $f : \Omega \to \R^n$ stetig. Dann ist $f$ $(\sigma(\mathcal{O}), \Bor(\R^n))$-messbar. % und $(\LebAlg(\mathcal{O}), \LebAlg(\R^n))$-messbar.
    \item $\sigma(\mathcal{O})$ ist die kleinste $\sigma$-Algebra, bezüglich der alle stetigen Funktionen $f : \Omega \to \R^n$ Borel-messbar sind.
  \end{itemize}
\end{satz}

\begin{satz}[von Lusin]
  Sei $M \in \LebAlg(\R^n)$ mit $\lambda_n(M) < \infty$ und $f : M \to \R$ beschränkt. Dann ist $f$ genau dann Borel-messbar, wenn gilt:
  \[ \fa{\epsilon > 0} \ex{K_\epsilon \subset M \text{ kompakt}} \lambda_n(M \setminus K_\epsilon) < \epsilon \text{ und } f|_{K_\epsilon} \text{ stetig}. \]
\end{satz}

\begin{defn}
  Eine Funktion $f : \R \to \R$ heißt \emph{Càdlàg-Funktion} (continue à droite, limite à gauche), falls für alle $x \in \R$ gilt:
  \[ \lim_{y \uparrow x} f(y) \text{ existiert} \quad \text{und} \quad \lim_{y \downarrow x} f(y) = f(x). \]
\end{defn}

\begin{beob}
  Jede kumulierte VF ist eine Càdlàg-Funktion.
\end{beob}

\begin{defn}
  Die \emph{Variation} von $g : \cinterval{a}{b} \to \R$ bzgl. einer Zerlegung $Z = \{ a = x_0 < ... < x_n = b \}$ von $\cinterval{a}{b}$ ist die nicht-negative Zahl
  \[ V(g, Z) \coloneqq \sum_{j=1}^{n} |g(x_j) - g(x_{j-1})|. \]
  Die \emph{Totalvariation} von $g : \cinterval{a}{b} \to \R$ ist
  \[ V_a^b(g) \coloneqq \sup\left\{ V(g, Z) : Z \text{ Zerlegung von } \cinterval{a}{b} \right\} \in \R_{\ge 0} \cup \{ \infty \}. \]
  Falls $V_a^b(g) < \infty$, so heißt $g$ \emph{von beschränkter Variation}.
\end{defn}

\begin{satz}
  Es sind messbar: \enspace
  \begin{minipage}[t]{0.6 \linewidth}
    \inlineitem{Monotone Fktn,} \enspace
    \inlineitem{Càdlàg-Fktn,} \\
    \inlineitem{Fktn von beschränkter Variation}
  \end{minipage}
\end{satz}

\begin{defn}
  Eine $\Alg$-messbare numerische Funktion $X$ über einem W-Raum $(\Omega, \Alg, \P)$ heißt \emph{Zufallsgröße} (ZG) oder \emph{Zufallsvariable}.
\end{defn}

% Ausgelassen: Typische Bezeichnung mit Großbuchstaben, beginnend mit X, Y, Z, ...

\begin{bem}
  Häufig fordert man zusätzlich $\P(\{ X = \pm \infty \}) = 0$.
\end{bem}

\begin{nota}
  Für eine ZG $X$ und eine Fkt. $g : \R^1 \to \ER$ schreiben wir
  \[ f(X) \coloneqq f \circ X : \Omega \to \ER. \]
\end{nota}

\begin{defn}
  Das durch die ZG $X$ induzierte Bildmaß
  \[ P_X : \LebAlg(\R^1) \to \I, \quad B \mapsto \P(\{ X \in B \}) = \P(X^{-1}(B)) \]
  heißt \emph{Verteilungsgesetz} der ZG $X$ und
  \[ F_X : \R \to \R, \quad x \mapsto P_X(\ocinterval{-\infty}{x}) = \P(\{ X \leq x \}) \]
  heißt \emph{Verteilungsfunktion} (VF) der ZG $X$.
\end{defn}

% Kapitel 3.2. Existenz einer ZG bei gegebener VF

\begin{satz}
  Sei $F$ eine VF auf $\R^1$. Dann existiert ein W-Raum $(\Omega, \Alg, \P)$ und eine ZG $X$ auf $\Omega$ derart, dass $F_X = F$.
\end{satz}

\begin{beweis}
  \begin{enumerate}
    \item Möglichkeit: Wähle $\Omega \coloneqq \R^1$, $\Alg \coloneqq \LebAlg(\R^1)$ und $\P \coloneqq \mu_F$ als das von von $F$ erzeugte Maß und setze $X \coloneqq \id$.
    \item Möglichkeit: Wähle $\Omega \coloneqq \I$, $\Alg \coloneqq \Leb(\I)$, $\P \coloneqq \lambda_1$. Setze
    \[
      X(w) \coloneqq F^{-}(w) \coloneqq \inf \{ F \geq w \} \enspace \text{ für } w > 0, \quad
      X(0) \coloneqq \lim_{w \downarrow 0} F^{-}(w)
    \]
  \end{enumerate}
\end{beweis}

% Ausgelassen: Wichtiges Prinzip bei der erzeugung von Pseudo-Zufallszahlen


% Vorlesung 18

\begin{defn}
  Sei $X_1, ..., X_n$ eine endliche Familie von ZGn über $(\Omega, \Alg, \P)$. Diese Familie heißt \emph{stochastisch unabhängig}, falls
  \[ \P(\bigcap_{i=1}^n \{ X_i \in B_i \}) = \prod_{i=1}^n \P(\{ X_i \in B_i \}) \quad \text{für alle $B_1, ..., B_n \in \LebAlg(\ER)$.} \]
\end{defn}

\begin{satz}
  Seien $X_1, ..., X_n$ unabhängige ZGn über $(\Omega, \Alg, \P)$ und $g_1, ..., g_n : \R \to \R$ Borel-messbar. Setze $Y_i \coloneqq g_i(X_i) \coloneqq g_i \circ X_i$ für $i = 1, ..., n$, dann sind auch $Y_1, ..., Y_n$ unabhängige ZGn.
\end{satz}

% Kapitel 3.3. Integrale nichtnegativer messbarer Funktionen

\begin{defn}
  Eine Funktion $f : (\Omega, \Alg) \to (\R, \Bor)$ heißt \emph{einfache Funktion} oder \emph{Elementarfunktion} auf $(\Omega, \Alg)$, wenn gilt:
  \begin{multicols}{3}
    \begin{itemize}
      \item $f$ ist messbar
      \item $f(\Omega) \subset \cointerval{0}{\infty}$
      \item $f(\Omega)$ ist endlich
    \end{itemize}
  \end{multicols}
  Die Menge aller elementaren Funktionen auf $(\Omega, \Alg)$ ist $\E(\Omega, \Alg)$.
\end{defn}

\begin{nota}
  $a \wedge b \coloneqq \min \{a, b\} \enspace \text{und} \enspace a \vee b \coloneqq \max \{a, b\}$
\end{nota}

\begin{satz}
  Seien $f, g \in \E(\Omega, \Alg)$ und $a \geq 0$. Dann auch in $\E(\Omega, \Alg)$:
  \begin{multicols}{5}
    \begin{itemize}
      \item $f + g$
      \item $f \cdot g$
      \item $f \vee g$
      \item $f \wedge g$
      \item $a \cdot f$
    \end{itemize}
  \end{multicols}
\end{satz}

\begin{defn}
  Sei $f \in \E(\Omega, \Alg)$ und $\Omega = A_1 \sqcup ... \sqcup A_k$ eine disjunkte Vereinigung von Mengen mit $A_j \in \Alg$ für alle $j = 1, ..., k$, sodass $f(A_j) = \{ y_j \}$, dann heißt die Darstellung
  \[ f = \sum_{j=1}^k y_j \cdot \ind_{A_j} \quad \text{\emph{kanonische Darstellung}.} \]
\end{defn}

\begin{defn}
  Sei $(\Omega, \Alg, \mu)$ ein Maßraum, $f : \Omega \to \R$ elementar. Dann heißt die (von der Darstellung $f = \sum_{j=1}^k y_j \cdot \ind_{A_j}$ unabh.) Zahl
  \[ \IntOmu{f} \coloneqq \sum_{j=1}^k y_j \mu(A_j) \quad \text{\emph{$\mu$-Integral} von $f$.} \]
\end{defn}

\begin{satz}
  Es gilt für $f, g \in \E(\Omega, \Alg)$, $a, b \geq 0$:
  \begin{itemize}
    \miniitem{0.3\linewidth}{$\IntOmu{\ind_A} = \mu(A)$}
    \miniitem{0.5\linewidth}{$f \leq g \implies \IntOmu{f} \leq \IntOmu{g}$}
    \item $\IntOmu{a \cdot f + b \cdot g} = a \cdot \IntOmu{f} + b \cdot \IntOmu{g}$
  \end{itemize}
\end{satz}

% Ausgelassen: Beispiel Dirichlet-Funktion $\ind_{\Q}$

\begin{satz}
  Sei $(f_n)_{n \in \N}$ eine isotone (= monotone) Folge elementarer Funktionen über $(\Omega, \Alg)$. Dann gilt für jede elementare Funktion $f$ mit $f \leq \sup_{n \in N} f_n$ die Ungleichung $\IntOmu{f} \leq \sup_{n \in \N} \IntOmu{f_n}$.
\end{satz}

\begin{kor}
  Seien $(f_n)_{n \in \N}$ und $(g_n)_{n \in \N}$ isotone Folgen elementarer Funktionen mit $\sup_{n \in \N} f_n = \sup_{n \in \N} g_n$. Dann ist $\sup_{n \in \N} \IntOmu{f_n} = \sup_{n \in \N} \IntOmu{g_n}$.
\end{kor}

\begin{satz}
  Sei $f : (\Omega, \Alg, \mu) \to (\ER, \LebAlg(\ER))$ nichtnegativ. Dann gibt es eine isotone Folge $(f_n)_{n \in \N}$ elementarer Funktionen mit $\sup_{n \in \N} f_n = f$.
\end{satz}

\begin{defn}
  Sei $f : (\Omega, \Alg, \mu) \to (\ER, \LebAlg(\ER))$ nichtnegativ und $(f_n)_{n \in \N}$ eine Folge elementarer Funktionen mit $\sup_{n \in \N} f_n = f$. Dann heißt
  \[ \IntOmu{f} \coloneqq \sup_{n \in \N} \IntOmu{f_n} \quad \text{\emph{$\mu$-Integral} von $f$.} \]
\end{defn}

% Kapitel 3.4. Integral einer beliebigen, messbaren Funktion

\begin{defn}
  Eine $\Alg$-messbare, numerische Fkt. $f : (\Omega, \Alg, \mu) \to (\ER, \LebAlg(\ER))$ heißt \emph{$\mu$-integrierbar}, falls
  \[ \IntOmu{f^+} < \infty \quad \text{und} \quad \IntOmu{f^-} < \infty. \]
  In diesem Fall definieren wir das \emph{Lebesgue-Integral} von $f$ als
  \[ \IntOmu{f} \coloneqq \IntOmu{f^+} - \IntOmu{f^-}. \]
\end{defn}


% Vorlesung 19

\begin{satz}
  Sei $f : (\Omega, \Alg, \mu) \to (\ER, \LebAlg(\R^1))$ messbar. Dann sind äquivalent:
  \begin{itemize}
    \miniitem{0.38 \linewidth}{$f$ ist $\mu$-integrierbar}
    \miniitem{0.6 \linewidth}{$f^+$ und $f^-$ sind $\mu$-integrierbar}
    \miniitem{0.38 \linewidth}{$\abs{f}$ ist $\mu$-integrierbar}
    \miniitem{0.6 \linewidth}{$\exists$ $\mu$-integrierbare Funktion $g$ mit $\abs{f} \leq g$}
  \end{itemize}
\end{satz}

% Ausgelassen: Bemerkung, dass i.A. uneigentliche Riemann-Integrale nicht Lebesgue-integrierbar sind

\begin{satz}
  Seien $f, g : (\Omega, \Alg, \mu) \to (\ER, \LebAlg(\ER))$ $\mu$-integrierbar und $\alpha, \beta \in \R$. Dann sind auch $\mu$-integrierbar:
  \begin{itemize}
    \begin{multicols}{4}
      \item $f \pm g$
      \item $f \vee g$
      \item $f \wedge g$
      \item $\alpha \cdot f$
    \end{multicols}
  \end{itemize}
  Es gilt: \enspace
  \begin{minipage}{0.86\linewidth}
    \begin{itemize}
      \item $\IntOmu{(\alpha \cdot f + \beta \cdot g)} = \alpha \IntOmu{f} + \beta \IntOmu{g}$ \pright{Linearität}
    \end{itemize}
  \end{minipage}
  \vspace{-4pt}
  \begin{itemize}
    \miniitem{0.35 \linewidth}{$\abs{\IntOmu{f}} \leq \IntOmu{\abs{f}}$} %\enspace ($\triangle$-Ungl.)}
    \miniitem{0.63 \linewidth}{$f \leq g \implies \IntOmu{f} \leq \IntOmu{g}$ \pright{Monotonie}}
  \end{itemize} 
\end{satz}

\begin{acht}
  Das Produkt $(f \cdot g)$ ist i.\,A. nicht $\mu$-integrierbar!
\end{acht}

\begin{defn}
  Sei $(\Omega, \Alg, \mu)$ ein Maßraum und $f : (\Omega, \Alg) \to (\ER, \mathcal{L}(\ER))$. Für $p \in \cointerval{1}{\infty}$ heißt $f$ \emph{$p$-integrierbar}, falls $\abs{f}^p$ $\mu$-integrierbar ist.
  \begin{align*}
    L^p(\Omega, \Alg, \mu) &\coloneqq \Set{ f : \Omega \to \ER }{\text{$f$ $p$-integrierbar, also } \IntOmu{\abs{f}^p} < \infty}, \\
    L^\infty(\Omega, \Alg, \mu) &\coloneqq \Set{ f : \Omega \to \ER }{\exists \, C > 0 \,:\, \abs{f} \leq C \text{ fast überall}}
  \end{align*}
  ist dann ein VR, genannt \emph{Lebesgue-Raum} ($L^p$-Raum), mit Norm
  \begin{align*}
    \norm{f}_p &\coloneqq ( \IntOmu{\abs{f}^p} )^{\tfrac{1}{p}} \\
    \norm{f}_\infty &\coloneqq \esssup_{\omega \in \Omega} \, \abs{f(\omega)} \coloneqq \inf \Set{ C \in \R }{ \abs{f} \leq C \text{ fast-überall} }
  \end{align*}
  Wir betrachten in $L^p$ zwei Funktionen als gleich, wenn sie bis auf einer Nullmenge übereinstimmen. Die $\triangle$-Ungleichung in $L^p$ wird auch \emph{Minkowski-Ungleichung} genannt.
\end{defn}

\begin{satz}
  Der $L^p(\mu)$ ist ein vollständiger normierter Raum, \dh{} jede Cauchy-Folge bzgl. der Norm $\norm{\blank}_p$ ist auch konvergent.
\end{satz}

\begin{satz}
  Sei $f \in L^p(\Omega, \Alg, \mu)$, $g \in \L^q(\Omega, \Alg, \mu)$ mit $\tfrac{1}{p} + \tfrac{1}{q} = 1$. Dann ist $fg \in \L^1(\Omega, \Alg, \mu)$ und es gilt
  \[ \norm{fg}_1 \leq \norm{f}_p \cdot \norm{g}_q \quad \text{\emph{(Hölder-Ungleichung).}} \]
\end{satz}

\begin{bem}
  Für $p = 2$ ist $L^p(\Omega, \Alg, \mu)$ der Hilbertraum der quadratisch integrierbaren Funktionen mit dem Skalarprodukt
  \[ \langle f , g \rangle \coloneqq \IntOmu{(f \cdot g)}. \]
  Mit $q = 2$ folgt aus der Hölder-Ungleichung
  \[ \abs{\langle f , g \rangle} = \norm{fg}_1 \leq \norm{f}_2 \cdot \norm{g}_2 \quad \text{\emph{(Cauchy-Schwarz-Ungl.)}} \]
\end{bem}

\begin{satz}
  Sei $f : (\Omega, \Alg, \mu) \to (\ER, \mathcal{L}(\ER))$ nichtnegativ. Dann gilt
  \[ \IntOmu{f} = 0 \quad \iff \quad f \fue{=} 0. \]
\end{satz}

% Kapitel 3.5. Konvergenzsätze für Integrale messbarer Funktionen

% Kapitel 3.5.1. Satz von der monotonen Konvergenz

\begin{satz}[von der monotonen Konvergenz]
  Sei für alle $n \in \N$ die Funktion $f_n : (\Omega, \Alg, \mu) \to (\R^1, \LebAlg(\R^1))$ nicht negativ und $\Alg$-messbar, sodass $(f_n)_{n \in \N}$ eine isotone Folge ist. Dann gilt
  \[ \IntOmu{\lim_{n \to \infty} f_n} = \IntOmu{\sup_{n \in \N} f_n} = \sup_{n \in \N} \IntOmu{f_n} = \lim_{n \to \infty} \IntOmu{f_n}. \]
\end{satz}

\begin{kor}[Beppo Levi]
  Sei $(f_n)_{n \in \N}$ eine Folge nicht negativer, $\Alg$-messbarer, numerischer Funktionen auf $(\Omega, \Alg, \mu)$. Dann gilt
  \[ \IntOmu{\sum_{n=1}^{\infty} f_n} = \sum_{n=1}^\infty \IntOmu{f_n}. \]
\end{kor}

% TODO: Namen dieses Maßes?
\begin{satz}
  Sei $(\Omega, \Alg, \mu)$ ein Maßraum und $f : (\Omega, \Alg) \to (\ER, \Leb(\ER))$ nichtnegativ und $\mu$-integrierbar. Dann definiert
  \[ \nu : \Alg \to \cinterval{0}{\infty}, \quad A \mapsto \Int{A}{}{f}{\mu} = \IntOmu{f \cdot \chi_A} \]
  ein zu $\mu$ absolut stetiges, endliches Maß auf $(\Omega, \Alg)$.
\end{satz}

\begin{lem}[Fatou]
  Sei für $n \in \N$ die Fkt. $f_n : (\Omega, \Alg, \mu) \to (\R^1, \LebAlg(\R^1))$ nicht negativ und $\Alg$-messbar. Dann gilt
  \[ \IntOmu{\liminf_{n \to \infty} f_n} \leq \liminf_{n \to \infty} \IntOmu{f_n}. \]
  Falls $\IntOmu{\sup_{n \in \N} f_n} < \infty$, gilt zusätzlich
  \[ \IntOmu{\limsup_{n \to \infty} f_n} \geq \limsup_{n \to \infty} \IntOmu{f_n}. \]
\end{lem}


% Vorlesung 20

% Kapitel 3.5.3. Satz von F. Riesz

\begin{defn}
  Eine Folge $(f_n)_{n \in \N}$ $\Alg$-messbarer, numerischer Fktn. über $(\Omega, \Alg, \mu)$ \emph{konvergiert $\mu$-fast-überall} gegen $f : \Omega \to \Alg$, falls
  \[ \lim_{n \to \infty} f_n(\omega) = f(\omega) \quad \text{für $\mu$-fast-alle $\omega \in \Omega$ gilt.} \]
\end{defn}

% Ausgelassen: Notation

\begin{satz}[Riesz]
  Sei $(f_n)_{n \in \N}$ Folge in $L^p(\Omega, \Alg, \mu)$, $f_n \xrightarrow[n \to \infty]{\text{f.ü.}} f$ mit $f \in L^p(\mu)$. Dann gilt
  \[ f_n \xrightarrow[n \to \infty]{L^p(\mu)} f \quad \iff \quad \Int{\Omega}{}{\abs{f_n}^p}{\mu} \xrightarrow{n \to \infty} \Int{\Omega}{}{\abs{f}^p}{\mu}. \]
\end{satz}

% Kapitel 3.5.4. Satz von der majorisierten Konvergenz

\begin{satz}[von der majorisierten Konvergenz]
  Sei $(f_n)_{n \in \N}$ Folge $\Alg$-messbarer numerischer Funktionen auf $(\Omega, \Alg, \mu)$ und $g \in L^1(\mu)$ nicht negativ, sodass $\abs{f_n} \leq g$ für alle $n \in \N$. Sei desweiteren $f : \Omega \to \ER$ messbar mit $f_n \xrightarrow[n \to \infty]{\text{$\mu$-f.ü.}} f$. Dann ist
  \[ f \in L^1(\mu) \quad \text{mit} \quad \Int{\Omega}{}{f}{\mu} = \lim_{n \to \infty} \Int{\Omega}{}{f_n}{\mu}. \]
\end{satz}

% Kapitel 3.6. Integration bzgl. des Bildmaßes

\begin{satz}
  Sei $f : (\Omega, \Alg, \mu) \to (\Omega', \Alg')$ und $\mu' \coloneqq \mu \circ f^{-1}$ das Bildmaß von $\mu$ unter $f$. Sei $g : (\Omega', \Alg') \to (\R^1, \Bor(\R^1))$ nicht negativ. Dann gilt
  \[ \Int{\Omega'}{}{g}{\mu'} = \Int{\Omega}{}{(g \circ f)}{\mu}. \]
\end{satz}

% Vorlesung 21

% TODO: Klare Abtrennung Lebesgue-Borel-Maß und Lebesgue-Maß
% TODO: Klare Abtrennung Borel-Mengen und Lebesgue-Mengen
% TODO: Einführung des Symbols $\lambda_d$ für das Lebesgue-Maß auf $\R^d$
\begin{satz}[Transformationssatz]
  Sei $U, \widetilde{U} \opn \R^d$ und sei $\phi : U \to \widetilde{U}$ ein $\mathcal{C}^1$-Diffeomorphismus. Dann ist eine Funktion $f : \widetilde{U} \to \ER$ genau dann auf $\widetilde{U}$ Lebesgue-Borel-integrierbar, wenn $(f \circ \phi) \cdot \abs{\det(D\phi)} : U \to \ER$ auf $U$ Lebesgue-Borel-interierbar ist. In diesem Fall gilt
  \[ \Int{U}{}{(f \circ \phi) \cdot \abs{\det(D\phi)}}{\lambda_d} = \Int{\phi(U)}{}{f}{\lambda_d} = \Int{\widetilde{U}}{}{f}{\lambda_d}. \]
  Obige Gleichung ist auch erfüllt, wenn lediglich $f \geq 0$ gilt.
\end{satz}

\begin{defn}
  Für eine ZG $X : (\Omega, \Alg, \P) \to (\ER, \Bor(\ER))$ heißt die Zahl
  \[ \E X := \Int{\Omega}{}{X}{\P} \qquad \text{\emph{Erwartungswert} (EW) von $X$.} \]
\end{defn}

% Ausgelassen: Interpretation als Schwerpunkt der W-Massenverteilung, Lageparameter

\begin{bem}
  Für eine konstante ZGe $X : \Omega \to \R$, also $\fa{\omega \in \Omega} X(\omega) = x$, gilt $\E X = x$.
\end{bem}

\begin{satz}
  Der Erwartungswert ist linear, \dh{} für ZGn $X$ und $Y$ und $\lambda \in \R$ gilt $\E (\lambda X + Y) = \lambda \E X + \E Y$.
\end{satz}

\begin{satz}
  $\E X = \Int{\R^1}{}{\id}{P_X}$, wobei $P_X \coloneqq \P \circ X^{-1}$.
\end{satz}
% TODO: Eigene Definition für $P_X$, genannt "`Verteilungsgesetz"'

\begin{kor}
  Sei $g : \R^1 \to \R^1$ messbar und $P_X$-integrierbar. Dann gilt
  \[ \E g(X) = \Int{\R^1}{}{g}{P_X} = \Int{-\infty}{\infty}{g(x)}{P_X(x)}, \]
  wobei rechts ein uneigentliches Riemann-Stieltjes-Integral steht.
\end{kor}

% TODO: Definition "`Zufallsvektor"'?
\begin{defn}
  Für Zufallsvektoren $X = (X_1, ..., X_k)$ mit Werten in $\R^k$ definieren wir $\E X \coloneqq (\E X_1, ..., \E X_k)$.
\end{defn}

\begin{bem}
  Sei $X = (X_1, ..., X_k)$ ein Zufallsvektor und $g : \R^k \to \R$ Borel-messbar und $P_X$-integrierbar. Dann ist
  \[ \E g(X_1, ..., X_k) = \Int{\R^k}{}{g}{P_{X}}. \]
\end{bem}

% Kapitel 3.7. Berechnung von Erwartungswerten

% Kapitel 3.7.1. Typen von Verteilungsfunktionen

\begin{satz}
  Sei $F_X$ VF einer ZG $X : (\Omega, \Alg, \P) \to (\R^1, \LebAlg(\R^1)$. Dann existiert für Lebesgue-fast-alle $x \in \R^1$ die Ableitung $F'(x)$.
\end{satz}

% TODO: Definition Verteilungsfunktion
\begin{defn}
  Sei $F_X$ VF einer ZG $X : (\Omega, \Alg, \P) \to (\R^1, \LebAlg(\R^1)$.
  \begin{itemize}
    \item $F_X$ heißt \emph{diskret}, falls $F_X$ höchstens abzählbar viele Sprungstellen $x_1, x_2, ... \in \R$ besitzt mit
      \[ \fa{j \in J \subset \N} p_j \coloneqq F_X(x_j) - \lim_{\mathclap{x \uparrow x_j}} F_X(x) > 0, \quad \sum_{j=1}^\infty p_j = 1. \]
    Dann ist $F_X$ zwischen den Sprüngen konstant.
    \item $F_X$ heißt \emph{stetig} (diffus, atomlos), wenn $F_X$ in jedem Punkt stetig ist. Dann gilt $P_X(\{ X = x \}) = 0$ für alle $x \in \R$.
  \end{itemize}
  Für stetige Verteilungen ergibt sich eine weitere Unterteilung:
  \begin{itemize}
    \item $F_X$ heißt \emph{absolutstetig} (totalstetig), wenn es für alle $\epsilon > 0$ ein $\delta > 0$ gibt, sodass für höchstens abzählbar viele, disjunkte Intervalle $I_k = \ocinterval{a_k}{b_k}$ mit $k \in J \subset \N$ gilt:
    \[ \sum_{k \in J} (b_k - a_k) < \delta \enspace \implies \enspace \sum_{k \in J} (F_X(b_k) - F_X(a_k)) < \epsilon. \]
    % Ausgelassen: Beispiel: Lipschitz-stetige Funktionen
    \item $F_X$ heißt \emph{singulärstetig} (stetig, aber nicht absolutstetig), wenn die Wachstumspunkte von $F_X$ eine Nullmenge bilden, also
    \[ \lambda_1(\Set{ x \in \R^1 }{ \fa{\epsilon > 0} F(x+\epsilon)- F(x-\epsilon) > 0 }) = 0 \]
    oder äquivalent dazu die Ableitung fast-überall verschwindet, also
    \[ \lambda_1(\Set{ x \in \R^1 }{ F_X'(x) = 0 }) = 1. \]
    % Ausgelassen: Beispiel: Cantor-Treppe (Teufelstreppe)
  \end{itemize}
\end{defn}

\begin{satz}
  Jede VF $F$ auf $\R^1$ besitzt eine eindeutige Zerlegung (Lebesgue-Zerlegung) als konvexe Linearkombination einer diskreten, einer singulär-stetigen und einer absolut-stetigen VF
  \[ F = \alpha_d F_d + \alpha_s F_s + \alpha_a F_a \quad \text{mit} \quad \alpha_d, \alpha_s, \alpha_a \geq 0, \, \alpha_d {+} \alpha_s {+} \alpha_a = 1. \]
\end{satz}

\begin{defn}
  Falls $F_X$ absolut-stetig, dann heißt die nicht negative, Lebesgue-messbare Funktion
  \[ f = f_X = F'_X : \R \to \R_{\geq 0}, \quad x \mapsto \begin{cases} F'_X(x), & \text{falls Ableitung ex.} \\ 0, & \text{sonst} \end{cases} \]
  \emph{(Wahrscheinlichkeits-)Dichte} (WD) von $F_X$  bzw. von $X$.
\end{defn}

\begin{bem}
  Dann gilt für alle $y \in \R$:
  \[ \Int{\mathclap{-\infty}}{y}{f_X(x)}{x} = F_X(y), \quad \text{also insbesondere} \quad \Int{\mathclap{-\infty}}{\infty}{f_X(x)}{x} = 1. \]
\end{bem}

\begin{bem}
  $F_X$ ist als VF genau dann absolut stetig, wenn das Maß $P_X$ bezüglich $\lambda_1$ absolut stetig ist (also $P_Y \ll \lambda_1$ gilt).
\end{bem}

% Vorlesung vom 10.1.2014

% Ausgelassen: Beispiele:
% * Dichte bei Standard-Normalverteilung und Exponentialverteilung
% * Sprunghöhen bei Poissonverteilung

\begin{satz}\mbox{}\vspace{-16pt}
  \[ \E X = \begin{cases}
    \Int{\R^1}{}{x \cdot f_X(x)}{x}, & \text{falls $F_X$ absolutstetig mit WD $f_X$} \\
    \sum_{j \in J} x_j \cdot p_j, & \parbox[t]{.6\textwidth}{falls $F_X$ diskret mit Sprüngen $p_j$ \\ bei $x_j$, $j \in J \subset \N$}
  \end{cases} \]
\end{satz}

% Ausgelassen: Deutung der $\E X$ als Massenschwerpunkte
% Ausgelassen: Beispiel Würfelwurf

% TODO: Definition der Notation $X \sim Verteilungsfunktion$

\begin{satz}[Erwartungswerte bekannter Zufallsverteilungen]\mbox{}\\[10pt]
  \begin{multicols}{2}
    \begin{itemize}
      \item Für $X \sim$ Poi($\lambda$): $\E X = \lambda$
      \item Für $X \sim$ Exp($\lambda$): $\E X = \tfrac{1}{\lambda}$
      \item Für $N \sim$ N($\mu$, $\sigma^2$): $\E X = \mu$
      \item Für $N \sim$ N(0, 1): $\E \abs{X} = \sqrt{\tfrac{2}{\pi}}$
    \end{itemize}
  \end{multicols}
\end{satz}

\begin{bem}
  Die Cauchy-Verteilung hat die VF bzw. die W-Dichte
  \[ F(x) = \tfrac{1}{\pi} \arctan(x) + \tfrac{1}{2}, \qquad f(x) = \tfrac{1}{\pi (1 + x^2)}. \]
  Eine Cauchy-verteilte ZG $X$ hat keinen EW, da $\Int{\R^1}{}{\abs{x} \cdot f(x)}{x} = \infty$.
\end{bem}

\begin{defn}
  Seien $X_1, ..., X_d : (\Omega, \Alg, \P) \to (\R^1, \Bor(\R^1))$ ZGn,
  \[ F = F_{(X_1, ..., X_d)} : \R^d \to \I, \quad (x_1, ..., x_d) \mapsto \P(X_1 {\leq} x_1, ..., X_k {\leq} x_k) \]
  die dazugehörige VF und $P = P_{(X_1, ..., X_d)}$ das von der VF induzierte Maß auf $\Bor(\R^d)$.
  \begin{itemize}
    \item $F$ heißt \emph{diskret}, falls es eine höchstens abzählbare Menge $\Set{ y_i \in \R^d }{ i \in I }$ mit $I \subset \N$ gibt, sodass
    \[ \fa{i \in I} P(\{ y_i \}) > 0 \quad \text{und} \quad \sum_{i \in I} P(\{ y_i \}) = 0. \]
    \item $F$ heißt \emph{stetig}, wenn $P(\{ y \}) = 0$ für alle $y \in \R^1$.
    \item $F$ heißt \emph{absolut stetig}, falls das Maß $P$ absolut stetig bzgl. dem Lebesgue-Maß ist, also $P \ll \lambda_d$ gilt. Dazu äquivalent: Für alle $\epsilon > 0$ gibt es ein $\delta > 0$, sodass für höchstens abzählbar viele, disjunkte Elementarquader $Q_{j} = \ocinterval{a_j}{b_j}$ mit $j \in J \subset \N$  gilt:
    \[ \sum_{j \in J} \lambda_d(Q_j) \leq \delta \implies \sum_{j \in J} P(Q_j) = \sum_{j \geq J} (\triangle F) Q_j \leq \epsilon. \]
    \item $F$ heißt \emph{singulär stetig}, wenn $F$ stetig ist und eine Lebesgue-Menge $S$ mit $\lambda_d(S) = 0$ und $P(S) = 1$ existiert.
  \end{itemize}
\end{defn}

\begin{bem}
  Falls $F$ absolut stetig, ex. die W-Dichte, die f.\,ü. durch
  \[ f = f_{(X_1, ..., X_d)} : \R^d \to \R_{\geq 0}, \quad (x_1, ..., x_d) \mapsto \tfrac{\partial^d}{\partial x_1 \cdots \partial x_d} F(x_1, ..., x_d) \]
  gegeben ist und $\Int{\mathclap{\ocinterval{-\infty}{x}}}{}{f(y)}{y} = F(x)$ für alle $x \in \R^d$ erfüllt.
\end{bem}

% Ausgelassen: Obiges $f$ wird auch als Radon-Nikodym-Ableitung bezeichnet

\begin{satz}
  Sei $X$ eine ZG und $g : \R^1 \to \R^1$ messbar. Dann gilt
  \[ \E g(X) = \begin{cases}
    \Int{\R^1}{}{g(x) \cdot f_X(x)}{x}, & \text{falls $F_X$ absolutstetig mit WD $f_X$} \\
    \sum_{j \in J} g(x_j) \cdot p_j, & \parbox[t]{.6\textwidth}{falls $F_X$ diskret mit Sprüngen $j_k$ \\ bei $x_j$, $j \in J \subset \N$ (und wohldefiniert)}
  \end{cases} \]
\end{satz}

% Ausgelassen: Analoge Überlegung für $g . \R^d \to \R$ Borel-messbar und ZGn $X_1, ..., X_d$, dann
% * $\E g(X_1, ..., X_d) = \Int{\R^1}{}{g \cdot f_{(X_1, ..., X_d)}}{\lambda_d}$
%   falls $F_{(X_1, ..., X_d)}$ absolut stetig mit Dichte $f_{(X_1, ..., X_d)}$
% * $\E g(X_1, ..., X_k) = \sum_{i \geq 1} g(x_i^{(1)}, ..., x_i^{(k)}) p_i$,
%   falls $F_{(X_1, ..., X_d)}$ diskret

% Riemann-Stieltjes-Integral

\begin{defn}
  Eine \emph{Zerlegung} eines Intervalls $\cinterval{a}{b}$ ist eine geordnete endliche Menge $Z = \{ a = x_0 < x_1 < ... < x_k = b\} \subset \cinterval{a}{b}$. Eine weitere Zerlegung $\widetilde{Z}$ desselben Intervalls heißt \emph{Verfeinerung} von $Z$, falls $\widetilde{Z} \supset Z$.
\end{defn}

\begin{nota}
  Die Menge aller Zerlegungen von $\cinterval{a}{b}$ ist $\mathcal{Z}(\cinterval{a}{b})$.
\end{nota}

\begin{defn}
  Eine Menge von Stützstellen bzgl. einer Zerlegung $\{ x_0 < ... < x_k \}$ von $\cinterval{a}{b}$ ist eine Menge $\{ \xi_1, ..., \xi_k \}$ mit $\xi_i \in \ointerval{x_{i{-}1}}{x_i}$ für $i \in \{ 1, ..., k \}$.
\end{defn}

\begin{defn}
  Für zwei Funktionen $f, g : \cinterval{a}{b} \to \R$, eine Zerlegung $Z = \{ a = x_0 < ... < x_n = b \}$ von $\cinterval{a}{b}$ und Stützstellen $\xi_1, ..., \xi_n$ bzgl. $Z$ heißt die Summe
  \[ S(f, \d g, Z, \xi_1, ..., \xi_n) \coloneqq \sum_{j=1}^{n}\!f(\xi_j)(g(x_j) - g(x_{j{-}1})) \]
  \emph{Riemann-Stieltjes-Summe} von $f$ bzgl. $g$ und der Zerlegung $Z$ mit Stützstellen $\xi_1, ..., \xi_n$.
\end{defn}

\begin{defn}
  Seien $f, G : \cinterval{a}{b} \to \R$. Die Funktion $f$ heißt \emph{Riemann-Stieltjes-integrierbar} (RS-integrierbar) bzgl. der \emph{Gewichtsfunktion} $G$, wenn gilt: Es gibt ein $\iota \in \R$, sodass für alle $\epsilon > 0$ eine Zerlegung $Z_{\epsilon}$ von $\cinterval{a}{b}$ existiert, sodass für alle Verfeinerungen $Z \supset Z_{\epsilon}$ und Wahlen von Stützstellen $\xi_1, ..., \xi_n$ gilt:
  \[ \abs{\iota - S(f, \d G, Z, \xi_1, ..., \xi_n)} \le \epsilon. \]
  Dieses (eindeutig bestimmte) $\iota$ heißt \emph{Riemann-Stieltjes-Integral} (RS-Integral) von $f$ bzgl. $G$, geschrieben
  \[ \Int{a}{b}{f(x)}{G(x)} \coloneqq \iota. \]
\end{defn}

\begin{bem}
  Mit $G \coloneqq \id$ erhalten wir aus dem RS-Integral das gewöhnliche Riemann-Integral.
\end{bem}

\begin{satz}
  Das RS-Integral ist sowohl in der integrierten Funktion als auch der Gewichtsfunktion linear.
\end{satz}
% Ausgelassen: Genaue Formulierung davon (siehe Ana2-Zusammenfassung)

\begin{satz}
  Für $f$ bzgl. $G$ auf $\cinterval{a}{b}$ RS-int'bar und $G$ stetig diff'bar gilt
  \[ \Int{a}{b}{f(x)}{G(x)} = \Int{a}{b}{f(x) \cdot G'(x)}{x}. \]
\end{satz}

% Ausgelassen: Lemmas für RS-Integral über halboffene Intervalle

\begin{satz}[Partielle Integration] % für RS-Integrale
  Sei $f : \cinterval{a}{b} \to \R$ bzgl. $G : \cinterval{a}{b} \to \R$ RS-integrierbar. Dann ist auch $G$ bzgl. $f$ RS-integrierbar und es gilt
  \[ \Int{a}{b}{f(x)}{G(x)} = \left[ G(x) \cdot f(x) \right]_a^b - \Int{a}{b}{G(x)}{f(x)}. \]
\end{satz}

\begin{bem}
  Wir können uneigentliche RS-Integrale analog zu uneigentlichen Riemann-Integralen definieren.
\end{bem}

% Ausnutzen der partiellen Integration zur Berechnung von Erwartungswerten
\begin{satz}
  Sei $\E \abs{X} = \Int{0}{\infty}{1 - F_X(x) + F_X(-x)}{x} < \infty$ und $\lim_{x \to \infty} x \cdot F_X(-x) = \lim_{x \to \infty} x \cdot (1-F_X(x)) = 0$. Dann gilt
  \[ \E X = \Int{0}{\infty}{1 - F_X(x) - F_X(-x)}{x}. \]
\end{satz}

% TODO: Steht hier etwas wichtiges (und richtiges)?
\iffalse
  \[ \E X = \Int{- \infty}{\infty}{x}{F(x)} \]

  Falls $\lim{x \to \infty} x F_X(-x) = \lim{x \to \infty} x (1 - F_X(x)) = 0$, so gilt

  Genauso werden Erwartungswerte von Funktionen von $X$ berechnet, z.B. mit $x^2 F_X(-x) \xrightarrow{x \to \infty} 0$ und $x^2 (1 - F_X(x)) \xrightarrow{x \to \infty} 0$

  $\E X^2 = 2 \Int{0}{\infty}{x (1 - F_X(x) + F_X(-x))}{x} = \P(|X| > x)$ (falls $F_X$ stetig)

  $\E |X|^k = k \Int{0}{\infty}{x^{k-1} (1 - F_X(x) + F_X(-x))}{x}$
\fi

\begin{satz}
  $\E X = \Int{\R^1}{}{\id}{P_X} = \Int{-\infty}{\infty}{x}{F_X(x)}$
\end{satz}

% Vorlesung vom 15.1.2014

% Kapitel 3.8. Momente von Zufallsgrößen bzw. von Verteilungsfunktionen

\begin{defn}
  Sei $X$ eine ZG über $(\Omega, \Alg, \P)$ und $k \in \N$. Dann heißt
  \begin{itemize}
    \item $\E X^k$ \emph{$k$-tes Moment},
    \item $\E \abs{X}^k$ \emph{$k$-tes absolutes Moment},
    \item $\E (X - \E X)^k$ \emph{$k$-tes zentriertes Moment},
    \item $\E \abs{X - \E X}^k$ \emph{$k$-tes zentriertes absolutes Moment},
    \item $\Var(X) \coloneqq \mathbb{D}^2 X \coloneqq \E (X - \E X)^2$ \emph{Varianz} (Dispersion, Streuung),
    \item $\sqrt{\Var(X)}$ \emph{Standardabweichung} von $X$.
  \end{itemize}
\end{defn}
% Ausgelassen: Mechanische Deutung der Momente, z.B. von $\mathbb{D}^2 X$ als Trägheitsmomente der W-Massenverteilung

\begin{lem}
  Es gilt $\Var(X) = \E (X {-} \E X)^2 = \E X^2 - (\E X)^2 \geq 0$.
  % Zwischenschritt: $\E (X^2 - 2 X \cdot \E X + (\E X)^2)$
\end{lem}

\begin{kor}
  $(\E X)^2 \leq \E (X^2)$
\end{kor}

\begin{lem}
  $\E X^k = \Int{\Omega}{}{X^n}{\P} = \Int{\R^1}{}{\id^n}{P_X} = \Int{-\infty}{\infty}{x^n}{F_X} =$
  \[
    \qquad = \begin{cases}
      \Int{\R^1}{}{x^k \cdot f_X(x)}{x}, & \text{falls $F_X$ absolutstetig mit WD $f_X$} \\
      \sum_{j \in J} x_j^k \cdot p_j, & \parbox[t]{0.5\textwidth}{falls $F_X$ diskret mit Sprüngen $p_j$ \\ bei $x_j$, $j \in J \subset \N$}
    \end{cases}
  \]
\end{lem}

\begin{bem}
  Falls $\E \abs{X}^k < \infty$, dann existiert auch $\E X^k$.
\end{bem}

\begin{lem}
  Es gilt für eine ZG $X$ und $a, b, c \in \R^1$:
  \begin{itemize}
    \begin{multicols}{2}
      \item $\Var(aX+b) = a^2 \Var(X)$
      \item $\Var(X) \leq \E (X-c)^2$
      %\item $\Var(X) = \min_{a \in \R} \E (X-a)^2$
    \end{multicols}
    \item $\Var(X) = 0$ $\iff$ $\E (X - \E X) = 0$ $\iff$ $X \equiv \mathrm{const}$ $\P$-fast-sicher
  \end{itemize}
\end{lem}

% TODO: Kumulanten, kumulantenerzeugende Funktion, Med (?)

\begin{satz}[Verallgemeinerte Tschebyschow-Ungleichung]
  Sei $X$ sei eine ZG und $g : \cointerval{0}{\infty} \to \cointerval{0}{\infty}$ nicht fallend. Dann gilt für alle $\epsilon > 0$:
  \[ \P(\abs{X} \geq \epsilon) \leq \frac{\E g(\abs{X})}{g(\epsilon)} \]
\end{satz}

% Spezialfälle:
\begin{kor}
  \begin{itemize}
    \item \emph{Markow-Ungleichung}: $\P(\abs{X} \geq \epsilon) \leq \tfrac{\E \abs{X}}{\epsilon}$.
    \item \emph{Tschebyschow-Ungleichung}: $\P(\abs{X - \E X} \geq \epsilon) \leq \tfrac{\Var(X)}{\epsilon^2}$.
    \item Für alle $a > 0$ gilt $\P(\abs{X} \geq \epsilon) \leq \tfrac{\E \exp(a \abs{X})}{\exp(a\epsilon) }$.
  \end{itemize}
\end{kor}

\iffalse
  $0 > B = \E \exp(a \abs{X}) \geq \frac{a^n \E \abs{X}^n}{n!}$
  $\implies$ $\E \abs{X}^n \leq \tfrac{B}{a^n} n!$ für alle $n \in \N$
  $\implies$ $\abs{\E X^n} \leq \tfrac{B}{a^n} n!$
  $\implies$ $\E \exp(z X)$ ist analytisch für $\abs{z} < a$
\fi

\begin{defn}
  Die Abbildung $t \mapsto \E \exp(t X) = \sum_{n=0}^\infty \tfrac{t^n}{n!} \E X^n$ heißt momenterzeugende Funktion der ZG $X$ oder VF $F_X$.
\end{defn}

% Beispiel
\begin{bsp}
  Für $X \sim N(\mu, \sigma^2)$ gilt $\E \exp(z X) = \exp\left( z\mu + \tfrac{\sigma^2}{2} z^2 \right)$.
\end{bsp}

\begin{satz}
  Für $p, q \in \ointerval{1}{\infty}$ mit $\tfrac{1}{p} + \tfrac{1}{q} = 1$ und ZGen $X, Y$ gilt
  \[
    \abs{\E X Y} \leq \E \abs{XY} \leq (\E \abs{X}^p)^{\tfrac{1}{p}} \cdot (\E \abs{X}^q)^{\tfrac{1}{q}}
    \quad \text{\emph{(Hölder-Ungl).}}
  \]
\end{satz}

\begin{kor}
  \emph{Cauchy-Schwarz-Ungl}: $\abs{\E XY} \leq \sqrt{ \E (X^2) \cdot \E(Y^2) }$
\end{kor}

\iffalse
  Verallgemeinerung:

  $\E(X_1^{n_1} \cdots X_k^{n_k}) \leq (\E \abs{X_1}^n)^{\tfrac{n_1}{n}} \cdots (\E \abs{X_k}^n)^{\tfrac{n_k}{n}}$, $n = n_1 + ... + n_k$
\fi

\begin{defn}
  Eine Funktion $g : J \to \R$ heißt \emph{konvex}, falls gilt:
  \[ \fa{x, y \in J} \fa{t \in \I} g(t a + (1{-}t)b) \leq t g(a) + (1{-}t) g(b) \]
\end{defn}

\begin{satz}
  Sei $g : \R^1 \to \R^1$ konvex auf einem Intervall $J$ und $X$ eine ZG mit $\P(X \in J) = 1$ und $\P \abs{X} < \infty$. Dann gilt für $x, y \in I$, $t \in \I$:
  \[
    g(\E X) \leq \E g(X)
    \quad \text{(\emph{Jensen-Ungleichung}).}
  \]
\end{satz}

\iffalse
  Per Induktion folgt: $g(\sum_{i=1}^n \alpha_i x_i) \leq \sum_{i=1}^n \alpha_i g(x_i)$ für $x_1, ..., x_n \in J$, $\alpha_i \geq 0$, $\alpha_1 + ... + \alpha_n = 1$
\fi

\begin{kor}
  % Für  $g(x) = \abs{x}^{\tfrac{n}{m}}$ für $0 < m \leq n$:
  \emph{Ljapunow-Ungleichung}: $\abs{\E X}^{\tfrac{n}{m}} \leq \E \abs{X}^{\tfrac{n}{m}}$
\end{kor}

\begin{frage}[Momentenproblem (MP)]
  Unter welchen Bedingungen ist eine Folge $(c_i)_{i \in \N}$ eine Momentenfolge einer ZG $X$ \dh{} $c_i = \E X^i$?
\end{frage}

\begin{antwort}
  % $0 \leq \E(z_0 + z_1 X + ... + z_n X^n)^2 = \E(\sum_{i,j=1}^n z_i z_j X^{i+j}) = \sum_{i,j=1}^n z_i z_j c_{i+j}$ genau dann, wenn

  Genau dann, wenn

  \[
    \fa{n \in \N} \det \left( \begin{smallmatrix} c_0 & c_1 & \cdots & c_n \\ c_1 & c_2 & \cdots & c_{n+1} \\ \vdots & \vdots & & \vdots \\ c_n & c_{n+1} & \cdots & c_{2n} \end{smallmatrix} \right) \geq 0.
  \]
\end{antwort}

\begin{frage}
  Wann ist die zugehörige VF $F_X$ eindeutig festgelegt?
\end{frage}

\begin{bem}
  Dabei unterscheiden wir folgende Momentenprobleme:
  \begin{itemize}
    \begin{multicols}{2}
      \item Stieltjes: $c_n = \Int{0}{\infty}{x^n}{F_X(x)}$
      \item Hamburger: $c_n = \Int{\mathclap{-\infty}}{\infty}{x^n}{F_X(x)}$
    \end{multicols}
  \end{itemize}
\end{bem}

\begin{antwort}
  Hinreichende Bedingung für Bestimmtheit (Carleman):
  \begin{itemize}
    \begin{multicols}{2}
      \item Stieltjes: $\sum_{n=1}^\infty c_{n}^{-\tfrac{1}{2n}} = \infty$
      \item Hamburger: $\sum_{n=1}^\infty c_{2n}^{-\tfrac{1}{2n}} = \infty$
    \end{multicols}
  \end{itemize}
\end{antwort}


% Vorlesung vom 17.1.2014

% Kapitel 3.9. Randverteilungen von ZVen und Unabhängigkeit

\begin{bem}
  Sei $X = (X_1, ..., X_k)$ eine $k$-dimensionale ZG über $(\Omega, \Alg, \P)$. Die ZG $X_1, ..., X_k$ heißen \emph{stochastisch unabhängig}, falls
  \[ \P(\bigcap_{i=1}^k \{ X_i \in B_i \}) = \prod_{i=1}^k \P(\{ X_i \in B_i \}) \]
  für alle $B_1, ..., B_k \in \mathcal{L}(\R^1)$. Dies ist genau dann der Fall, wenn
  \[ \P(X_1 \leq x_1, ..., X_k \leq x_k) = \P(X_1 \leq x_1) \cdot ... \cdot \P(X_k \leq x_k) \]
  für alle $x_1, ..., x_k \in \R$. Falls $F_X$ absolut stetig ist, also die W-Dichte $f_X(x_1, ..., x_k) = \tfrac{\partial F(x_1, ..., x_k)}{\partial x_1 \cdots \partial x_k}$ existiert, ist dies äquivalent zu
  \[ \fa{x_1, ..., x_k {\in} \R} f_X(x_1, ..., x_k) = f_{X_1}(x_1) \cdot ... \cdot f_{X_k}(x_k). \]
  Für diskrete Verteilungen ist dies äquivalent zu
  \[ \fa{x_1, ..., x_k {\in} \R} \P(X_1 {=} x_1, ..., X_k {=} x_k) = \P(X_1 {=} x_1) \cdot ... \cdot \P(X_k {=} x_k). \]
\end{bem}

\begin{defn}
  Für eine $k$-dimensionale ZV $X = (X_1, ..., X_k)$ heißt
  \[ F_{(X_{i_1}, ..., X_{i_l})}(x_{i_1}, ..., x_{i_l}) = \quad \lim_{\mathclap{\substack{x_j \to \infty \\ j \in \{ 1, ..., k\} \setminus \{ i_1, ..., i_l \}}}} \quad F_{X}(x_1, ..., x_k) \]
  mit $l \in \{1, ..., k{-}1 \}$ und $1 \leq i_1 < ... < i_l \leq k$ \emph{$l$-dimensionale Rand-(Marginal-)verteilungsfunktion}.
\end{defn}

\begin{bem}
  Falls $f_X(x_1, ..., x_k)$ ex., so existieren alle Randdichten
  \[ f_{(X_{i_1}, ..., X_{i_l})}(x_{i_1}, ..., x_{i_l}) = \Int{\R^{k{-}l}}{}{f_{X}(x_1, ..., x_k)}{x_{i_1} \cdots \d x_{i_l}}. \]
  Für $k{=}2$ und ZV diskret mit Masseschwerpunkten $x_m = (x_m^{1}, x_m^{2})$:
  \[ \P(X_1 = x_m^{1}) = \sum_{x_m^{2}} \P(X_1 = x_m^{1}, X_2 = x_m^{2}) \]
  %\[ \P(X_2 = x_m^{2}) = \sum_{x_m^{1}} \P(X_1 = x_m^{1}, X_2 = x_m^{2}) \]
\end{bem}

\begin{bem}
 Im Allgemeinen bestimmen die Randverteilungen nicht die gemeinsame Verteilung des Vektors.
\end{bem}

% Copula: Vorgabe des Zusammenhangs der Komponenten und eindimensionale Randverteilungen

% Kapitel 3.10. Kovarianz und Korrelation

\begin{defn}
  $(X, Y)$ sei eine zweidimensionale ZV über $(\Omega, \Alg, \P)$ mit $\E X^2 < \infty$ und $\E Y^2 < \infty$. Dann heißen
  \begin{align*}
    \cov(X, Y) &\coloneqq \E(X \cdot Y) - \E X \cdot \E Y = \E ((X - \E X) \cdot (Y - \E Y)) \\
    \cor(X, Y) &\coloneqq \tfrac{\cov(X, Y)}{\sqrt{\Var(X) \cdot \Var(Y)}}
  \end{align*}
  \emph{Kovarianz} bzw. \emph{Korrelation} von $X$ und $Y$.
\end{defn}

\begin{satz}
  \begin{itemize}
    \item $\abs{\cor(X, Y)} \leq 1$
    \item Falls $X, Y$ unabhängig, dann gilt $\cov(X, Y) = \cor(X, Y) = 0$.
    \item $\cor(X, Y) = +1 \iff \ex{a > 0, \, b \in \R} \P(Y = aX + b) = 1$
    \item $\cor(X, Y) = -1 \iff \ex{a < 0, \, b \in \R} \P(Y = aX + b) = 1$
  \end{itemize}
\end{satz}

\begin{defn}
  Falls $\cor(X, Y) = 0$, so heißen $X, Y$ \emph{unkorreliert}.
\end{defn}

\begin{sprech}
  \begin{itemize}
    \item $\cor(X, Y) \approx +1$: positive Korrelation
    \item $\cor(X, Y) \approx -1$: negative Korrelation
    %\item $\cor(X, Y) = 0$: Unkorreliertheit
  \end{itemize}
\end{sprech}

\begin{acht}
  Aus Unkorreliertheit folgt i.\,A. nicht Unabhängigkeit!
\end{acht}

\begin{bsp}
  Sei $X$ eine ZG mit der symmetrischen Dichte
  \[
    f_X(x) = f_X(-x)
    \quad \text{und} \quad
    \Int{-\infty}{\infty}{\abs{x}^3 f_X(x)}{x} < \infty,
  \]
  dann ist $\cov(X, X^2) = 0$, aber $X$ und $X^2$ nicht unabhängig.
\end{bsp}

\begin{bem}
 Falls $(X, Y)$ eine zweidimensionale Normalverteilung besitzt, so folgt aus $\cor(X, Y) = 0$ die Unabhängigkeit von $X$ und $Y$.
\end{bem}

\begin{satz}
  $X_1, ..., X_n$ seien paarweise unkorrelierte ZGn mit $\E X_i^2 < \infty$ für $i = 1, ..., n$. Dann gilt
  \[ \Var(X_1 + ... + X_n) = \Var(X_1) + ... + \Var(X_n) \]
\end{satz}


% Vorlesung vom 22.1.2014

% Wir wollen die Kovarianz der ZG $X$ und $Y$ berechnen.

\begin{bem}
  Seien $X$ und $Y$ ZGen. Gesucht: $\E (X \cdot Y)$
  \begin{itemize}
    \item Angenommen, es existiert eine gemeinsame WD $f_{(X, Y)}$. Dann:
    \begin{align*}
      \E (XY) &= \Int{\R^2}{}{x y \cdot f_{(X,Y)}(x,y)}{(x, y)} \\
      \E X &= \Int{-\infty}{\infty}{x \left(\Int{-\infty}{\infty}{f_{(X, Y)}(x,y)}{y}\right)}{x}
    \end{align*}
    \item Angenommen, $(X, Y)$ hat Werte in einer höchstens abzählbaren Menge $(x_i, y_j)_{(i,j) \in I\!J}$ mit $I\!J \subset \N {\times} \N$, die mit Wahrscheinlichkeit $p_{ij} > 0$ angenommen werden. Dann gilt
    \begin{align*}
      \E (XY) &= \sum_{(i,j) \in I\!J} x_i y_j p_{ij} \\
      \E X &= \sum_{i \in \pi_1(I\!J)} x_i \cdot \P(X{=}x_i) = \sum_{(i,j) \in I\!J} x_i p_{ij} \\
      \Cov(X, Y) &= \sum_{(i,j) \in I\!J} x_i y_j \left( p_{ij} - \P(X{=}x_i) \cdot \P(Y{=}y_j) \right)
    \end{align*}
    \item Angenommen, $(X, Y)$ ist singulär-stetig verteilt oder besitzt eine singulärstetige Komponente. Dann gilt:
    \begin{align*}
      \E (XY) &= \myint{-\infty}{\infty} \Int{-\infty}{\infty}{x \cdot y}{F(x, y)} \\
      \E (XY) &= \Int{0}{\infty}{\Int{0}{\infty}{\P(X > x, Y > y)}{x}}{y} \quad \text{für $X, Y \geq 0$.}
    \end{align*}
  \end{itemize}
\end{bem}

\iffalse
  1. Fall: Es existiert eine gemeinsame WD von $(X, Y)$, $f_{(X, Y)}(x, y)$ (Lebesgue-messbar, $\geq 0$, $\Int{\R^2}{}{f_{(X,Y)}(x,y)}{(x, y)} = 1$)

  Beispiel: $2$-dimensionale Normalverteilungsdichte

  \[ f_{(X,Y)}(x,y) = \frac{1}{2 \pi \sigma_1 \sigma_2 \sqrt{1 - \rho^2}} \exp \left( - \frac{1}{2 (1 - \rho^2)} \left( \frac{(x-\mu_1)^2}{\sigma_1^2} + \frac{(y-\mu_2)^2}{\sigma_2^2} - \frac{2 \rho (x-\mu_1)(y-\mu_2)}{\sigma_1 \sigma_2} \right) \right), \]

  wobei $\mu_1 = \E X$, $\mu_2 = \E Y$, $\sigma_1^2 = \Var(X)$, $\sigma_2^2 = \Var(Y)$

  $\E (X \cdot Y) = \Int{\R^2}{}{x y \cdot f_{(X,Y)}(x,y)}{(x, y)} = \mu_1 \cdot \mu_2 + \sigma_1 \cdot \sigma_2 \cdot \rho$

  Also: $\Cov(X, Y) = \sigma_1 \cdot \sigma_2 \cdot \rho$ und $\cor(X, Y) = \rho \in \cinterval{-1}{1}$.

  Randverteilungen:

  $f_X(x) = \Int{-\infty}{\infty}{f_{(X,Y)}(x,y)}{y}$
  $f_Y(y) = \Int{-\infty}{\infty}{f_{(X,Y)}(x,y)}{x}$

  $\E X = \Int{-\infty}{\infty}{x f_X(x)}{x} = \Int{-\infty}{\infty}{\Int{-\infty}{\infty}{x f_{(X,Y)}(x,y)}{x}}{y}$

  2. Fall: $(X, Y)$ mit Werten in einer höchstens abzählbaren Menge an $(x_i, y_i)$ wird mit Wahrscheinlichkeit $p_{ij} > 0$ angenommen, $i, j = 1, 2, ...$.

  \[ \P((X, Y) = (x_i, y_i)) = \P(X=x_1, Y=y_j) \]
  \[ \E(X \cdot Y) = \sum_{i=1} \sum_{j=1} x_i \cdot y_j p_{ij} \]
  \[ \E X = \sum_{i=1} x_i \P(X = x_i) = \sum_{i=1} \sum_{j=1} x_i p_{ij} \]
  \[ \E Y = \sum_{j=1} y_j \P(Y = y_j) = \sum_{j=1} \sum_{i=1} y_j p_{ij} \]
  \[ \Cov(X, Y) = \E (X \cdot Y) - (\E X) \cdot (\E Y) = \sum_{i=1} \sum_{j=1} x_i y_j (p_{ij} - p_i \cdot q_j) \]

  mit $p_i \coloneqq \sum_{j=1} p_{ij}$, $q_j \coloneqq \sum_{i=1} p_{ij}$

  3. Fall: $(X, Y)$ ist singulär-stetig verteilt oder besitzt eine singulär-stetige Komponente

  Beispiel: Zweidimensionale Exponentialverteilung \ldots

  \[ \overline{F}(x,y) = \P(X > x, Y > y) = \exp \left( -(\lambda x + \mu y + \nu \max(x,y)) \right) \]

  \[ F(x, y) = \P(A^c \cap B^c) = \P((A \cup B)^c) = 1 - \P(A \cup B) = 1 - \P(A) - \P(B) + \P(A \cap B) = 1 - \overline{F}(x,0) - \overline{F}(0,y) + \overline{F}(x,y) \]

  \[ \E XY = \Int{\R^2}{}{x \cdot y}{F(x,y)} = ... = - \Int{0}{\infty}{[y \cdot \P(X > x, Y > y)]_{y=0}^{y=\infty}}{x} + \Int{\R_{\geq 0}^2}{}{\P(X > x, Y > y)}{(x,y)} \]

  Für $(X, Y) \in \R^2$ gilt

  \[ \E (XY) = \Int{0}{\infty}{\Int{0}{\infty}{\underbrace{\P(X > x, Y > y)}_{= \overline{F}(x,y)}}{x}}{y} \]

  Falls $(X, Y) \in \R^2$, so gilt:

  \[ \E (X \cdot Y) = \Int{0}{\infty}{\Int{0}{\infty}{(\P(X > x, Y > y) + \P(X \leq -x, Y \leq -y) - \P(X \geq x, Y \leq -y) - \P(X \leq -x, Y > y))}{y}}{x} \]

  Im Beispiel:

  \[ \E (X \cdot Y) = \Int{0}{\infty}{\Int{0}{\infty}{\exp(-\lambda x - \mu y - \nu \max(x,y))}{x}}{y} = ... = \frac{1}{\lambda (\mu + \nu)} + \frac{1}{\mu (\lambda + \nu)} - (\frac{1}{\lambda} + \frac{1}{\mu}) \frac{1}{\lambda + \mu + \nu} \]

  \[ \E X = \Int{0}{\infty}{x}{F(x)} = \Int{0}{\infty}{\P(X > x)}{x} = \frac{1}{\lambda + \nu} \]
  \[ \cor(X,Y) = ... = \frac{\nu}{(\lambda + \nu) (\mu + \nu) (\lambda + \mu + \nu)} \]

  Also: $\nu = 0$ genau dann, wenn $X$ und $Y$ unabhängig
\fi

% Kapitel 4. Funktionen von Zufalssgrößen und -vektoren

% Kapitel 4.1. Funktion einer Zufallsgröße

\begin{satz}
  Sei $Y \coloneqq g(X)$, wobei $g : \R^1 \to \R^1$ mb und $X$ eine ZG. Dann:
  \[ F_Y(y) = \P(Y \leq y) = \P(X \in g^{-1}(\ocinterval{-\infty}{y})). \]
\end{satz}

\iffalse
  \[ F_Y(y) = \P(Y \leq y) = \P(Y \in \ointerval{-\infty}{y}) = \P(X \in g^{-1}(\ocinterval{-\infty}{y})) \]

  Beispiel: $Y = X^2$, $y \geq 0$

  $F_Y(y) = \P(X^2 \leq y) = \P(\abs{X} \leq \sqrt{y}) = \P(-\sqrt{y} \leq X \leq \sqrt{y}) = \P(X = -\sqrt{y}) + F_X(\sqrt{y}) - F_X(-\sqrt{y}) = F_X(\sqrt{y}) - \lim_{z \uparrow -\sqrt{y}} F_X(z)$
\fi

\begin{satz}
  $X$ sei absolut stetig mit Dichte $f_X$ und $\P(X \in D) = 1$ für $D \subset \R^1$ offen und $g : D \to \R^1$ eine $\mathcal{C}^1$-Funktion mit $g'(x) > 0$ für alle $x \in D$. Dann ist $Y \coloneqq g(X)$ absolut-stetig mit der Dichte
  \[
    f_Y(y) = \begin{cases}
      0, & \text{für } y \in \R^1 \setminus g(D) \\
      \tfrac{f_X(g^{-1}(y))}{\abs{g'(g^{-1}(y))}} & \text{für } y \in g(D)
    \end{cases}
  \]
\end{satz}

\iffalse
  \begin{bsp}
    $Y = e^{N (\mu, \sigma^2)} + c$

    Dann heißt $Y$ logarithmisch normalverteilt

    $g(x) = e^x + c$

    Ausgelassen: Rechnungen
  \end{bsp}
\fi


% Vorlesung vom 24.1.2014

\begin{bem}
  Falls die Ableitung $g' : D \to \R^1$ wechselndes Vorzeichen besitzt, so muss in Monotoniebereiche unterteilt werden.
\end{bem}

\iffalse
  \begin{bsp}
    $Y = e^{N(\mu, \sigma^2) + c}$, speziell $\mu = 0$, $\sigma^2 = 1$, $c = 0$, dann
    \[ f_Y(y) = \frac{1}{\sqrt{2 \pi}} \exp(- \frac{(\log y)^2}{2}). \]
  \end{bsp}

  % Vorkommen:
  % * Korngrößenverteilung
  % * Schadenshöhenverteilung

  Die Funktion
  \[ f_a(y) \coloneqq f_Y(y) \cdot (1 + a \cdot \sin(2 \pi \log y)), y \in \R_{>0}^1, a \in \I \]

  Für $a \in \I$ ist dann $\Int{-\infty}{\infty}{f_a(y)}{y} = 1$

  \[ \E Y^n = \Int{0}{\infty}{y^n f_Y(y)}{y} = ... = \exp(- \frac{n^2}{2}) \]

  und

  \[ \Int{0}{\infty}{y^n f_a(y)}{y} = \exp(- \frac{n^2}{2}) \]
\fi


% Kapitel 4.2. Funktionen eines Zufallsvektors

\iffalse
  Sei $X = (X_1, ..., X_k)$ ein $k$-dimensionaler Zufallsvektor,
  $g = (g_1, ..., g_k) : \R^k \to \R^k$ mit $g_i : \R^k \to \R^1$ für $i = 1, ..., k$ Borel-messbar.
  Dann ist $Y = g(X)$ ein $k$-dimensionaler ZV mit $P_Y = P_X \circ g^{-1}$
  Falls $f_{(X_1, ..., X_k)}$ eine W-Dichte von $X$ ist und $g$ ein $\mathcal{C}^1$-Diffeomorphismus ist, dann existiert die W-Dichte von $f_{(Y_1, ..., Y_k)}$ von $Y$.
\fi

\begin{satz}
  Sei $X = (X_1, ..., X_k)$ ein $k$-dimensionaler Zufallsvektor mit WD $f_X$, $G, H \opn \R^k$ offen und $g = (g_1, ..., g_k) : G \to H$ ein $\mathcal{C}^1$-Diffeo.
  % Ausgelassen: Definition Jacobian, Funktionaldeterminante
  Dann findet man Funktionen $h_i : H \to \R^1$, $i = 1, ..., k$ mit $h(y_1, ..., y_k) = (h_1(y_1, ..., y_k), ..., h_k(y_1, ..., y_k))$ für $(y_1, ..., y_k) \in H$, sodass für die Dichte von $Y = (Y_1, ..., Y_k)$ gilt:
  \[
    f_{Y}(y_1, ..., y_k) = \begin{cases}
      0, \quad \text{für $(y_1, ..., y_k) \not\in H$, ansonsten} \\
      \tfrac{f_{X}(h_1(y_1, ..., y_k), ..., h_k(y_1, ..., y_k))}{\abs{\det D g(h_1(y_1, ..., y_k), ..., h_k(y_1, ..., y_k))}}
    \end{cases}
  \]
\end{satz}

% Beachte: $\det D(h)(y_1, ..., y_k) = \frac{1}{\det D(g)(h_1(y_1, ..., y_k), ..., h_k(y_1, ..., y_k))}$

\iffalse
  \begin{bsp}[Box-Muller-Transformation]

    \begin{align*}
      Y_1 &= g_1(X_1, X_2) = \sqrt{- 2 \log (X_1)} \sin(2 \pi X_2) \\
      Y_2 &= g_2(X_1, X_2) = \sqrt{- 2 \log (X_1)} \cos(2 \pi X_2)
    \end{align*}
    mit $X_1$ und $X_2$ gleichverteilt auf $\I$.

    \[ f_{(X_1)}(x_1, x_2) = \ind_{\ointerval{0}{1}} \]

    Behauptung: Dann ist $f_{(Y_1, Y_2)} = \phi(y_1) \cdot \phi(y_2)$, wobei $\phi(y) = \frac{1}{\sqrt{2 \pi}} \exp(- \frac{y^2}{2})$ oder $Y_1, Y_2 \sim N(0, 1)$ und unabhängig.
  \end{bsp}

  \begin{bsp}
    \begin{align*}
      Y_1 &= g_1(X_1, X_2) = \sqrt{X_1^2 + X_2^2} \\
      Y_2 &= g_2(X_1, X_2) = \begin{cases} \arctan(\frac{X_2}{X_1}) & \text{für $X_2 \geq 0$, $X_1 \in \R^1 \setminus \{ 0 \}$} \\ \arctan(\frac{X_2}{X_1}) + \pi, & \text{für } X_2 < 0, X_1 \in \R^1 \setminus \{ 0 \} \end{cases}
    \end{align*}

    Wenn $X_1, X_2 \sim N(0, \sigma^2)$, unabhängig $\implies$ $f_{(X_1, X_2)}(x_1, x_2) = \phi(\frac{x_1}{\sigma}) \phi(\frac{x_2}{\sigma})$

    Ergebnis: $f_{(Y_1, Y_2)}(y_1, y_2) = \frac{1}{2 \pi} \cdot \underbrace{\frac{y_1}{\sigma^2} \exp(- \frac{y_1^2}{\sigma^2})}_{\text{Dichte der Rayleigh-Verteilung}}$ für $(y_1, y_2) \in \ointerval{0}{\infty} \times \ocinterval{0}{2\pi}$

    \[ F_{Y_1}(y) = ... = 1 - \exp(- \frac{y^2}{2 \sigma^2}) \]
  \end{bsp}
\fi


% Vorlesung vom 29.1.2014

% Kapitel 4.3. Verteilung von Summe, Produkt und Quotient von (unabhängigen) ZGn

\begin{satz}
  $(X, Y)$ besitze eine gemeinsame Dichte $f_{(X, Y)}$. Dann gilt für die Dichten von $Z_1 \coloneqq X + Y$, $Z_2 \coloneqq X \cdot Y$, $Z_3 \coloneqq \tfrac{X}{Y}$:
  \begin{align*}
    f_{Z_1}(z) &= \Int{\mathclap{-\infty}}{\infty}{f_{(X, Y)}(z - y, y)}{y} \overset{\text{Unabh.}}= \Int{\mathclap{-\infty}}{\infty}{f_X(z-y) \cdot f_Y(y)}{y} \\
    f_{Z_2}(z) &= \Int{\mathclap{-\infty}}{\infty}{f_{(X, Y)}(\tfrac{z}{y}, y) \cdot \tfrac{1}{\abs{y}}}{y} \overset{\text{Unabh.}}= \Int{\mathclap{-\infty}}{\infty}{f_X(\tfrac{z}{y}) \cdot f_Y(y) \cdot \tfrac{1}{\abs{y}}}{y} \\
    f_{Z_3}(z) &= \Int{\mathclap{-\infty}}{\infty}{f_{(X, Y)}(z y, y) \cdot \abs{y}}{y} \overset{\text{Unabh.}}= \Int{\mathclap{-\infty}}{\infty}{f_X(zy) \cdot f_Y(y) \cdot \abs{y}}{y}
  \end{align*}
\end{satz}

\begin{bsp}
  Seien $X, Y$ unabhängig, $N(0,1)$-verteilt, $Z \coloneqq \tfrac{X}{Y}$. Dann:
  \[ f_Z(z) = ... = \tfrac{1}{\pi (1 + z^2)} \quad \text{(Cauchy-verteilt).} \] % Dichte der (Standard-)Cauchy-Verteilung
\end{bsp}

\iffalse
  \begin{bsp}
    Sei nun $X \sim F_X$ unabhängig von $Y \sim F_Y$. Dann
    \[ \E g(X, Y) = \Int{\R^2}{}{g(x,y)}{P_{(X, Y)}} = ... = \Int{\R^1}{}{\Int{\R^1}{}{g(x,y)}{P_X(x)}}{P_Y(y)} \]
    Mit Verteilungsfunktionen kann man schreiben:
    \[ \E g(X, Y) = \Int{\R^2}{}{g(x, y)}{F_{X, Y}(x, y)} = \Int{\R^1}{}{\Int{\R^1}{}{g(x, y)}{F_X(x)}}{F_Y(y)} \]
  \end{bsp}
\fi

% Beachte: $F_{(X, Y)}(x, y) \coloneqq F_X(x) \cdot F_Y(y)$.

\begin{defn}
  Seien $X$ und $Y$ unabhängige ZGen. Dann gilt für $z \in \R$:
  \[ F_{X{+}Y}(z) = \P(X {+} Y \leq z) = \Int{\R^1}{}{F_X(z-y)}{F_Y(y)} =: (F_X * F_Y)(z). \]
  Dabei heißt $(F_X * F_Y)$ \emph{Faltung} von $F_X$ und $F_Y$.
\end{defn}

\begin{prop}
  \begin{itemize}
    \item $F_X * F_Y = F_Y * F_X$ (Kommutativität)
    \item $F_{X + Y} = F_X * F_Y$, wenn $X$ und $Y$ unabhängig
    \item Falls $X$ oder $Y$ eine Dichte besitzen, so auch $X {+} Y$ bei Unabh.:
    \begin{align*}
      f_{X+Y}(z) &\overset{\phantom{\text{oder}}}= \Int{-\infty}{\infty}{f_X(z-y)}{F_Y(y)} \overset{\text{oder}}= \Int{-\infty}{\infty}{f_Y(z-x)}{F_X(x)} \\
      &\overset{\text{oder}}= \Int{-\infty}{\infty}{f_Y(z-x)}{f_X(x)}{y}
    \end{align*}
    % (Faltung glättet)
    %\item Verallgemeinerung: $F_{X_1 + ... + X_n} = F_{X_1} * ... * F_{X_n}$, falls $X_1, ..., X_n$ unabhängig.
  \end{itemize}
\end{prop}

\iffalse
  % Gewisse Verteilungen sind "`faltungsstabil"', \dh{} bei der Faltung bleibt der Verteilungstyp erhalten
  \begin{bsp}
    $X_i$ sei Poisson-verteilt mit Paramter $\lambda_i > 0$, $i = 1, 2$. Dann ist $X_1 + X_2$ Poisson-verteilt mit Parameter $\lambda_1 + \lambda_2$, falls $X_1$ und $X_2$ unabhängig sind.
  \end{bsp}

  \begin{bsp}
    Sei $X_i \overbrace{=}^{d} N(\mu_i, \sigma_i^2)$, $i = 1,2$ unabhängig. Dann: $X_1 + X_2 \overbrace{=}^{d} N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)$.
  \end{bsp}
\fi

\begin{satz}
  \begin{itemize}
    \item Seien $X_1$ und $X_2$ unabhängig und $(X_1 {+} X_2)$ normalverteilt (also $X_1 + X_2 \sim N(\mu, \sigma^2)$). Dann sind $X_1$ und $X_2$ normalverteilt.
    \item Seien $X_1$ und $X_2$ unabhängig und $(X_1 {+} X_2)$ Poisson-verteilt (also $X_1 + X_2 \sim Poi(\lambda)$). Dann sind auch $X_1$ und $X_2$ Poisson-verteilt.
  \end{itemize}
\end{satz}

% Wichtige Ergebnisse über Summen unabhängiger ZGn:
\begin{satz}
  Seien $X_1, ..., X_n$ unabhängig. Dann gilt:
  \begin{itemize}
    \item $\tfrac{1}{n}(X_1 + ... + X_n) \xrightarrow[\text{$\P$-f.ü.}]{n \to \infty} \E X_1$, falls $X_1, ..., X_n$ identisch verteilt. % und $\E \abs{X_1} < \infty$ (GGZ)
    \item $\sqrt{n} (\tfrac{1}{n}(X_1 + ... + X_n) - \E X_1) \xrightarrow{n \to \infty} N(0, \Var(X_1))$, falls $\Var(X_1) < \infty$
  \end{itemize}
\end{satz}

% Vorlesung vom 31.1.2014

% Kapitel 4.4. Produkt-Maße und der Satz von Fubini-Tonelli
\subsection{Produkt-Maße und der Satz von Fubini-Tonelli}

% Kapitel 4.4.1. Produkte von $\sigma$-Algebren

\begin{voraussetzung}
  Seien $(\Omega_i, \Alg_i)$ für $i \in \{ 1, ..., n \}$ messbare Räume und $\Omega \coloneqq \Omega_1 \times ... \times \Omega_n$ das kartesische Produkt der Mengen.
\end{voraussetzung}

\begin{nota}
  $\pi_i : \Omega \to \Omega_i, \enspace (\omega_1, ..., \omega_1) \mapsto \omega_i$ (Projektionsabbildung)
\end{nota}

\begin{defn}
  Die \emph{Produkt-$\sigma$-Algebra} von $\Alg_1, ..., \Alg_n$ ist definiert durch
  \[ \Alg \coloneqq \Alg_1 \otimes ... \otimes \Alg_n \coloneqq \sigma \left( \pi_1^{-1}(\Alg_1) \cup ... \cup \pi_n^{-1}(\Alg_n) \right). \]
  %\[ \pi_i^{-1}(A_i) = \Omega_1 \times ... \times A_i \times ... \times \Omega_n. \]
\end{defn}

\begin{satz}
  $\Alg = \sigma \left( \Set{ A_1 \times ... \times A_n }{ A_1 \in \Alg_1, ..., A_n \in \Alg_n } \right)$
\end{satz}

\begin{lem}
  Sei $\mathcal{E}_i$ mit $\sigma(E_i) = \Alg_i$ und es existieren Folgen $(E_i^k)_{k \in \N}$ in $\mathcal{E}_i$ mit $E_i^k \uparrow \Omega_i$. Dann gilt:
  \[ \Alg_1 \otimes ... \otimes \Alg_n = \sigma \left( \Set{ E_1 \times ... \times E_n }{ E_1 \in \mathcal{E}_1, ..., E_n \in \mathcal{E}_n } \right) \]
\end{lem}

% Bemerkung: Die Zusatz-Voraussetzung ist erfüllt für $\mathcal{E}_i \coloneqq \Alg_i$ oder wenn $\Omega_i \in \mathcal{E}_i$

\begin{bem}
  Auf die Zusatzvoraussetzung der monoton aufsteigenden Mengenfolge können wir nicht verzichten.
\end{bem}

% Ausgelassen: Gegenbeispiel

% Wichtiges Beispiel einer Produkt-$\sigma$-Algebra:

\begin{satz}
  $\Leb(\R^n) = \Leb(\R^1) \otimes ... \otimes \Leb(\R^1)$
\end{satz}

\begin{lem}
  $(\widetilde\Omega', \widetilde\Alg)$ sei ein messbarer Raum. Dann gilt: $f : \widetilde\Omega \to \Omega_1 \times ... \times \Omega_n$ genau dann $(\widetilde\Alg, \Alg)$-messbar, wenn für alle $i \in \{ 1, ..., n \}$ die Abbildung $f_i \coloneqq \pi_i \circ f : \widetilde\Omega \to \Omega_i$ $(\widetilde\Alg, \Alg_i)$-messbar ist.
\end{lem}

% Kapitel 4.4.2. Konstruktion von Maßen auf Produkträumen

% Klausur: Erlaubt sind zwei jeweils vorne und hinten beschriebene DIN-A4-Blätter

% O.B.d.A. $n=2$, also $\Omega = \Omega_1 \times \Omega_2$, $\Alg = \Alg_1 \otimes \Alg_2$

\begin{satz}
  Sei $\mu_1$ auf $(\Omega_1, \Alg_1)$ und $\mu_2$ auf $(\Omega_2, \Alg_2)$ zwei $\sigma$-endliche Maße. Dann ex. genau ein Maß $\mu \coloneqq \mu_1 \times \mu_2$ auf $\Alg = \Alg_1 \otimes \Alg_2$ mit
  \[ \fa{A_1 \in \Alg_1, A_2 \in \Alg_2} (\mu_1 \times \mu_2)(A_1 \times A_2) = \mu_1(A_1) \cdot \mu_2(A_2). \]
  Das Maß $\mu$ ist dann auch $\sigma$-endlich auf $(\Omega, \Alg)$.
  % mit $0 \cdot \infty = \infty \cdot 0 \coloneqq 0$
\end{satz}

% Folgerung 1:

\begin{kor}
  Das Produkt-W-Maß $\P = \P_1 \times \P_2$ ist das einzige W-Maß auf $\Alg_1 \otimes \Alg_2$ mit der Eigenschaft:
  \begin{itemize}
    \item $\P(A_1 \times \Omega_2) = \P_1(A_1)$ und $\P(\Omega_1 \times A_2) = \P_2(A_2)$
    \item $\P(B_1 \cap B_2) = \P(B_1) \times \P(B_2)$ für $B_1 = A_1 \times \Omega_2$, $B_2 = \Omega_1 \times A_2$
  \end{itemize}
\end{kor}

\begin{kor}
  Für $k, l \in \N_{>0}$ mit $k + l = n$ gilt $\lambda_n = \lambda_k \times \lambda_l$
  % $\lambda_n$ ist Lebesgue-Maß auf $(\R^n, \Leb(\R^n))$
\end{kor}

% Vorlesung vom 5.2.2014

% Sei $(\Omega_1 \times \Omega_2, \Alg_1 \otimes \Alg_2)$ ein messbarer Produktraum

\begin{defn}
  Sei $A \subset \Omega_1 \times \Omega_2$, $\omega_1 \in \Omega_1$, $\omega_2 \in \Omega_2$, $f : \Omega_1 \to \Omega_2 \to \R^1$. Dann heißen
  \begin{align*}
    A_{\omega_1} &\coloneqq \Set{ \omega_2 }{ (\omega_1, \omega_2) \in A } = \pi_2(A \cap \pi_1^{-1}(\omega_1)) \enspace \text{\emph{$\omega_1$-Schnitt} von $A$,} \\
    A_{\omega_2} &\coloneqq \Set{ \omega_1 }{ (\omega_1, \omega_2) \in A } = \pi_1(A \cap \pi_2^{-1}(\omega_2)) \enspace \text{\emph{$\omega_2$-Schnitt} von $A$,} \\
    f_{\omega_1} &: \Omega_2 \to \R^1, \enspace \omega_2 \mapsto f(\omega_1, \omega_2) \quad \text{\emph{$\omega_1$-Schnitt von $f$,}} \\
    f_{\omega_2} &: \Omega_1 \to \R^1, \enspace \omega_1 \mapsto f(\omega_1, \omega_2) \quad \text{\emph{$\omega_2$-Schnitt von $f$.}}
  \end{align*}
\end{defn}

\begin{satz}
  Sei $A \in \Alg_1 \otimes \Alg_2$ und $f$ sei $(\Alg_1 {\otimes} \Alg_2)$-messbar. Dann gilt
  \begin{align*}
    \fa{\omega_1 \in \Omega_1} A_{\omega_1} \in \Alg_2
    \quad &\text{und} \quad
    \fa{\omega_2 \in \Omega_2} A_{\omega_2} \in \Alg_1 \\
    \fa{\omega_1 \in \Omega_1} f_{\omega_1} \text{ ist $\Alg_2$-messbar }
    \quad &\text{und} \quad
    \fa{\omega_2 \in \Omega_2} f_{\omega_2} \text{ ist $\Alg_1$-messbar }
  \end{align*}
\end{satz}

\begin{lem}
  Sei $\mu_i$ ein $\sigma$-endliches Maß auf $(\Omega_i, \Alg_i)$ für $i = 1,2$. Dann sind für $A \in \Alg_1 \otimes \Alg_2$ die Funktionen $f_1(\omega_1) = \mu_2(A_{\omega_1})$ bzw. $f_2(\omega_2) = \mu_1(A_{\omega_2})$ nichtnegative $\Alg_1$- bzw. $\Alg_2$-messbare Funktionen auf $\Omega_1$ bzw. $\Omega_2$ und es gilt
  \[
    \Int{\Omega_1}{}{f_1}{\mu_1} = \mu(A) = \Int{\Omega_2}{}{f_2}{\mu_2},
  \]
  wobei $\mu = \mu_1 \times \mu_2$ das Produktmaß auf $\Alg_1 \otimes \Alg_2$ ist.
\end{lem}

\begin{satz}[Fubini, Tonelli]
  Seien $(\Omega_1, \Alg_1, \mu_1)$ und $(\Omega_2, \Alg_2, \mu_2)$ zwei $\sigma$-endliche Maßräume und sei
  \[ f : \Omega_1 \times \Omega_2 \to \ER \]
  eine nichtnegative, numerische $(\Alg_1 {\otimes} \Alg_2)$-messbare Funktion. Dann sind
  \begin{align*}
    \omega_1 \mapsto \Int{\Omega_2}{}{f_{\omega_1}}{\mu_2}
    \quad \text{und} \quad
    \omega_2 \mapsto \Int{\Omega_1}{}{f_{\omega_2}}{\mu_1}
  \end{align*}
  $\Alg_1$- bzw. $\Alg_2$-messbare Funktionen und es gilt
  \[
    \Int{\mathclap{\Omega_1 \times \Omega_2}}{}{f}{(\mu_1 {\times} \mu_2)} =
    \Int{\Omega_1}{}{\left( \Int{\Omega_2}{}{f_{\omega_1}}{\mu_2} \right)}{\mu_1} = 
    \Int{\Omega_2}{}{\left( \Int{\Omega_1}{}{f_{\omega_2}}{\mu_1} \right)}{\mu_2}
  \]
\end{satz}

\begin{bem}
  Falls $f$ $(\Omega_1 {\otimes} \Omega_2)$-messbar mit Vorzeichenwechsel, so muss $\Int{\Omega_1 {\times} \Omega_2}{}{\abs{f}}{(\mu_1 {\times} \mu_2)}$ vorausgesetzt werden.
  % Überprüfen mit Fubini für nichtnegative Funktionen.
\end{bem}

% Kapitel 4.4.4. Beispiele zu Fubini-Tonelli

\iffalse
  $\Omega_1 = \Omega_2 = \I$, $\mu_1 = \mu_2 = \lambda_1$
  \begin{itemize}
    \item $f(x, y) \coloneqq \tfrac{x^2 - y^2}{(x^2 + y^2)^2}$
    \item $f(x, y) \coloneqq \begin{cases} (x - \tfrac{1}{2})^{-3} & \text{für } 0 < y < \abs{x - \tfrac{1}{2}} \\ 0, & \text{sonst}$
    \item $f(x, y) \coloneqq \tfrac{x-y}{(x^2 + y^2)^\tfrac{3}{2}}$
    \item $f(x, y) \coloneqq \tfrac{1}{(1-xy)^p}$ mit $p > 0$
  \end{itemize}

  Beispiel: Gaußsches weißes Rauschen

  Sei $T = \I$, $(X_t)_{t \in T}$ eine Familie unabhängiger, $N(0, 1)$-vertielter ZGn über eiem W-Raum $(\Omega, \Alg, \P)$.

  Produktraum: $(T \times \Omega, \Leb(T) \otimes \Alg, \lambda_1 \times \P)$

  Problem: $\Int{T}{}{\Int{T}{}{\E X_s X_t}{s}}{t} = \lambda_2(\Set{ (s, s) }{ s \in T }) = 0$
\fi

\end{document}