diff --git a/stoproc/lection01.tex b/stoproc/lection01.tex index 6e0aa8c..1dc38ea 100644 --- a/stoproc/lection01.tex +++ b/stoproc/lection01.tex @@ -1,2 +1,221 @@ -\section{Лекция 1 -- 2024-02-09 --} +\section{Лекция 1 -- 2024-02-09 -- } +\subsection{Случайный процесс} + +\begin{definition} + Пусть на вероятностном пространстве $(\Omega, A, P)$ задана совокупность случайных величин + $\xi = \xi(\omega, t), t \in T$, называемая \emph{случайным процессом}, при этом параметр + $t$ интерпретируется как время. + + \begin{itemize} + \item Если $T = \mathbb{N}$, то имеем процесс с \emph{дискретным временем}; + \item $T = \mathbb{R}$, то с \emph{непрерывным временем}; + \item Если СВ $\xi=\xi(\omega, t)$ дискретного типа, то имеем процесс с \emph{дискретными состояниями}; + \item Если СВ $\xi$ непрерывного типа, то имеем процесс с \emph{непрерывными состояниями}. + \end{itemize} + + $\forall t \in T$ -- фиксированное, $\xi(t, \omega)$ -- случайная величина (измеримая функция) + -- \emph{сечение}. + + $\forall \omega$ -- фиксированном, $\xi(t, \omega)$ называется \emph{траекторией}. +\end{definition} + + + +\subsection{Марковская цепь} + +\begin{definition} + Пусть некоторая физическая система может находится в одном из дискретных состояний + $\{S_i\}_{j=1}^m$. При этом в моменты времени $t \in \mathbb{N}$ она может случайным образом + переходить в другие состояния. Введём случайные величины $\xi_j$ так, чтобы если система + находится в момент времени $j$ в состоянии $S_k$, то $\xi_j = k$. + + \emph{Марковская цепь} -- случайный процесс $\{\xi_t(\omega)\}$ с дискретным временем + $t \in \mathbb{N} \bigcup \left\{ 0 \right\} $ и с дискретным множеством состояний + $\mathcal{S} = \left\{ S_1, S_2, \dots, S_m \right\} $, такой, что + \[ + P(\xi_n = j | \xi_{n-1} = i, \xi_{n-2} = i_{n-3}, \xi_0 = i_0) = P(\xi_n=j | \xi_{n-1} = i) + \] +\end{definition} + +\begin{ex} + Пусть $\eta_1, \eta_2, \dots, \eta_n$ -- независимые С.В. (пускай целочисленные), + тогда $\xi_n = \sum_{k=1}^n \eta_k$ -- марковская цепь. + + В самом деле, + \begin{multline*} + P(\xi_n = j | \xi_{n-1} = i, \xi_{n-2} = i_{n-2}, \dots, \xi_1 = i_1) + = \dfrac{P(\xi_n = j, \xi_{n-1} = i, \xi_{n-2} = i_{n-2}, \dots, \xi_1 = i_1)}{P(\xi_{n-1} = i_{n-1}, \xi_{n-2} = i_{n-2}, \dots, \xi_1 = i_1)} = \\ + = \dfrac{P(\eta_n = j-i, \xi_{n-1}=i_{n-1}, \dots, \xi_1 = i_1 )}{P(\xi_{n-1} = i_{n-1}, \xi_{n-2} = i_{n-2}, \dots, \xi_1 = i_1)} + = \dfrac{P(\eta_n = j-i) \cdot P(\xi_{n-1}=i_{n-1}, \dots, \xi_1 = i_1 )}{P(\xi_{n-1} = i_{n-1}, \xi_{n-2} = i_{n-2}, \dots, \xi_1 = i_1)} + = P(\eta_n = j-i) + \end{multline*} +\end{ex} + +\paragraph{Свойства траекторий} + +\begin{enumerate} + \item $P(\xi_{n+l} = i_{n+l}, \dots, \xi_n=j | \xi_{n-1}=i, \xi_{n-2} = i_{n-2}, \dots, \xi_0 = i_0) = P(\xi_{n+l} = i_{n_l}, \dots, \xi_n = j | \xi_{n-1} = i)$. + Доказывается по индукции. + + \item $P(\xi_{n+l} \in A_{n+l}, \dots, \xi_n\in A_{n} | \xi_{n-1} = i, \xi_{n-2} \in B_{n-2}, \dots, \xi_0 \in B_0) = P(\xi_{n+l} \in A_{n+l}, \dots, \xi_n \in A_n | \xi_{n-1} = i)$. Ну тут проще, такая вероятность является просто суммой таких же вероятностей как в прошлом пункте. + + \item $n > n_r > n_{r-1} > \dots > n_1 \geqslant 0$ + \[ + P(\xi_n = j | \xi_{n_r}=i, \xi_{n_{r-1}} = i_{n_{r-1}}, \dots, \xi_{n_1} = i_{n_1} + = P(\xi_n=j | \xi_{n_r} = i) + \] + + \item $A = \left( \xi_{n+l} \in A_{n+l}, \dots, \xi_n \in A_n \right)$ -- будущее; + $B = \left( \xi_{n-2}\in B_{n_2}, \dot, \xi_0 \in B_0 \right) $ -- далёкое прошлое. + Тогда <<условное будущее не зависит от условного прошлого>>: + \[ + P(A \bigcap B | \xi_{n-1} =i) = P(A | \xi_{n-1} = i) \cdot P(B | \xi_{n-1} = i) + \] + \begin{proof} + \begin{multline*} + P(A \bigcap B | \xi_{n-1} = i) = \dfrac{P(A, \xi_{n-1} = i, B)}{P(\xi_{n-1} = i)} + = \dfrac{P(A, \xi_{n-1} = i, B)}{P(\xi_{n-1} = i)} \cdot \dfrac{P(\xi_{n-1}=i, B)}{P(\xi_{n-1}=i, B)} = \\ + = P(A | \xi_{n-1}=i, B) \cdot P(B | \xi_{n-1}=i) + = P(A | \xi_{n-1}=i) \cdot P(B | \xi_{n-1}=i) + \end{multline*} + \end{proof} +\end{enumerate} + +\paragraph{Характеристики марковского процесса} + +\begin{enumerate} + \item $\bar{p}(k) = \begin{pmatrix} p_1 (k) & p_2(k) & \dots & p_m(k) \end{pmatrix}^T $, + где $p_j(k) = P(S_j^k) = P(\xi_k = j)$ -- вектор вероятностей состояний в + момент k. + + \item $P(\xi_k = j | \xi_{k-1} = i) = p_{ij}^{k}$ -- переходные вероятности на $k$-ом шаге. + $P^{(k)} = (p_{ij}^k)$ -- матрица перехода вероятности на $k$-ом шаге, она является + стохастической, то есть такой, что сумма элементов в каждой строке равна $1$. +\end{enumerate} + +\paragraph{Соотношения} +\begin{enumerate} + \item $I = P^{(k)} \cdot I$, где $I = \begin{pmatrix} 1 & 1 & 1 \end{pmatrix}^T $. + Данное соотношение является определением \emph{стохастической матрицы}. + \begin{proof} + \[ + 1 = P(\Omega | S_{k-1}^i) = P(\sum_{j=1}^m S_k^j | S_{k-1}^i) + = \sum_{j=1}^m P(S_k^j | S_{k-1}^i) + = \sum_{j=1}^m P(\xi_k = j | \xi_{k-1}=i) = \sum_{j=1}^m p_{ij}^k + \] + \end{proof} + + \item $\bar{p} (k+1) ^T = \bar{p}(k)^T \cdot P^{(k)}$ + \begin{proof} + $\Omega = S_1^k + S_2^k + \dots + S_m^k$ -- так как события несовместны. + \[ + P(S_j^{k+1}) = \sum_{i=1}^m P(S_j^{k+1} | S_i^k) \cdot P(S_i^k) + = \sum_{i=1}^m p_{ij}^k \cdot p_i(k) + \] + \end{proof} + + \item $\bar{p} (k+1)^T = \bar{p}(0)^T \cdot P^{(1)} P^{(2)} \cdot \dots \cdot P^{(k)}$. +\end{enumerate} + +\subsection{Однородные марковские цепи} + +\begin{definition} + Марковская цепь $\xi_k$ называется \emph{однородной}, если $p_{ij}^k = P(\xi_k=j | \xi_{k-1}=i)$ -- не + зависит от k. +\end{definition} + +Для однородных цепей: $\bar{p}(l+1)^T = \bar{p}(l)^T P$, $\bar{p}(l=1)^T = \bar{p}(0)^T P^{l+1}$. + +\begin{theorem}[Колмогорова-Чепмена] + Пусть в однородной марковской цепи: $p_{ij}^{(k)} = P(\xi_{l+k} = j | \xi_l=i)$, обозначим: + $\mathbb{P}^{(k)} = (p_{ij}^k)$; тогда имеет место: + \[ + \forall l, k : \mathbb{P}^{(k+l)} = \mathbb{P}^{(k)} \cdot \mathbb{P}^{(l)}. + \] +\end{theorem} +% TODO дописать обратную теорему +\begin{proof} + \begin{multline*} + p_{ij}^{(k+l)} = P(\xi_{k+l}=j | \xi_0 = i) + = P\left(\xi_{k+l}=j, \bigcup_{\alpha=1}^m (\xi_k=\alpha) | \xi_0 = i\right) = \\ + = \dfrac{\sum_{\alpha=1}^m P(\xi_{k+l} = j, \xi_k = \alpha, \xi_0=i)}{P(\xi_0=i)} + = \sum_{\alpha=1}^m \dfrac{P(\xi_{k+l} = j, \xi_k = \alpha, \xi_0=i)}{P(\xi_0=i)} \dfrac{P(\xi_k=\alpha, \xi_0=i)}{P(\xi_k=\alpha, \xi_0=i)} = \\ + = \sum_{\alpha=1}^m P(\xi_k=\alpha|\xi_0=i) P(\xi_{k+l}=j | \xi_k = \alpha, \cancel{\xi_0=i}) + = \sum_{\alpha=1}^m P_{i\alpha}^{(k)} P_{\alpha j}^{(l)} + \end{multline*} +\end{proof} + +\subsection{Эргодическая цепь} + +\begin{definition} + Марковская цепь называется \emph{эргодической}, если + \[ + \forall i \quad \exists \lim_{n\to\infty} p_{ij}^{(n)} = \pi_{ij} \text{не зависит от i}, + \] + где $0 < \pi_j < 1$, $\sum_{j=1}^m \pi_j = 1$. +\end{definition} + +\begin{theorem} + Если марковская цепь $\xi_n$ с конечным множеством состояний и $\exists \varepsilon\in(0, 1) \, \exists n_0 : \min_{i, j} p_{ij}^{(n_0)} \geqslant \varepsilon$, то цепь эргодическая. +\end{theorem} +\begin{proof} + Обозначим $m_j^{(n)} = \min_i p_{ij}^{(n)}$, $M_j^{(n)} = \max_i p_{ij}^{(n)}$ -- минимальный + и максимальный элементы в столбце. Докажем монотонное возрастание $m_{j}^{(n)}$ и монотонное + убываение $M_j^{(n)}$. По теореме Колмогорова-Чепмена: + \[ + m_{j}^{(n+1)} = \min_i p_{ij}^{(n+1)} + = \min_i \sum_{\alpha=1}^m p_{i\alpha} \cdot p_{\alpha j}^{n} \geqslant + \min_i \sum_{\alpha=1}^m p_{i \alpha} m_j^{(n)} + = m_j^{(n)} + \] + аналогично показывается, что $M_{j}^{(n+1)} \leqslant M_j^{(n)}$. + + % TODO выше сказано монотонное убывание (возрастание) соответствующих последовательностей + % но мы доказали только невозрастание (неубывание) + + Выберем $\varepslon = \min_{i, j} p_{ij}^{(n_0)} > 0$. + + Видно, что $M_j^{(n)}-m_j^{(n)}$ монотонно убывает. + \[ + p_{ij}^{(n+n_0)} = \sum_{\alpha=1}^m p_{i\alpha}^{(n_0)} p_{\alpha j}^{(n)} + = \sum_{\alpha=1}^m (p_{ij}^{(n_0)} - \varepsilon p_{j \alpha}^{(n)}) p_{\alpha j}^{(n)} + + \varepsilon \sum_{\alpha=1}^m p_{j \alpha}^{(n)} p_{\alpha j}^{(n)} + \geqslant \sum_{\alpha=1}^m (p_{i\alpha}^{(n_0)} - \varepsilon p_{j\alpha}^{(n)}) m_j^{(n)} + + \varepsilon p_{jj}^{(2n)} + = m_j^{(n)} (1-\varepsilon) + \varepsilon p_{jj}^{(2n)} + \] + Таким образом, $m_j^{(n+n_0)} \geqslant m_j^{(n)} (1-\varepsilon) + \varepsilon p_{jj}^{(2n)}$. + + Аналогично доказывается, что $M_j^{(n+n_0)} \leqslant M_j^{(n)} (1-\varepsilon) + \varepsilon p_{jj}^{(2n)}$ + + Тогда $M_{j}^{(n+n_0)} - m_j^{(n+n_0)} \leqslant (1-\varepsilon) (M_j^{(n)} - m_j^{(n)})$. + Тогда $M_j^{(n+kn_0)} - m_j^{(n+kn_0)} \leqslant (1-\varepsilon)^k (M_j^{(n)} - m_j^{(n)}) \to 0, k\to \infty$, то есть $M_{j}^{(n)} - m_j^{(n)} \to 0, n \to \infty$. По теореме о двух милиционерах + $m_j^{(n)} \leqslant p_{ij}^{(n)} \leqslant M_j^{(n)}$. + +\end{proof} + +Обозначим $\lim_{n\to\infty} p_{ij}^{(n)} = \pi_j, j = \overline{1, m}$. + +\begin{remark} + Обратное утверждение тоже верно, то есть если марковская цепь является эргодической, то найдется + такое $n_0$, что $\min_{i, j} p_{ij}^{(n_0)} > 0$. +\end{remark} + +\begin{corollary} + \begin{enumerate} + \item $\bar{p} (n)^T = \bar{p}(0)^T P^n \to + \begin{pmatrix} \pi_1 & \pi_2 & \dots & \pi_n \end{pmatrix}$, так как матрица $P$: + \[ + P \to \begin{pmatrix} + \pi_1 & \pi_2 & \dots & \pi_n \\ + \pi_1 & \pi_2 & \dots & \pi_n \\ + \dots \\ + \pi_1 & \pi_2 & \dots & \pi_n + \end{pmatrix} + \] + + \item $\bar{p}(n+1)^T = \bar{p}(n)^T P$, $\pi^T = \pi^T \cdot P$, $\sum_{k=1}^m \pi_k = 1$, + $\pi^T (P - E) = 0$ + \end{enumerate} +\end{corollary}