From 1f69979a4b453a99e2aaa079e371f87650cb7d01 Mon Sep 17 00:00:00 2001
From: Alexander Kortenko <akortenko03@gmail.com>
Date: Fri, 16 Feb 2024 01:23:40 +0300
Subject: [PATCH] fixes on stochastic processes lection01

---
 stoproc/lection01.tex | 56 +++++++++++++++++++++++++++++++++----------
 1 file changed, 43 insertions(+), 13 deletions(-)

diff --git a/stoproc/lection01.tex b/stoproc/lection01.tex
index 03745d5..3712f55 100644
--- a/stoproc/lection01.tex
+++ b/stoproc/lection01.tex
@@ -14,14 +14,13 @@ \subsection{Случайный процесс}
     \item Если СВ $\xi$ непрерывного типа, то имеем процесс с \emph{непрерывными состояниями}.
   \end{itemize}
 
-  $\forall t \in T$ -- фиксированное, $\xi(t, \omega)$ -- случайная величина (измеримая функция)
+  При любом фиксированном $t \in T$, $\xi(t, \omega)$ -- случайная величина (измеримая функция)
   -- \emph{сечение}.
 
-  $\forall \omega$ -- фиксированном, $\xi(t, \omega)$ называется \emph{траекторией}.
+  При любом фиксированном $\omega$, $\xi(t, \omega)$ называется \emph{траекторией}.
 \end{definition}
 
 
-
 \subsection{Марковская цепь}
 
 \begin{definition}
@@ -151,13 +150,30 @@ \subsection{Эргодическая цепь}
 \begin{definition}
   Марковская цепь называется \emph{эргодической}, если
   \[
-    \forall i \quad \exists \lim_{n\to\infty} p_{ij}^{(n)} = \pi_{ij} \text{не зависит от i},
+    \forall i \quad \exists \lim_{n\to\infty} p_{ij}^{(n)} = \pi_{j},
+  \]
+  то есть не зависит от i. Здесь $0 < \pi_j < 1$, $\sum_{j=1}^m \pi_j = 1$.
+
+  Вектор $\vec{\pi}$ называется \emph{финальным} (распределением).
+\end{definition}
+
+Пояснение: в пределе получается, что матрица состоит из одинаковых строк, каждая из
+которых совпадает с $\vec{\pi}^T$.
+
+\begin{definition}
+  Распределение $\vec{\pi}$ называется \emph{стационарным}, если эти числа удовлетворяют
+  системе:
+  \[
+    \vec{\pi}^T = \vec{\pi}^T \cdot P
+    \Leftrightarrow 
+    \pi_j = \sum_\alpha \pi_\alpha p_{\alpha j}.
   \]
-  где $0 < \pi_j < 1$, $\sum_{j=1}^m \pi_j = 1$.
 \end{definition}
 
 \begin{theorem}
-  Если марковская цепь $\xi_n$ с конечным множеством состояний и $\exists \varepsilon\in(0, 1) \, \exists n_0 : \min_{i, j} p_{ij}^{(n_0)} \geqslant \varepsilon$, то цепь эргодическая.
+  Если марковская цепь $\xi_n$ с конечным множеством состояний и $\exists \varepsilon\in(0, 1) \,
+  \exists n_0 : \min_{i, j} p_{ij}^{(n_0)} \geqslant \varepsilon$, то цепь эргодическая.
+  А финальные вероятности совпадают со стационарными.
 \end{theorem}
 \begin{proof}
   Обозначим $m_j^{(n)} = \min_i p_{ij}^{(n)}$, $M_j^{(n)} = \max_i p_{ij}^{(n)}$ -- минимальный 
@@ -174,7 +190,7 @@ \subsection{Эргодическая цепь}
   % TODO выше сказано монотонное убывание (возрастание) соответствующих последовательностей
   % но мы доказали только невозрастание (неубывание)
 
-  Выберем $\varepslon = \min_{i, j} p_{ij}^{(n_0)} > 0$.
+  Выберем $\varepsilon = \min_{i, j} p_{ij}^{(n_0)} > 0$.
 
   Видно, что $M_j^{(n)}-m_j^{(n)}$ монотонно убывает.
   \begin{multline*}
@@ -204,18 +220,32 @@ \subsection{Эргодическая цепь}
 
 \begin{corollary}
   \begin{enumerate}
-    \item $\bar{p} (n)^T = \bar{p}(0)^T P^n \to
-      \begin{pmatrix} \pi_1 & \pi_2 & \dots & \pi_n \end{pmatrix}$, так как матрица $P$:
+    \item Безусловные вероятности $\bar{p} (n)^T = \bar{p}(0)^T P^n \to
+      \begin{pmatrix} \pi_1 & \pi_2 & \dots & \pi_n \end{pmatrix}$ (для любого начального
+      состояния!), так как матрица $P$:
       \[
-        P \to \begin{pmatrix}
+        P^n \to \begin{pmatrix}
           \pi_1 & \pi_2 & \dots & \pi_n \\
           \pi_1 & \pi_2 & \dots & \pi_n \\
           \dots \\
           \pi_1 & \pi_2 & \dots & \pi_n
-        \end{pmatrix} 
+        \end{pmatrix}.
+      \]
+
+    \item Для нахождения финальных вероятностей не обязательно искать предел матрицы,
+      достаточно найти стационарные вероятности: если $\bar{p}(n+1)^T = \bar{p}(n)^T \cdot P$,
+      то для стационарной вероятности имеем уравнения:
+      \[
+        \begin{cases}
+          \vec{\pi}^T = \vec{\pi}^T \cdot P \Leftrightarrow \pi^T (P - E) = 0,\\
+          \sum_{k=1}^m \pi_k = 1,
+        \end{cases}
       \]
+      первое уравнение -- однородная СЛАУ с $n$ уравнениями и $n$ неизвестными, но определитель
+      матрицы этой СЛАУ равен нулю ($1$ -- всегда собственное число для стохастических матриц). 
+      Пользуемся условием нормировки и получаем совместную СЛАУ.
+      % TODO утверждение про собственное число требует проверки, но на семинаре нам такое говорили
 
-    \item $\bar{p}(n+1)^T = \bar{p}(n)^T P$, $\pi^T = \pi^T \cdot P$, $\sum_{k=1}^m \pi_k = 1$, 
-      $\pi^T (P - E) = 0$
+      % TODO открытый вопрос: почему эта СЛАУ совместна?
   \end{enumerate}
 \end{corollary}