Merge remote-tracking branch 'refs/remotes/origin/main'

stoproc/lection01.tex

@@ -122,7 +122,8 @@ \subsection{Марковская цепь}
           S_{k-1}^i\biggl)
         = \\ =
         \sum_{j=1}^m P(S_k^j \mid S_{k-1}^i)
-        = \sum_{j=1}^m P\left(\xi_k = j \mid \xi_{k-1}=i\right) = \sum_{j=1}^m p_{ij}^k.
+        = \sum_{j=1}^m P\left(\xi_k = j \mid \xi_{k-1}=i\right) = \sum_{j=1}^m
+        p_{ij}^{(k)}.
       \end{multline*}
     \end{proof}
 
@@ -131,7 +132,7 @@ \subsection{Марковская цепь}
       $\Omega = S_1^k + S_2^k + \ldots + S_m^k$, так как события несовместны.
     \[
       P(S_j^{k+1}) = \sum_{i=1}^m P(S_j^{k+1} \mid S_i^k) \cdot P(S_i^k)
-      = \sum_{i=1}^m p_{ij}^k \cdot p_i(k).
+      = \sum_{i=1}^m p_{ij}^{(k)} p_i(k).
     \]
     \end{proof}
 
@@ -141,17 +142,17 @@ \subsection{Марковская цепь}
 
 \subsection{Однородные марковские цепи}
 \begin{definition}
-  Марковская цепь $\xi_k$ называется \emph{однородной}, если $p_{ij}^k =
+  Марковская цепь $\xi_k$ называется \emph{однородной}, если $p_{ij}^{(k)} =
   P(\xi_k=j \mid \xi_{k-1}=i)$ не
   зависит от $ k $.
 \end{definition}
 Для однородных цепей $\mathbf{p}(l+1)^{\mathsf T} = \mathbf{p}(l)^{\mathsf T} P$, а
-$\mathbf{p}(l=1)^{\mathsf T} = \mathbf{p}(0)^{\mathsf T} P^{l+1}$.
+$\mathbf{p}(l+1)^{\mathsf T} = \mathbf{p}(0)^{\mathsf T} P^{l+1}$.
 
-\begin{theorem}[Колмогорова -- Чепмена]
-  Пусть в однородной марковской цепи $p_{ij}^{(k)} = P(\xi_{l+k} = j \mid
+\begin{theorem}[Колмогоров -- Чепмен]
+  Пусть в \emph{однородной} марковской цепи $p_{ij}^{(k)} = P(\xi_{l+k} = j \mid
   \xi_l=i)$. Обозначим
-  $\mathbb{P}^{(k)} = (p_{ij}^k)$. Тогда имеет место соотношение
+  $\mathbb{P}^{(k)} = (p_{ij}^{(k)})$. Тогда имеет место соотношение
   \[
     \forall l, k \quad \mathbb{P}^{(k+l)} = \mathbb{P}^{(k)} \mathbb{P}^{(l)}.
   \]
@@ -168,9 +169,12 @@ \subsection{Однородные марковские цепи}
     = \sum_{\alpha=1}^m p_{i\alpha}^{(k)} p_{\alpha j}^{(l)}.
   \end{multline*}
 \end{proof}
+\begin{remark*}
+  Учитывая, что $ \mathbb P^{(1)} = P $, то и $ \mathbb P^{(k)} = P^k $.
+\end{remark*}
 
-\subsection{Эргодическая цепь}
 
+\subsection{Эргодическая цепь}
 \begin{definition}
   Марковская цепь называется \emph{эргодической}, если для любого $ i $ существует и не зависит
   от $ i $ предел
@@ -182,33 +186,34 @@ \subsection{Эргодическая цепь}
   Вектор $\bm{\pi}$ называется \emph{финальным} (распределением).
 \end{definition}
 
-\textsc{Пояснение}.\hspace{.15em} В пределе получается, что матрица состоит из одинаковых строк, каждая из
+\textsc{Пояснение}.\hspace{.15em} В пределе получается, что матрица переходных
+вероятностей состоит из одинаковых строк, каждая из
 которых совпадает с $\bm{\pi}^{\mathsf T}$.
 
 \begin{definition}
   Распределение $\bm{\pi}$ называется \emph{стационарным}, если эти числа удовлетворяют
   системе
   \[
     \bm{\pi}^{\mathsf T} = \bm{\pi}^{\mathsf T} \cdot P
-    \Leftrightarrow 
+    \Longleftrightarrow 
     \pi_j = \sum_\alpha \pi_\alpha p_{\alpha j}.
   \]
 \end{definition}
 
-\begin{theorem}
-  Если марковская цепь $\xi_n$ имеет конечное множество состояний и существуют $0
+\begin{theorem}[эргодическая]
+  Если \emph{однородная} марковская цепь $\xi_n$ имеет конечное множество состояний и существуют $0
   <\varepsilon < 1$,
   $n_0 \in \mathbb N$ такие, что $\min\limits_{i, j} p_{ij}^{(n_0)} \geqslant
   \varepsilon$ для произвольных $ i $, $ j $, то цепь эргодическая, а
   финальные вероятности совпадают со стационарными.
 \end{theorem}
 \begin{proof}
-  Обозначим как $m_j^{(n)} := \min\limits_i p_{ij}^{(n)}$, $M_j^{(n)} = \max\limits_i p_{ij}^{(n)}$ минимальный 
-  и максимальный элементы в столбце. Докажем монотонное возрастание $m_{j}^{(n)}$ и монотонное
+  Обозначим $m_j^{(n)} := \min\limits_i p_{ij}^{(n)}$, $M_j^{(n)} := \max\limits_i p_{ij}^{(n)}$ минимальный 
+  и максимальный элементы в столбце $ j $. Докажем монотонное возрастание $m_{j}^{(n)}$ и монотонное
   убываение $M_j^{(n)}$. По теореме Колмогорова -- Чепмена
   \[
     m_{j}^{(n+1)} = \min_i p_{ij}^{(n+1)}
-    = \min_i \sum_{\alpha=1}^m p_{i\alpha} \cdot p_{\alpha j}^{n} \geqslant 
+    = \min_i \sum_{\alpha=1}^m p_{i\alpha} p_{\alpha j}^{n} \geqslant 
     \min_i \sum_{\alpha=1}^m p_{i \alpha} m_j^{(n)}
     = m_j^{(n)}.
   \]
@@ -266,7 +271,7 @@ \subsection{Эргодическая цепь}
       то для стационарной вероятности имеем уравнения
       \[
         \begin{cases}
-          \bm{\pi}^{\mathsf T} = \bm{\pi}^{\mathsf T} \cdot P \Leftrightarrow
+          \bm{\pi}^{\mathsf T} = \bm{\pi}^{\mathsf T} P \Leftrightarrow
           \bm\pi^{\mathsf T} (P - E) = 0,\\
           \sum\limits_{k=1}^m \pi_k = 1.
         \end{cases}

stoproc/lection02.tex

@@ -23,7 +23,7 @@ \subsection{Классификация состояний марковской 
     \end{pmatrix}.
   \]
   Очевидно, такая последовательность не может иметь предела, поэтому такая марковская цепь не
-  эргодичная.
+  эргодическая.
 
   Однако в этой марковской цепи существует стационарное распределение, поскольку СЛАУ
   $\bm\pi^T = \bm\pi^{\mathsf T} P;\ \sum \pi_j = 1$ даёт решение
@@ -50,7 +50,7 @@ \subsection{Классификация состояний марковской 
       0 & 0 & 0 & 1
     \end{pmatrix}.
   \]
-  И тогда $\mathbf p = (0, 0, 0, 1)$ является стационарным распределением.
+  И тогда $\mathbf p = (0, 0, 0, 1)^{\mathsf T}$ является стационарным распределением.
   Интуитивно также понятно, что прибор, начиная с любого состояния, рано или поздно сломаемся.
   Таким образом, данная марковская цепь не является эргодической.
 \end{ex}
@@ -69,21 +69,22 @@ \subsection{Классификация состояний марковской 
 
 \begin{definition}
   Состояние $S_i$ (или множество состояний) называется \emph{несущественным}, если
-  существуют $ S_j $ и $ n\in \mathbb N $, для которых $p_{ij}^{(n)} > 0$, --- из
-  этого состояния можно выйти ---
-  но для всякого $ S_k $ и $ m \in \mathbb N $ выполняется $p_{ki}^{(m)} = 0$ --- в это состояние нельзя попасть.
+   $\exists S_j \exists n\in \mathbb N\colon p_{ij}^{(n)} > 0$ --- из
+  этого состояния можно выйти,
+  но $  \forall S_k \forall m \in \mathbb N\ p_{ki}^{(m)} = 0$ --- в это состояние нельзя попасть.
 \end{definition}
 
 \begin{definition}
   Состояние (или множество состояний) называется \emph{поглощающим}, если в него
   можно войти ---
-  $\exists S_j , \exists n\colon p_{ji}^{(n)} > 0$,
+  $\exists S_j  \exists n\in\mathbb N\colon p_{ji}^{(n)} > 0$,
   но нельзя выйти ---
-  $\forall S_j, \forall n \colon p_{ij}^{(n)} = 0$.
+  $\forall S_j \forall n \in \mathbb N \ p_{ij}^{(n)} = 0$.
 \end{definition}
 
 \begin{definition}
-  Говорят, что состояние $S_i$ \emph{достижимо} из состояния $S_j$, если $\exists n\colon p_{ji}^{(n)} > 0$.
+  Говорят, что состояние $S_i$ \emph{достижимо} из состояния $S_j$, если из
+  последнего можно попасть в первое за некоторое количество шагов --- $\exists n\colon p_{ji}^{(n)} > 0$.
 \end{definition}
 
 \begin{definition}
@@ -128,12 +129,8 @@ \subsection{Классификация состояний марковской 
 \end{ex}
 
 \begin{definition}
-  Говорят, что состояние $S_i$ \emph{имеет период $d(i) = d$}, если
-  \begin{enumerate}
-    \item Из $p_{ii}^{(n)} > 0$ вытекает $n = d \cdot l,\ l \in \mathbb{N}$ ($n$ делится на $d$).
-    \item Число $d$ есть наибольший общий делитель всех таких $n$, для которых
-      выполнено первое условие.
-  \end{enumerate}
+  Наибольший общий делитель $ d(i) $ всех $ n $ таких, что $ p_{ii}^{(n)} > 0 $
+  называют \emph{периодом состояния $ S_i $}.
 \end{definition}
 Например, в задаче \ref{ex:724} период $d(1, 2, 3, 4) = 2$.
 
@@ -148,32 +145,32 @@ \subsection{Классификация состояний марковской 
   периодические, то $d(i) = d(j)$ для всех $ i $, $ j $.
 \end{theorem}
 \begin{proof}
-  Выберем $S_i$ периодическим с периодом $d(i)$, а $S_j$ --- с периодом $d(j)$.
+  Выберем $S_i$ периодическим с периодом $d(i)$, а $S_j$ с периодом $d(j)$.
   Необходимо доказать, что $d(i) = d(j)$.
   \begin{multline*}
     \begin{cases}
-    \exists k : p_{ij}^{(k)} > 0, \\
-      \exists l : p_{ji}^{(l)} > 0
+    \exists k \colon p_{ij}^{(k)} > 0, \\
+    \exists l \colon p_{ji}^{(l)} > 0
     \end{cases}
-    \Rightarrow \text{по т-ме Колмогорова-Чепмена: } \\
+    \Rightarrow \text{по теореме Колмогорова -- Чепмена } \\
     p_{ii}^{(k+l)} = \sum_{\alpha} p_{i\alpha}^{(k)} \cdot p_{\alpha i}^{(l)} 
     \geqslant p_{ij}^{(k)} \cdot p_{ji}^{(l)} > 0
     \Rightarrow
-    k+l \text{ делится на $d(i)$}.
+    (k+l) \text{ делится на $d(i)$}.
   \end{multline*}
-  если $n$ не делится на $d(i)$, то $n+k+l$ не делится на $d(i)$, тогда $p_{ii}^{(n+k+l)} = 0$, 
-  тогда $p_{ii}^{(n+k+l)} = \sum_{\alpha} \sum_\beta p_{i\alpha}^{(k)} p_{\alpha \beta}^{(n)} 
-  p_{\beta i}^{(l)}$, тогда $p_{jj}^{(n)} = 0$ тогда $n$ не делится на $d(j)$.
+  Если $n$ не делится на $d(i)$, то $(n+k+l)$ не делится на $d(i)$. Тогда $p_{ii}^{(n+k+l)} = 0$, 
+  тогда $p_{ii}^{(n+k+l)} = \sum\limits_{\alpha} \sum\limits_\beta p_{i\alpha}^{(k)} p_{\alpha \beta}^{(n)} 
+  p_{\beta i}^{(l)}$, тогда $p_{jj}^{(n)} = 0$, тогда $n$ не делится на $d(j)$.
 
-  если $p_{jj}^{(n)} > 0 \Rightarrow$ $n$ делится на $d(i)$, а по предположению теоремы $n$ делится 
-  на $d(j)$ $\Rightarrow$ $d(i) \leqslant d(j)$.
+  Если $p_{jj}^{(n)} > 0 $, то есть $n$ делится на $d(i)$ (а по предположению теоремы $n$ делится 
+  на $d(j)$), то $d(i) \leqslant d(j)$.
 
-  Аналогично можно доказать, что $d(j) \leqslant d(i)$. То есть $d(i) = d(j)$.
+  Аналогично можно доказать, что $d(j) \leqslant d(i)$. Таким образом, $d(i) = d(j)$.
 \end{proof}
 
 \begin{definition}
-  Этот общий период называется периодом цепи $d(S)$.
-  Если $d(S) = 1$, то цепь называется апериодической -- все состояния непериодические.
+  Этот общий период называется \emph{периодом цепи} $d(S)$.
+  Если $d(S) = 1$, то цепь называется \emph{апериодической} --- все состояния непериодические.
 \end{definition}
 
 \begin{theorem}
@@ -217,10 +214,10 @@ \subsection{Классификация состояний марковской 
 
   \[
     P = \begin{pmatrix}
-      0 & 1 & 0 & \dots \\
-      q & 0 & p & \dots \\
-      0 & q & 0 & p \\
-      \vdots & \vdots & \vdots & \vdots
+      0 & 1 & 0 & \cdots & \cdots\\
+      q & 0 & p & \cdots & \cdots\\
+      0 & q & 0 & p & \cdots \\
+      \vdots & \vdots & \vdots & \vdots & \ddots
     \end{pmatrix} 
   \]
 
@@ -234,52 +231,69 @@ \subsection{Классификация состояний марковской 
       \pi_k = p \pi_{k-1} + q \pi_{k+1}.
     \end{cases}
   \]
-  Получили рекуррентное уравнение. Применим алгоритм его решения.
+  Получили рекуррентное уравнение. Применим следующий алгоритм его решения.
   Характеристическое уравнение имеет вид $q \lambda^2 - \lambda + p = 0$ с
   корнями
   \[
     \lambda_{1, 2} = \dfrac{1\pm \sqrt{1-4pq}}{2q} = \dfrac{1 \pm \sqrt{1 - 4(1-q)q}}{2q}
     = \dfrac{1 \pm |1 - 2q|}{2q}.
   \]
-  \begin{enumerate}
-    \item $q > \dfrac{1}{2}$ -- движение влево более вероятно, чем вправо.
+  Рассмотрим три случая.
+  \begin{enumerate}[label=\roman*)]
+    \item $q > 1/2$ (движение влево более вероятно, чем вправо). В этом случае
       \[
-        \lambda_{1, 2} = 1, \dfrac{1-q}{q}.
+        \lambda_{1, 2} = \left\{ 1, \frac{1-q}{q} \right\}.
       \]
-      $\pi_k = c_1 \cdot 1^k + c_2 \cdot \left( \dfrac{p}{q} \right)^k$.
-      Причем $0 < \pi_k < 1$ $\Rightarrow$ и $\sum_{k=0}^\infty \pi_k = 1$.
-      Получаем, $C_1 = 0, \sum_{k=0}^\infty C_2 \left( \dfrac{p}{q} \right)^k 
-      \Rightarrow C_2 = \dots = \dfrac{q-p}{q}$
+      Значит, $\pi_k = C_1 \cdot 1^k + C_2 \cdot \left( p/q \right)^k$.
+      Причём $0 < \pi_k < 1$ и $\sum\limits_{k=0}^\infty \pi_k = 1$.
+      Отсюда получаем, что $C_1 = 0, \sum\limits_{k=0}^\infty C_2 \left( p/q
+      \right)^k$,
+      и $$C_2 = \ldots = \dfrac{q-p}{q}.$$
       % TODO дописать из семинара
 
       Получили эргодичность.
 
-    \item $q = \dfrac{1}{2}$ тогда $\lambda_{12} = 1$ -- двукратный корень. $\pi_k = C_1 + C_2 k$. 
-      Тогда $\pi_k = 0$, а цепь неэргодичная.
+    \item $q = 1/2$. Тогда $\lambda_{1,2} = 1$ (двукратный корень). В этом
+      случае $\pi_k = C_1 + C_2 k$. 
+      Тогда $\pi_k = 0$, а цепь неэргодическая.
 
-    \item $q<\dfrac{1}{2}$. $\lambda_{1, 2} = \dfrac{1 \pm (1-2q)}{2q} = \dfrac{p}{q}, 1$.
-      $\pi_k = C_1 + C_2 \left(\dfrac{p}{q}\right)^{k} \Rightarrow \pi_k = 0$.
+    \item $q<1/2$. В этом случае
+      \[
+        \lambda_{1, 2} = \dfrac{1 \pm (1-2q)}{2q} = \{
+          p/q,
+          1
+        \}.
+      \]
+      Здесь $\pi_k = C_1 + C_2 \left(p/q\right)^{k}$, и, значит, $\pi_k = 0$.
   \end{enumerate}
 \end{ex}
 
 \begin{definition}
   Пусть конечное множество состояний $\mathscr S = \left\{ S_1, \dots, S_m \right\} $. Берём подмножество 
   состояний (для определенности первые $m_1 < m$ состояний)
-  $A = \left\{ S_1, \dots, S_{m_1} \right\} $.
-  Обозначим $H^A = \inf \left\{ n\geqslant 0,\, \xi_n \in A \right\} $ --- момент первого достижения 
-  множества $A$.
-  Обозначим $h^A = P(H^A < \infty \mid \xi_0 = i)$,
-  $\mu^A_i = M(H^A \mid \xi_0 = i)$.
+  $\mathscr A = \left\{ S_1, \dots, S_{m_1} \right\} $.
+  Обозначим $H^{\mathscr A} = \inf \left\{ n\geqslant 0,\, \xi_n \in \mathscr A \right\} $ --- момент первого достижения 
+  множества $\mathscr A$.
+  Обозначим $h^{\mathscr A} = P(H^{\mathscr A} < \infty \mid \xi_0 = i)$,
+  $\mu^{\mathscr A}_i = M(H^{\mathscr A} \mid \xi_0 = i)$.
 \end{definition}
 
 \begin{theorem}
-  Если $A \subset \mathscr S$, то $h_i^A$ --- наименьшее неотрицательное решение системы
+  Если $\mathscr A \subset \mathscr S$, то $h_i^{\mathscr A}$ --- наименьшее неотрицательное решение системы
+  \[
+    h^{\mathscr A}_i = \begin{cases}
+      1, & S_i \in \mathscr A, \\
+      \sum\limits_{j=1}^m p_{ij} h_j^{\mathscr A}, &S_i \notin \mathscr A.
+    \end{cases}
+  \]
+
+  В свою очередь
   \[
-    h^A_i = \begin{cases}
-      1, & S_i \in A, \\
-      \sum_{j=1}^m p_{ij} h_j^A, &S_i \notin A.
+    \begin{cases}
+      \mu^{\mathscr A}_i = 0, &S_i \in \mathscr A,\\
+  \mu^{\mathscr A}_i = 1 + \!\!\!\!\sum\limits_{j=m_1+1}^{m} p_{ij} \mu_j^{\mathscr A},
+                              &S_i \notin
+  \mathscr A.
     \end{cases}
   \]
-  $\mu^A_i = 0, S_i \in A$
-  $\mu^A_i = 1 + \sum_{j=m_1+1}^{m} p_{ij} \mu_j^A, S_i \notin A$.
 \end{theorem}