diff --git a/stoproc/Figures/lec2-ex4.png b/stoproc/Figures/lec2-ex4.png new file mode 100644 index 0000000..8abd58b Binary files /dev/null and b/stoproc/Figures/lec2-ex4.png differ diff --git a/stoproc/lection01.tex b/stoproc/lection01.tex index 0d75cfd..5e1968a 100644 --- a/stoproc/lection01.tex +++ b/stoproc/lection01.tex @@ -2,21 +2,21 @@ \section{Лекция 1 -- 2024-02-09} \subsection{Случайный процесс} \begin{definition} Пусть на вероятностном пространстве $(\Omega, \mathscr A, \mathsf P)$ задана совокупность случайных величин - $\xi = \xi(\omega, t),\ t \in T$, называемая \emph{случайным процессом}. При этом параметр - $t$ интерпретируется как время. + $\xi = \xi(\omega; t) = \xi_t(\omega),\ t \in T$, называемая \emph{случайным процессом}. Параметр + $t$ интерпретируется как время. При этом \begin{itemize}[label=--] - \item Если $T = \mathbb{N}$, то имеем процесс с \emph{дискретным временем}; - \item Если $T = \mathbb{R}$, то процесс с \emph{непрерывным временем}; - \item Если СВ $\xi=\xi(\omega, t)$ дискретного типа (то есть принимает не + \item если $T = \mathbb{N}$, то имеем процесс с \emph{дискретным временем}; + \item если $T = \mathbb{R}$, то процесс с \emph{непрерывным временем}; + \item если СВ $\xi=\xi(\omega; t)$ дискретного типа (то есть принимает не более чем счётное количество значений), то имеем процесс с \emph{дискретными состояниями}; - \item Если СВ $\xi$ непрерывного типа, то получаем случайный процесс с \emph{непрерывными состояниями}. + \item если СВ $\xi$ непрерывного типа, то получаем случайный процесс с \emph{непрерывными состояниями}. \end{itemize} - При любом фиксированном $t \in T$ функция $\xi(t, \omega)$ --- случайная + При любом фиксированном $t_0 \in T$ функция $\xi(\omega; t_0)$ --- случайная величина (измеримая функция), называемая \emph{сечением}. - При любом фиксированном $\omega$ функция $\xi(t, \omega)$ называется \emph{траекторией}. + При любом фиксированном $\omega_0$ функция $\xi(\omega_0; t)$ называется \emph{траекторией}. \end{definition} @@ -40,18 +40,24 @@ \subsection{Марковская цепь} \end{definition} \begin{ex} - Пусть $\eta_1, \eta_2, \dots, \eta_n$ --- независимые с.в. (и пускай они также целочисленные), - тогда $\xi_n = \sum\limits_{k=1}^n \eta_k$ есть марковская цепь. + Пусть $\eta_1, \eta_2, \dots, \eta_n$ --- независимые случайные величины (и + пускай они также целочислены). Тогда $\xi_n = \sum\limits_{k=1}^n \eta_k$ есть + марковская цепь. В самом деле, \begin{multline*} P(\xi_n = j \mid \xi_{n-1} = i, \xi_{n-2} = i_{n-2}, \dots, \xi_1 = i_1) =\\= - \dfrac{P(\xi_n = j, \xi_{n-1} = i, \xi_{n-2} = i_{n-2}, \dots, \xi_1 = i_1)}{P(\xi_{n-1} = i_{n-1}, \xi_{n-2} = i_{n-2}, \dots, \xi_1 = i_1)} - = \dfrac{P(\eta_n = j-i, \xi_{n-1}=i, \dots, \xi_1 = i_1 )}{P(\xi_{n-1} = i_{n-1}, \xi_{n-2} = i_{n-2}, \dots, \xi_1 = i_1)} - =\\= \dfrac{P(\eta_n = j-i) \cdot P(\xi_{n-1}=i, \dots, \xi_1 = i_1 )}{P(\xi_{n-1} = i_{n-1}, \xi_{n-2} = i_{n-2}, \dots, \xi_1 = i_1)} + \dfrac{P(\xi_n = j, \xi_{n-1} = i, \xi_{n-2} = i_{n-2}, \dots, \xi_1 = i_1)}{P(\xi_{n-1} = i, \xi_{n-2} = i_{n-2}, \dots, \xi_1 = i_1)} + = \dfrac{P(\eta_n = j-i, \xi_{n-1}=i, \dots, \xi_1 = i_1 )}{P(\xi_{n-1} = i, \xi_{n-2} = i_{n-2}, \dots, \xi_1 = i_1)} + =\\= \dfrac{P(\eta_n = j-i) \cdot P(\xi_{n-1}=i, \dots, \xi_1 = i_1 )}{P(\xi_{n-1} = i, \xi_{n-2} = i_{n-2}, \dots, \xi_1 = i_1)} = P(\eta_n = j-i). \end{multline*} + Аналогично $ P(\xi_k = j \mid \xi_{k-1} = i) = P(\eta_n = j - i) $. +\begin{remark*} + Если $ \eta_1,\eta_2,\ldots,\eta_n $ к тому же одинаково распределены, то цепь + будет однородной. +\end{remark*} \end{ex} @@ -59,11 +65,12 @@ \subsection{Марковская цепь} \begin{enumerate} \item $P(\xi_{n+l} = i_{n+l}, \dots, \xi_n=j \mid \xi_{n-1}=i, \xi_{n-2} = i_{n-2}, \dots, \xi_0 = i_0) = P(\xi_{n+l} = i_{n_l}, \dots, \xi_n = j \mid \xi_{n-1} = i)$. - \emph{Доказывается} по индукции. + \emph{Доказательство} проводится по индукции. \item $P(\xi_{n+l} \in A_{n+l}, \dots, \xi_n\in A_{n} \mid \xi_{n-1} = i, \xi_{n-2} \in B_{n-2}, \dots, \xi_0 \in B_0) = P(\xi_{n+l} \in A_{n+l}, - \dots, \xi_n \in A_n \mid \xi_{n-1} = i)$. \emph{Доказательство} проще, такая вероятность является суммой таких же вероятностей как в прошлом пункте. + \dots, \xi_n \in A_n \mid \xi_{n-1} = i)$. \emph{Доказательство} проще, + такая вероятность является суммой таких же вероятностей, как в прошлом пункте. \item Для любых $n > n_r > n_{r-1} > \ldots > n_1 \geqslant 0$ \[ @@ -92,23 +99,26 @@ \subsection{Марковская цепь} \paragraph{Характеристики марковского процесса.} \begin{enumerate} - \item $\bar{p}(k) = \left( p_1 (k), p_2(k), \dots, p_m(k)\right)^{\mathsf T} $, - где $p_j(k) = P(S_j^k) = P(\xi_k = j)$ --- вектор вероятностей состояний в + \item Набор $\mathbf{p}(k) = \left( p_1 (k), p_2(k), \dots, p_m(k)\right)^{\mathsf T} $, + где $p_j(k) = P(S_j^k) = P(\xi_k = j)$ называется \emph{вектором + вероятностей состояний} в момент $ k $. - \item $P(\xi_k = j \mid \xi_{k-1} = i) =: p_{ij}^{k}$ --- переходные вероятности на $k$-ом шаге. - $P^{(k)} = (p_{ij}^k)$ --- матрица перехода вероятности на $k$-ом шаге, она является - \emph{стохастической}, то есть такой, что сумма элементов в каждой строке равна + \item Условные вероятности $P(\xi_k = j \mid \xi_{k-1} = i) =: p_{ij}^{k}$ + называются \emph{переходными вероятностями} на $k$-ом шаге. + Соответствующую матрицу $P^{(k)} = (p_{ij}^k)$ называют \emph{матрицей переходных + вероятностей} на $k$-ом шаге. Она является + \emph{стохастической}, то есть такой, у которой сумма элементов в каждой строке равна единице. \end{enumerate} -\paragraph{Соотношения.} +\paragraph{Некоторые соотношения.} \begin{enumerate} \item $I = P^{(k)} \cdot I$, где $I = \left( 1 , 1 , 1 \right)^{\mathsf T} $. Данное соотношение является определением \emph{стохастической матрицы}. \begin{proof} \begin{multline*} - 1 = P(\Omega \mid S_{k-1}^i) = P\biggl(\sum_{j=1}^m S_k^j \mid + 1 = P(\Omega \mid S_{k-1}^i) = P\biggl(\sum_{j=1}^m S_k^j \biggm| S_{k-1}^i\biggl) = \\ = \sum_{j=1}^m P(S_k^j \mid S_{k-1}^i) @@ -116,7 +126,7 @@ \subsection{Марковская цепь} \end{multline*} \end{proof} - \item $\bar{p} (k+1) ^{\mathsf T} = \bar{p}(k)^{\mathsf T} \cdot P^{(k)}$. + \item $\mathbf{p} (k+1) ^{\mathsf T} = \mathbf{p}(k)^{\mathsf T} \cdot P^{(k)}$. \begin{proof} $\Omega = S_1^k + S_2^k + \ldots + S_m^k$, так как события несовместны. \[ @@ -125,7 +135,7 @@ \subsection{Марковская цепь} \] \end{proof} - \item $\bar{p} (k+1)^{\mathsf T} = \bar{p}(0)^{\mathsf T} \cdot P^{(1)} P^{(2)} \cdot \ldots \cdot P^{(k)}$. + \item $\mathbf{p} (k+1)^{\mathsf T} = \mathbf{p}(0)^{\mathsf T} \cdot P^{(1)} P^{(2)} \cdot \ldots \cdot P^{(k)}$. \end{enumerate} @@ -135,8 +145,8 @@ \subsection{Однородные марковские цепи} P(\xi_k=j \mid \xi_{k-1}=i)$ не зависит от $ k $. \end{definition} -Для однородных цепей $\bar{p}(l+1)^{\mathsf T} = \bar{p}(l)^{\mathsf T} P$, а -$\bar{p}(l=1)^{\mathsf T} = \bar{p}(0)^{\mathsf T} P^{l+1}$. +Для однородных цепей $\mathbf{p}(l+1)^{\mathsf T} = \mathbf{p}(l)^{\mathsf T} P$, а +$\mathbf{p}(l=1)^{\mathsf T} = \mathbf{p}(0)^{\mathsf T} P^{l+1}$. \begin{theorem}[Колмогорова -- Чепмена] Пусть в однородной марковской цепи $p_{ij}^{(k)} = P(\xi_{l+k} = j \mid @@ -155,7 +165,7 @@ \subsection{Однородные марковские цепи} = \dfrac{\sum\limits_{\alpha=1}^m P(\xi_{k+l} = j, \xi_k = \alpha, \xi_0=i)}{P(\xi_0=i)} = \sum_{\alpha=1}^m \dfrac{P(\xi_{k+l} = j, \xi_k = \alpha, \xi_0=i)}{P(\xi_0=i)} \dfrac{P(\xi_k=\alpha, \xi_0=i)}{P(\xi_k=\alpha, \xi_0=i)} = \\ = \sum_{\alpha=1}^m P(\xi_k=\alpha\mid\xi_0=i) P(\xi_{k+l}=j \mid \xi_k = \alpha, \cancel{\xi_0=i}) - = \sum_{\alpha=1}^m P_{i\alpha}^{(k)} P_{\alpha j}^{(l)}. + = \sum_{\alpha=1}^m p_{i\alpha}^{(k)} p_{\alpha j}^{(l)}. \end{multline*} \end{proof} @@ -172,7 +182,7 @@ \subsection{Эргодическая цепь} Вектор $\bm{\pi}$ называется \emph{финальным} (распределением). \end{definition} -\textsc{Пояснение}.\hspace{.1em} В пределе получается, что матрица состоит из одинаковых строк, каждая из +\textsc{Пояснение}.\hspace{.15em} В пределе получается, что матрица состоит из одинаковых строк, каждая из которых совпадает с $\bm{\pi}^{\mathsf T}$. \begin{definition} @@ -189,7 +199,7 @@ \subsection{Эргодическая цепь} Если марковская цепь $\xi_n$ имеет конечное множество состояний и существуют $0 <\varepsilon < 1$, $n_0 \in \mathbb N$ такие, что $\min\limits_{i, j} p_{ij}^{(n_0)} \geqslant - \varepsilon$, то цепь эргодическая, а + \varepsilon$ для произвольных $ i $, $ j $, то цепь эргодическая, а финальные вероятности совпадают со стационарными. \end{theorem} \begin{proof} @@ -221,10 +231,12 @@ \subsection{Эргодическая цепь} Аналогично доказывается, что $M_j^{(n+n_0)} \leqslant M_j^{(n)} (1-\varepsilon) + \varepsilon p_{jj}^{(2n)}$. Тогда $M_{j}^{(n+n_0)} - m_j^{(n+n_0)} \leqslant (1-\varepsilon) (M_j^{(n)} - m_j^{(n)})$. - Тогда $M_j^{(n+kn_0)} - m_j^{(n+kn_0)} \leqslant (1-\varepsilon)^k (M_j^{(n)} - m_j^{(n)}) \to 0, k\to \infty$, то есть $M_{j}^{(n)} - m_j^{(n)} \to 0, n \to \infty$. По теореме о двух милиционерах - $m_j^{(n)} \leqslant p_{ij}^{(n)} \leqslant M_j^{(n)}$. + Тогда $M_j^{(n+kn_0)} - m_j^{(n+kn_0)} \leqslant (1-\varepsilon)^k (M_j^{(n)} + - m_j^{(n)}) \to 0$ при $ k\to \infty$, то есть $M_{j}^{(n)} - m_j^{(n)} \to + 0$ при $ n \to \infty$. По теореме о двух милиционерах + вероятность $m_j^{(n)} \leqslant p_{ij}^{(n)} \leqslant M_j^{(n)}$ имеет + предел. \end{proof} - Обозначим $\lim\limits_{n\to\infty} p_{ij}^{(n)} =: \pi_j$, где $j = \overline{1, m}$. \begin{remark*} @@ -234,26 +246,28 @@ \subsection{Эргодическая цепь} \setcounter{corollary}{0} \begin{corollary} - Безусловные вероятности $\bar{p} (n)^{\mathsf T} = \bar{p}(0)^{\mathsf T} P^n \to + Безусловные вероятности $\mathbf{p} (n)^{\mathsf T} = \mathbf{p}(0)^{\mathsf T} P^n \to \left(\pi_1 , \pi_2 , \dots , \pi_n \right)$ (для любого начального состояния!), так как матрица $P$ при возведении в степень стремится к \[ P^n \to \begin{pmatrix} - \pi_1 & \pi_2 & \dots & \pi_n \\ - \pi_1 & \pi_2 & \dots & \pi_n \\ - \dots \\ - \pi_1 & \pi_2 & \dots & \pi_n + \pi_1 & \pi_2 & \cdots & \pi_n \\ + \pi_1 & \pi_2 & \cdots & \pi_n \\ + \vdots & \vdots & \ddots & \vdots \\ + \pi_1 & \pi_2 & \cdots & \pi_n \end{pmatrix}. \] \end{corollary} \begin{corollary} Для нахождения финальных вероятностей необязательно искать предел матрицы, - достаточно найти стационарные вероятности. Если $\bar{p}(n+1)^T = \bar{p}(n)^T \cdot P$, + достаточно найти стационарные вероятности. Если $\mathbf{p}(n+1)^{\mathsf T} + = \mathbf{p}(n)^{\mathsf T} \cdot P$, то для стационарной вероятности имеем уравнения \[ \begin{cases} - \vec{\pi}^T = \vec{\pi}^T \cdot P \Leftrightarrow \pi^T (P - E) = 0,\\ + \bm{\pi}^{\mathsf T} = \bm{\pi}^{\mathsf T} \cdot P \Leftrightarrow + \bm\pi^{\mathsf T} (P - E) = 0,\\ \sum\limits_{k=1}^m \pi_k = 1. \end{cases} \] diff --git a/stoproc/lection02.tex b/stoproc/lection02.tex index b3cd331..eddf964 100644 --- a/stoproc/lection02.tex +++ b/stoproc/lection02.tex @@ -1,146 +1,154 @@ \section{Лекция 2 -- 2024-02-16 -- } - \subsection{Классификация состояний марковской цепи} - \begin{ex} - Рассмотрим вот такую марковскую цепь, состоящую из двух состояний: + Рассмотрим следующую марковскую цепь, которая содержит два состояния: \begin{figure}[h!] \centering - \includegraphics[width=0.2\linewidth]{Figures/lec2-ex1} + \includegraphics[width=0.3\linewidth]{stoproc/Figures/lec2-ex1} \end{figure} - Для неё: + Для неё \[ P = \begin{pmatrix} 0 & 1 \\ 1 & 0 - \end{pmatrix}, + \end{pmatrix}, \quad P^{2n + 1} = \begin{pmatrix} 0 & 1 \\ 1 & 0 - \end{pmatrix}, + \end{pmatrix}, \quad P^{2n} = \begin{pmatrix} 1 & 0 \\ 0 & 1 - \end{pmatrix}, + \end{pmatrix}. \] - очевидно, такая последовательность не может иметь предела, поэтому такая марковская цепь не + Очевидно, такая последовательность не может иметь предела, поэтому такая марковская цепь не эргодичная. - Однако, в этой марковской цепи существует стационарное распределение: СЛАУ - $\pi^T = \pi^T P, \sum \pi_j = 1$ даёт решение $\pi^T = (0.5, 0.5)$. + Однако в этой марковской цепи существует стационарное распределение, поскольку СЛАУ + $\bm\pi^T = \bm\pi^{\mathsf T} P;\ \sum \pi_j = 1$ даёт решение + $\bm\pi^{\mathsf T} = (0.5, 0.5)$. \end{ex} \begin{ex} - Рассмотрим марковскую цепь, состоящую из состояний некоторого устройства. Пусть первое - состояние -- работоспособное устройство, второе и третье -- чуть поломанное (можно починить), - четвертое -- сломано полностью (такое устройство списывают). + Рассмотрим марковскую цепь, содержащую состояния некоторого устройства. Пусть первое + состояние соответствует работоспособности устройства, второе и третье + соответствуют небольшой поломке (возможен ремонт), + четвертое --- устройство сломано полностью (такое устройство списывают). \begin{figure}[h!] \centering - \includegraphics[width=0.3\linewidth]{Figures/lec2-ex2} + \includegraphics[width=0.3\linewidth]{stoproc/Figures/lec2-ex2} \end{figure} - стрелочками помечены ненулевые вероятности (для примера не важно какие). + Стрелками на рисунке помечены ненулевые вероятности (для примера неважны их + значения). \[ P = \begin{pmatrix} - \dots \\ - \dots \\ - \dots \\ + \cdots & \cdots & \cdots & \cdots\\ + \cdots & \cdots & \cdots & \cdots\\ + \cdots & \cdots & \cdots & \cdots \\ 0 & 0 & 0 & 1 - \end{pmatrix} + \end{pmatrix}. \] - и тогда $p = (0, 0, 0, 1)$ является стационарным распределением. - И интуитивно понятно, что начиная с любого состояния рано или поздно сломаемся. - Данная марковская цепь не является эргодической. + И тогда $\mathbf p = (0, 0, 0, 1)$ является стационарным распределением. + Интуитивно также понятно, что прибор, начиная с любого состояния, рано или поздно сломаемся. + Таким образом, данная марковская цепь не является эргодической. \end{ex} \begin{ex} - Рассмотрим марковскую цепь: + Рассмотрим марковскую цепь \begin{figure}[h!] \centering - \includegraphics[width=0.5\linewidth]{Figures/lec2-ex3} + \includegraphics[width=0.7\linewidth]{stoproc/Figures/lec2-ex3} \end{figure} - Для данной марковской цепи стационарными распределениями будут являтся $(1, 0, 0, 0)$ - и $(0, 0, 0, 1)$. Она тоже не является эргодической, так как нет финальных вероятностей. + Для неё стационарными распределениями будут являться $(1, 0, 0, 0)$ + и $(0, 0, 0, 1)$. Она тоже не является эргодической, так как нет финальных + вероятностей. \end{ex} \begin{definition} Состояние $S_i$ (или множество состояний) называется \emph{несущественным}, если - $\exists S_j, \exists n : p_{ij}^{(n)} > 0$ -- из этого состояния можно выйти, - но $\forall S_j, \forall n : p_{ji}^{(n)} = 0$ -- в это состояние нельзя попасть. + существуют $ S_j $ и $ n\in \mathbb N $, для которых $p_{ij}^{(n)} > 0$, --- из + этого состояния можно выйти --- + но для всякого $ S_k $ и $ m \in \mathbb N $ выполняется $p_{ki}^{(m)} = 0$ --- в это состояние нельзя попасть. \end{definition} \begin{definition} - Состояние (или множество состояний) называется \emph{поглощающим}, если в него можно войти -- - $\exists S_j , \exists n : p_{ji}^{(n)} > 0$, - но нельзя выйти -- - $\forall S_j, \forall n : p_{ij}^{(n)} = 0$. + Состояние (или множество состояний) называется \emph{поглощающим}, если в него + можно войти --- + $\exists S_j , \exists n\colon p_{ji}^{(n)} > 0$, + но нельзя выйти --- + $\forall S_j, \forall n \colon p_{ij}^{(n)} = 0$. \end{definition} \begin{definition} - Состояние $S_i$ достижимо из состояния $S_j$, если $\exists n : p_{ji}^{(n)} > 0$. + Говорят, что состояние $S_i$ \emph{достижимо} из состояния $S_j$, если $\exists n\colon p_{ji}^{(n)} > 0$. \end{definition} \begin{definition} - Если $S_i$ достижимо из $S_j$, $S_j$ достижимо из $S_i$, то $S_i$ и $S_j$ -- \emph{сообщающиеся - состояния}. + Если $S_i$ достижимо из $S_j$, $S_j$ достижимо из $S_i$, то $S_i$ и $S_j$ + называют \emph{сообщающимеся + состояниями}. \end{definition} Отношение сообщаемости является рефлексивным, транзитивным и симметричным, поэтому оно является -отношением эквивалентности, тогда отношение сообщаемости разбивает марковскую цепь на классы эквивалентности. +отношением эквивалентности, то есть отношение сообщаемости разбивает марковскую цепь на классы эквивалентности. \begin{definition} Если марковская цепь состоит из одного класса эквивалентности, то она называется \emph{неразложимой}. \end{definition} -\begin{ex} - % TODO рисунок +\begin{ex}\label{ex:724} + Для марковской цепи с графом, изображённым на рисунке \ref{fig:ex4}, + \begin{figure}[h!] + \centering + \includegraphics[width=0.3\textwidth]{stoproc/Figures/lec2-ex4.png} + \caption{Граф цепи примера \ref{ex:724}.} + \label{fig:ex4} + \end{figure} \[ P = \begin{pmatrix} 0 & 0 & 1/2 & 1/2 \\ 0 & 0 & 1/2 & 1/2 \\ 1/2 & 1/2 & 0 & 0 \\ 1/2 & 1/2 & 0 & 0 - \end{pmatrix}; \quad + \end{pmatrix}, \quad P^2 = \begin{pmatrix} 1/2 & 1/2 & 0 & 0 \\ 1/2 & 1/2 & 0 & 0 \\ 0 & 0 & 1/2 & 1/2 \\ 0 & 0 & 1/2 & 1/2 - \end{pmatrix} + \end{pmatrix}. \] - то есть начиная в $S_1$ или $S_2$, попадем в $S_3$ $S_4$, потом назад в $S_1$, $S_2$. - Такая ситуация называется цикличностью. + То есть начиная в $S_1$ или $S_2$, попадем в $S_3$ или $S_4$, а потом назад в $S_1$, $S_2$. +Такая ситуация называется \emph{цикличностью}. \end{ex} \begin{definition} - Состояние $S_i$ \emph{имеет период $d(i) = d$}, если + Говорят, что состояние $S_i$ \emph{имеет период $d(i) = d$}, если \begin{enumerate} - \item $p_{ii}^{(n)} > 0 \Rightarrow n = d \cdot l, l \in \mathbb{N}$ ($n$ делится на $d$). - \item $d$ -- наибольший общий делитель всех таких $n$, для которых выполнено 1. + \item Из $p_{ii}^{(n)} > 0$ вытекает $n = d \cdot l,\ l \in \mathbb{N}$ ($n$ делится на $d$). + \item Число $d$ есть наибольший общий делитель всех таких $n$, для которых + выполнено первое условие. \end{enumerate} \end{definition} - -В примере выше $d(1, 2, 3, 4) = 2$. +Например, в задаче \ref{ex:724} период $d(1, 2, 3, 4) = 2$. \begin{definition} Если $d(i) = 1$, то состояние называется \emph{апериодическим}. - - Если $p_{ii}^{(n)} = 0 \, \forall n$, то говорят $d(i) = 0$. + Если $p_{ii}^{(n)} = 0$ для всех $n$, то считают $d(i) = 0$. \end{definition} - - % Следующая теорема есть в Ширяеве \begin{theorem} - Если $S = \left\{ S_1, \dots, S_n \right\} $, марковская цепь неразложима и все состояния - периодические, то $d(i) = d(j) \, \forall i, j$. + Если $\mathscr S = \left\{ S_1, \dots, S_n \right\} $, марковская цепь неразложима и все состояния + периодические, то $d(i) = d(j)$ для всех $ i $, $ j $. \end{theorem} \begin{proof} - Выберем $S_i$ -- периодическое с периодом $d(i)$, $S_j$ -- периодическое с периодом $d(j)$. + Выберем $S_i$ периодическим с периодом $d(i)$, а $S_j$ --- с периодом $d(j)$. Необходимо доказать, что $d(i) = d(j)$. \begin{multline*} \begin{cases} @@ -172,33 +180,34 @@ \subsection{Классификация состояний марковской Марковская цепь с конечным множеством состояний является эргодической тогда и только тогда, когда она апериодична и неразложима. \end{theorem} -(без доказательства) +(\emph{Без доказательства.}) \begin{theorem} Марковская цепь со счетным множеством состояний является эргодической тогда и только тогда, когда она неразложима, апериодична, возвратна и положительна. \end{theorem} -(без доказательства) +(\emph{Без доказательства.}) \begin{definition} - Состояние $S_i$ называется возвратным, если $\sum_{n=1}^{\infty} f_{ii}^{(n)} = 1$, + Состояние $S_i$ называется \emph{возвратным}, если $\sum\limits_{n=1}^{\infty} f_{ii}^{(n)} = 1$, где \[ - f_{ii}^{(n)} = P(\xi_n = i, \xi_{n-1} \neq i, \dots, \xi_1 = i | \xi_0 = i). + f_{ii}^{(n)} = P(\xi_n = i, \xi_{n-1} \neq i, \dots, \xi_1 = i \mid \xi_0 = i). \] \end{definition} \begin{definition} - Цепь называется возвратной, если все ее состояния возратны. + Цепь называется \emph{возвратной}, если все ее состояния возвратны. \end{definition} \begin{definition} - Состояние $S_i$ называется положительным, если $\sum_{n=1}^{\infty} n f_{ii}^{(n)} < \infty$ - (матож < $\infty$, то есть можем вернуться за конечное число шагов). + Состояние $S_i$ называется \emph{положительным}, если + $\sum\limits_{n=1}^{\infty} n f_{ii}^{(n)} < \infty$. + (Математическое ожидание конечно, то есть можем вернуться за конечное число шагов.) \end{definition} \begin{definition} - Цепь называется положительной, если все ее состояния положительны. + Цепь называется \emph{положительной}, если все ее состояния положительны. \end{definition} @@ -211,25 +220,26 @@ \subsection{Классификация состояний марковской 0 & 1 & 0 & \dots \\ q & 0 & p & \dots \\ 0 & q & 0 & p \\ - \dots + \vdots & \vdots & \vdots & \vdots \end{pmatrix} \] Найдём стационарные состояния: \[ - \pi^T = \pi^T P \Leftrightarrow + \bm\pi^{\mathsf T} = \bm\pi^{\mathsf T} P \Leftrightarrow \begin{cases} \pi_0 = q \pi_1, \\ \pi_1 = \pi_0 + q \pi_2, \\ - \dots \\ - \pi_k = p \pi_{k-1} + q \pi_{k+1} + \dots, \\ + \pi_k = p \pi_{k-1} + q \pi_{k+1}. \end{cases} \] - такое уравнение является рекуррентным. Применим алгоритм его решения: - Характеристическое уравнение: $q \lambda^2 - \lambda + p = 0$. + Получили рекуррентное уравнение. Применим алгоритм его решения. + Характеристическое уравнение имеет вид $q \lambda^2 - \lambda + p = 0$ с + корнями \[ \lambda_{1, 2} = \dfrac{1\pm \sqrt{1-4pq}}{2q} = \dfrac{1 \pm \sqrt{1 - 4(1-q)q}}{2q} - = \dfrac{1 \pm |1 - 2q|}{2q} + = \dfrac{1 \pm |1 - 2q|}{2q}. \] \begin{enumerate} \item $q > \dfrac{1}{2}$ -- движение влево более вероятно, чем вправо. @@ -245,7 +255,7 @@ \subsection{Классификация состояний марковской Получили эргодичность. \item $q = \dfrac{1}{2}$ тогда $\lambda_{12} = 1$ -- двукратный корень. $\pi_k = C_1 + C_2 k$. - Тогда $\pi_k = 0$. Неэргодичная. + Тогда $\pi_k = 0$, а цепь неэргодичная. \item $q<\dfrac{1}{2}$. $\lambda_{1, 2} = \dfrac{1 \pm (1-2q)}{2q} = \dfrac{p}{q}, 1$. $\pi_k = C_1 + C_2 \left(\dfrac{p}{q}\right)^{k} \Rightarrow \pi_k = 0$. @@ -253,25 +263,23 @@ \subsection{Классификация состояний марковской \end{ex} \begin{definition} - Пусть конечное множество состояний $S = \left\{ S_1, \dots, S_m \right\} $. Берём подмножество + Пусть конечное множество состояний $\mathscr S = \left\{ S_1, \dots, S_m \right\} $. Берём подмножество состояний (для определенности первые $m_1 < m$ состояний) $A = \left\{ S_1, \dots, S_{m_1} \right\} $. - Обозначим $H^A = \inf \left\{ n\geqslant 0, \xi_n \in A \right\} $ -- момент первого достижения + Обозначим $H^A = \inf \left\{ n\geqslant 0,\, \xi_n \in A \right\} $ --- момент первого достижения множества $A$. - Обозначим $h^A = P(H^A < \infty | \xi_0 = i)$. - $\mu^A_i = M(H^A | \xi_0 = i)$ + Обозначим $h^A = P(H^A < \infty \mid \xi_0 = i)$, + $\mu^A_i = M(H^A \mid \xi_0 = i)$. \end{definition} \begin{theorem} - Если $A \subset S$, то $h_i^A$ -- наименьшее неотрицателььное решение системы. + Если $A \subset \mathscr S$, то $h_i^A$ --- наименьшее неотрицательное решение системы \[ h^A_i = \begin{cases} - 1, S_i \in A \\ - \sum_{j=1}^m p_{ij} h_j^A, S_i \notin A + 1, & S_i \in A, \\ + \sum_{j=1}^m p_{ij} h_j^A, &S_i \notin A. \end{cases} \] - $\mu^A_i = 0, S_i \in A$ $\mu^A_i = 1 + \sum_{j=m_1+1}^{m} p_{ij} \mu_j^A, S_i \notin A$. \end{theorem} -