diff --git a/stoproc/lection02.tex b/stoproc/lection02.tex new file mode 100644 index 0000000..abfa713 --- /dev/null +++ b/stoproc/lection02.tex @@ -0,0 +1,224 @@ +\section{Лекция 2 -- 2024-02-16 -- } + +\subsection{Классификация состояний марковской цепи} + +% TODO определение инвариантных (стационарных) + +% TODO что такое финальные вероятности + +% TODO первый пример про цепь из двух штучек туда сюдща + +% TODO пример про устройство которое рано или поздно сломается + +% TODO примеры + +\begin{definition} + Состояние $S_i$ (или множество состояний) называется \emph{несущественным}, если + $\exists S_j, \exists n : p_{ij}^{(n)} > 0$ -- из этого состояния можно выйти, + но $\forall S_j, \forall n : p_{ji}^{(n)} = 0$ -- в это состояние нельзя попасть. +\end{definition} + +\begin{definition} + Состояние (или множество состояний) называется \emph{поглощающим}, если в него можно войти -- + $\exists S_j , \exists n : p_{ji}^{(n)} > 0$, + но нельзя выйти -- + $\forall S_j, \forall n : p_{ij}^{(n)} = 0$. +\end{definition} + +\begin{definition} + Состояние $S_i$ достижимо из состояния $S_j$, если $\exists n : p_{ji}^{(n)} > 0$. +\end{definition} + +\begin{definition} + Если $S_i$ достижимо из $S_j$, $S_j$ достижимо из $S_i$, то $S_i$ и $S_j$ -- \emph{сообщающиеся + состояния}. +\end{definition} + +Отношение сообщаемости является рефлексивным, транзитивным и симметричным, поэтому оно является +отношением эквивалентности, тогда отношение сообщаемости разбивает марковскую цепь на классы эквивалентности. + +\begin{definition} + Если марковская цепь состоит из одного класса эквивалентности, то она называется + \emph{неразложимой}. +\end{definition} + +\begin{ex} + % TODO рисунок + \[ + P = \begin{pmatrix} + 0 & 0 & 1/2 & 1/2 \\ + 0 & 0 & 1/2 & 1/2 \\ + 1/2 & 1/2 & 0 & 0 \\ + 1/2 & 1/2 & 0 & 0 + \end{pmatrix}; \quad + P^2 = \begin{pmatrix} + 1/2 & 1/2 & 0 & 0 \\ + 1/2 & 1/2 & 0 & 0 \\ + 0 & 0 & 1/2 & 1/2 \\ + 0 & 0 & 1/2 & 1/2 + \end{pmatrix} + \] + + то есть начиная в $S_1$ или $S_2$, попадем в $S_3$ $S_4$, потом назад в $S_1$, $S_2$. + Такая ситуация называется цикличностью. +\end{ex} + +\begin{definition} + Состояние $S_i$ \emph{имеет период $d(i) = d$}, если + \begin{enumerate} + \item $p_{ii}^{(n)} > 0 \Rightarrow n = d \cdot l, l \in \mathbb{N}$ ($n$ делится на $d$). + \item $d$ -- наибольший общий делитель всех таких $n$, для которых выполнено 1. + \end{enumerate} +\end{definition} + +В примере выше $d(1, 2, 3, 4) = 2$. + +\begin{definition} + Если $d(i) = 1$, то состояние называется \emph{апериодическим}. + + Если $p_{ii}^{(n)} = 0 \, \forall n$, то говорят $d(i) = 0$. +\end{definition} + + + +% Следующая теорема есть в Ширяеве +\begin{theorem} + Если $S = \left\{ S_1, \dots, S_n \right\} $, марковская цепь неразложима и все состояния + периодические, то $d(i) = d(j) \, \forall i, j$. +\end{theorem} +\begin{proof} + Выберем $S_i$ -- периодическое с периодом $d(i)$, $S_j$ -- периодическое с периодом $d(j)$. + Необходимо доказать, что $d(i) = d(j)$. + \begin{multline*} + \begin{cases} + \exists k : p_{ij}^{(k)} > 0, \\ + \exists l : p_{ji}^{(l)} > 0 + \end{cases} + \Rightarrow \text{по т-ме Колмогорова-Чепмена: } \\ + p_{ii}^{(k+l)} = \sum_{\alpha} p_{i\alpha}^{(k)} \cdot p_{\alpha i}^{(l)} + \geqslant p_{ij}^{(k)} \cdot p_{ji}^{(l)} > 0 + \Rightarrow + k+l \text{ делится на $d(i)$}. + \end{multline*} + если $n$ не делится на $d(i)$, то $n+k+l$ не делится на $d(i)$, тогда $p_{ii}^{(n+k+l)} = 0$, + тогда $p_{ii}^{(n+k+l)} = \sum_{\alpha} \sum_\beta p_{i\alpha}^{(k)} p_{\alpha \beta}^{(n)} + p_{\beta i}^{(l)}$, тогда $p_{jj}^{(n)} = 0$ тогда $n$ не делится на $d(j)$. + + если $p_{jj}^{(n)} > 0 \Rightarrow$ $n$ делится на $d(i)$, а по предположению теоремы $n$ делится + на $d(j)$ $\Rightarrow$ $d(i) \leqslant d(j)$. + + Аналогично можно доказать, что $d(j) \leqslant d(i)$. То есть $d(i) = d(j)$. +\end{proof} + +\begin{definition} + Этот общий период называется периодом цепи $d(S)$. + Если $d(S) = 1$, то цепь называется апериодической -- все состояния непериодические. +\end{definition} + +\begin{theorem} + Марковская цепь с конечным множеством состояний является эргодической тогда и только тогда, + когда она апериодична и неразложима. +\end{theorem} +(без доказательства) + +\begin{theorem} + Марковская цепь со счетным множеством состояний является эргодической тогда и только тогда, + когда она неразложима, апериодична, возвратна и положительна. +\end{theorem} +(без доказательства) + +\begin{definition} + Состояние $S_i$ называется возвратным, если $\sum_{n=1}^{\infty} f_{ii}^{(n)} = 1$, + где + \[ + f_{ii}^{(n)} = P(\xi_n = i, \xi_{n-1} \neq i, \dots, \xi_1 = i | \xi_0 = i). + \] +\end{definition} + +\begin{definition} + Цепь называется возвратной, если все ее состояния возратны. +\end{definition} + +\begin{definition} + Состояние $S_i$ называется положительным, если $\sum_{n=1}^{\infty} n f_{ii}^{(n)} < \infty$ + (матож < $\infty$, то есть можем вернуться за конечное число шагов). +\end{definition} + +\begin{definition} + Цепь называется положительной, если все ее состояния положительны. +\end{definition} + + +\begin{ex} + % TODO рисунок бесконечная гусеница + $p+q=1$. + + \[ + P = \begin{pmatrix} + 0 & 1 & 0 & \dots \\ + q & 0 & p & \dots \\ + 0 & q & 0 & p \\ + \dots + \end{pmatrix} + \] + + Найдём стационарные состояния: + \[ + \pi^T = \pi^T P \Leftrightarrow + \begin{cases} + \pi_0 = q \pi_1, \\ + \pi_1 = \pi_0 + q \pi_2, \\ + \dots \\ + \pi_k = p \pi_{k-1} + q \pi_{k+1} + \end{cases} + \] + такое уравнение является рекуррентным. Применим алгоритм его решения: + Характеристическое уравнение: $q \lambda^2 - \lambda + p = 0$. + \[ + \lambda_{1, 2} = \dfrac{1\pm \sqrt{1-4pq}}{2q} = \dfrac{1 \pm \sqrt{1 - 4(1-q)q}}{2q} + = \dfrac{1 \pm |1 - 2q|}{2q} + \] + \begin{enumerate} + \item $q > \dfrac{1}{2}$ -- движение влево более вероятно, чем вправо. + \[ + \lambda_{1, 2} = 1, \dfrac{1-q}{q}. + \] + $\pi_k = c_1 \cdot 1^k + c_2 \cdot \left( \dfrac{p}{q} \right)^k$. + Причем $0 < \pi_k < 1$ $\Rightarrow$ и $\sum_{k=0}^\infty \pi_k = 1$. + Получаем, $C_1 = 0, \sum_{k=0}^\infty C_2 \left( \dfrac{p}{q} \right)^k + \Rightarrow C_2 = \dots = \dfrac{q-p}{q}$ + % TODO дописать из семинара + + Получили эргодичность. + + \item $q = \dfrac{1}{2}$ тогда $\lambda_{12} = 1$ -- двукратный корень. $\pi_k = C_1 + C_2 k$. + Тогда $\pi_k = 0$. Неэргодичная. + + \item $q<\dfrac{1}{2}$. $\lambda_{1, 2} = \dfrac{1 \pm (1-2q)}{2q} = \dfrac{p}{q}, 1$. + $\pi_k = C_1 + C_2 \left(\dfrac{p}{q}\right)^{k} \Rightarrow \pi_k = 0$. + \end{enumerate} +\end{ex} + +\begin{definition} + Пусть конечное множество состояний $S = \left\{ S_1, \dots, S_m \right\} $. Берём подмножество + состояний (для определенности первые $m_1 < m$ состояний) + $A = \left\{ S_1, \dots, S_{m_1} \right\} $. + Обозначим $H^A = \inf \left\{ n\geqslant 0, \xi_n \in A \right\} $ -- момент первого достижения + множества $A$. + Обозначим $h^A = P(H^A < \infty | \xi_0 = i)$. + $\mu^A_i = M(H^A | \xi_0 = i)$ +\end{definition} + +\begin{theorem} + Если $A \subset S$, то $h_i^A$ -- наименьшее неотрицателььное решение системы. + \[ + h^A_i = \begin{cases} + 1, S_i \in A \\ + \sum_{j=1}^m p_{ij} h_j^A, S_i \notin A + \end{cases} + \] + + $\mu^A_i = 0, S_i \in A$ + $\mu^A_i = 1 + \sum_{j=m_1+1}^{m} p_{ij} \mu_j^A, S_i \notin A$. +\end{theorem} + diff --git a/stoproc/stoproc.tex b/stoproc/stoproc.tex index eca922b..fc8da1b 100644 --- a/stoproc/stoproc.tex +++ b/stoproc/stoproc.tex @@ -6,7 +6,7 @@ \chapter{Модуль 1} \input{stoproc/lection01} - % \input{stoproc/lection2} + \input{stoproc/lection02} % \input{stoproc/lection3} % \input{stoproc/lection4} % \input{stoproc/lection5}