diff --git a/stoproc/lection01.tex b/stoproc/lection01.tex index 5e1968a..e1d419d 100644 --- a/stoproc/lection01.tex +++ b/stoproc/lection01.tex @@ -122,7 +122,8 @@ \subsection{Марковская цепь} S_{k-1}^i\biggl) = \\ = \sum_{j=1}^m P(S_k^j \mid S_{k-1}^i) - = \sum_{j=1}^m P\left(\xi_k = j \mid \xi_{k-1}=i\right) = \sum_{j=1}^m p_{ij}^k. + = \sum_{j=1}^m P\left(\xi_k = j \mid \xi_{k-1}=i\right) = \sum_{j=1}^m + p_{ij}^{(k)}. \end{multline*} \end{proof} @@ -131,7 +132,7 @@ \subsection{Марковская цепь} $\Omega = S_1^k + S_2^k + \ldots + S_m^k$, так как события несовместны. \[ P(S_j^{k+1}) = \sum_{i=1}^m P(S_j^{k+1} \mid S_i^k) \cdot P(S_i^k) - = \sum_{i=1}^m p_{ij}^k \cdot p_i(k). + = \sum_{i=1}^m p_{ij}^{(k)} p_i(k). \] \end{proof} @@ -141,17 +142,17 @@ \subsection{Марковская цепь} \subsection{Однородные марковские цепи} \begin{definition} - Марковская цепь $\xi_k$ называется \emph{однородной}, если $p_{ij}^k = + Марковская цепь $\xi_k$ называется \emph{однородной}, если $p_{ij}^{(k)} = P(\xi_k=j \mid \xi_{k-1}=i)$ не зависит от $ k $. \end{definition} Для однородных цепей $\mathbf{p}(l+1)^{\mathsf T} = \mathbf{p}(l)^{\mathsf T} P$, а -$\mathbf{p}(l=1)^{\mathsf T} = \mathbf{p}(0)^{\mathsf T} P^{l+1}$. +$\mathbf{p}(l+1)^{\mathsf T} = \mathbf{p}(0)^{\mathsf T} P^{l+1}$. -\begin{theorem}[Колмогорова -- Чепмена] - Пусть в однородной марковской цепи $p_{ij}^{(k)} = P(\xi_{l+k} = j \mid +\begin{theorem}[Колмогоров -- Чепмен] + Пусть в \emph{однородной} марковской цепи $p_{ij}^{(k)} = P(\xi_{l+k} = j \mid \xi_l=i)$. Обозначим - $\mathbb{P}^{(k)} = (p_{ij}^k)$. Тогда имеет место соотношение + $\mathbb{P}^{(k)} = (p_{ij}^{(k)})$. Тогда имеет место соотношение \[ \forall l, k \quad \mathbb{P}^{(k+l)} = \mathbb{P}^{(k)} \mathbb{P}^{(l)}. \] @@ -168,9 +169,12 @@ \subsection{Однородные марковские цепи} = \sum_{\alpha=1}^m p_{i\alpha}^{(k)} p_{\alpha j}^{(l)}. \end{multline*} \end{proof} +\begin{remark*} + Учитывая, что $ \mathbb P^{(1)} = P $, то и $ \mathbb P^{(k)} = P^k $. +\end{remark*} -\subsection{Эргодическая цепь} +\subsection{Эргодическая цепь} \begin{definition} Марковская цепь называется \emph{эргодической}, если для любого $ i $ существует и не зависит от $ i $ предел @@ -182,7 +186,8 @@ \subsection{Эргодическая цепь} Вектор $\bm{\pi}$ называется \emph{финальным} (распределением). \end{definition} -\textsc{Пояснение}.\hspace{.15em} В пределе получается, что матрица состоит из одинаковых строк, каждая из +\textsc{Пояснение}.\hspace{.15em} В пределе получается, что матрица переходных +вероятностей состоит из одинаковых строк, каждая из которых совпадает с $\bm{\pi}^{\mathsf T}$. \begin{definition} @@ -190,25 +195,25 @@ \subsection{Эргодическая цепь} системе \[ \bm{\pi}^{\mathsf T} = \bm{\pi}^{\mathsf T} \cdot P - \Leftrightarrow + \Longleftrightarrow \pi_j = \sum_\alpha \pi_\alpha p_{\alpha j}. \] \end{definition} -\begin{theorem} - Если марковская цепь $\xi_n$ имеет конечное множество состояний и существуют $0 +\begin{theorem}[эргодическая] + Если \emph{однородная} марковская цепь $\xi_n$ имеет конечное множество состояний и существуют $0 <\varepsilon < 1$, $n_0 \in \mathbb N$ такие, что $\min\limits_{i, j} p_{ij}^{(n_0)} \geqslant \varepsilon$ для произвольных $ i $, $ j $, то цепь эргодическая, а финальные вероятности совпадают со стационарными. \end{theorem} \begin{proof} - Обозначим как $m_j^{(n)} := \min\limits_i p_{ij}^{(n)}$, $M_j^{(n)} = \max\limits_i p_{ij}^{(n)}$ минимальный - и максимальный элементы в столбце. Докажем монотонное возрастание $m_{j}^{(n)}$ и монотонное + Обозначим $m_j^{(n)} := \min\limits_i p_{ij}^{(n)}$, $M_j^{(n)} := \max\limits_i p_{ij}^{(n)}$ минимальный + и максимальный элементы в столбце $ j $. Докажем монотонное возрастание $m_{j}^{(n)}$ и монотонное убываение $M_j^{(n)}$. По теореме Колмогорова -- Чепмена \[ m_{j}^{(n+1)} = \min_i p_{ij}^{(n+1)} - = \min_i \sum_{\alpha=1}^m p_{i\alpha} \cdot p_{\alpha j}^{n} \geqslant + = \min_i \sum_{\alpha=1}^m p_{i\alpha} p_{\alpha j}^{n} \geqslant \min_i \sum_{\alpha=1}^m p_{i \alpha} m_j^{(n)} = m_j^{(n)}. \] @@ -266,7 +271,7 @@ \subsection{Эргодическая цепь} то для стационарной вероятности имеем уравнения \[ \begin{cases} - \bm{\pi}^{\mathsf T} = \bm{\pi}^{\mathsf T} \cdot P \Leftrightarrow + \bm{\pi}^{\mathsf T} = \bm{\pi}^{\mathsf T} P \Leftrightarrow \bm\pi^{\mathsf T} (P - E) = 0,\\ \sum\limits_{k=1}^m \pi_k = 1. \end{cases} diff --git a/stoproc/lection02.tex b/stoproc/lection02.tex index eddf964..84f6c42 100644 --- a/stoproc/lection02.tex +++ b/stoproc/lection02.tex @@ -23,7 +23,7 @@ \subsection{Классификация состояний марковской \end{pmatrix}. \] Очевидно, такая последовательность не может иметь предела, поэтому такая марковская цепь не - эргодичная. + эргодическая. Однако в этой марковской цепи существует стационарное распределение, поскольку СЛАУ $\bm\pi^T = \bm\pi^{\mathsf T} P;\ \sum \pi_j = 1$ даёт решение @@ -50,7 +50,7 @@ \subsection{Классификация состояний марковской 0 & 0 & 0 & 1 \end{pmatrix}. \] - И тогда $\mathbf p = (0, 0, 0, 1)$ является стационарным распределением. + И тогда $\mathbf p = (0, 0, 0, 1)^{\mathsf T}$ является стационарным распределением. Интуитивно также понятно, что прибор, начиная с любого состояния, рано или поздно сломаемся. Таким образом, данная марковская цепь не является эргодической. \end{ex} @@ -69,21 +69,22 @@ \subsection{Классификация состояний марковской \begin{definition} Состояние $S_i$ (или множество состояний) называется \emph{несущественным}, если - существуют $ S_j $ и $ n\in \mathbb N $, для которых $p_{ij}^{(n)} > 0$, --- из - этого состояния можно выйти --- - но для всякого $ S_k $ и $ m \in \mathbb N $ выполняется $p_{ki}^{(m)} = 0$ --- в это состояние нельзя попасть. + $\exists S_j \exists n\in \mathbb N\colon p_{ij}^{(n)} > 0$ --- из + этого состояния можно выйти, + но $ \forall S_k \forall m \in \mathbb N\ p_{ki}^{(m)} = 0$ --- в это состояние нельзя попасть. \end{definition} \begin{definition} Состояние (или множество состояний) называется \emph{поглощающим}, если в него можно войти --- - $\exists S_j , \exists n\colon p_{ji}^{(n)} > 0$, + $\exists S_j \exists n\in\mathbb N\colon p_{ji}^{(n)} > 0$, но нельзя выйти --- - $\forall S_j, \forall n \colon p_{ij}^{(n)} = 0$. + $\forall S_j \forall n \in \mathbb N \ p_{ij}^{(n)} = 0$. \end{definition} \begin{definition} - Говорят, что состояние $S_i$ \emph{достижимо} из состояния $S_j$, если $\exists n\colon p_{ji}^{(n)} > 0$. + Говорят, что состояние $S_i$ \emph{достижимо} из состояния $S_j$, если из + последнего можно попасть в первое за некоторое количество шагов --- $\exists n\colon p_{ji}^{(n)} > 0$. \end{definition} \begin{definition} @@ -128,12 +129,8 @@ \subsection{Классификация состояний марковской \end{ex} \begin{definition} - Говорят, что состояние $S_i$ \emph{имеет период $d(i) = d$}, если - \begin{enumerate} - \item Из $p_{ii}^{(n)} > 0$ вытекает $n = d \cdot l,\ l \in \mathbb{N}$ ($n$ делится на $d$). - \item Число $d$ есть наибольший общий делитель всех таких $n$, для которых - выполнено первое условие. - \end{enumerate} + Наибольший общий делитель $ d(i) $ всех $ n $ таких, что $ p_{ii}^{(n)} > 0 $ + называют \emph{периодом состояния $ S_i $}. \end{definition} Например, в задаче \ref{ex:724} период $d(1, 2, 3, 4) = 2$. @@ -148,32 +145,32 @@ \subsection{Классификация состояний марковской периодические, то $d(i) = d(j)$ для всех $ i $, $ j $. \end{theorem} \begin{proof} - Выберем $S_i$ периодическим с периодом $d(i)$, а $S_j$ --- с периодом $d(j)$. + Выберем $S_i$ периодическим с периодом $d(i)$, а $S_j$ с периодом $d(j)$. Необходимо доказать, что $d(i) = d(j)$. \begin{multline*} \begin{cases} - \exists k : p_{ij}^{(k)} > 0, \\ - \exists l : p_{ji}^{(l)} > 0 + \exists k \colon p_{ij}^{(k)} > 0, \\ + \exists l \colon p_{ji}^{(l)} > 0 \end{cases} - \Rightarrow \text{по т-ме Колмогорова-Чепмена: } \\ + \Rightarrow \text{по теореме Колмогорова -- Чепмена } \\ p_{ii}^{(k+l)} = \sum_{\alpha} p_{i\alpha}^{(k)} \cdot p_{\alpha i}^{(l)} \geqslant p_{ij}^{(k)} \cdot p_{ji}^{(l)} > 0 \Rightarrow - k+l \text{ делится на $d(i)$}. + (k+l) \text{ делится на $d(i)$}. \end{multline*} - если $n$ не делится на $d(i)$, то $n+k+l$ не делится на $d(i)$, тогда $p_{ii}^{(n+k+l)} = 0$, - тогда $p_{ii}^{(n+k+l)} = \sum_{\alpha} \sum_\beta p_{i\alpha}^{(k)} p_{\alpha \beta}^{(n)} - p_{\beta i}^{(l)}$, тогда $p_{jj}^{(n)} = 0$ тогда $n$ не делится на $d(j)$. + Если $n$ не делится на $d(i)$, то $(n+k+l)$ не делится на $d(i)$. Тогда $p_{ii}^{(n+k+l)} = 0$, + тогда $p_{ii}^{(n+k+l)} = \sum\limits_{\alpha} \sum\limits_\beta p_{i\alpha}^{(k)} p_{\alpha \beta}^{(n)} + p_{\beta i}^{(l)}$, тогда $p_{jj}^{(n)} = 0$, тогда $n$ не делится на $d(j)$. - если $p_{jj}^{(n)} > 0 \Rightarrow$ $n$ делится на $d(i)$, а по предположению теоремы $n$ делится - на $d(j)$ $\Rightarrow$ $d(i) \leqslant d(j)$. + Если $p_{jj}^{(n)} > 0 $, то есть $n$ делится на $d(i)$ (а по предположению теоремы $n$ делится + на $d(j)$), то $d(i) \leqslant d(j)$. - Аналогично можно доказать, что $d(j) \leqslant d(i)$. То есть $d(i) = d(j)$. + Аналогично можно доказать, что $d(j) \leqslant d(i)$. Таким образом, $d(i) = d(j)$. \end{proof} \begin{definition} - Этот общий период называется периодом цепи $d(S)$. - Если $d(S) = 1$, то цепь называется апериодической -- все состояния непериодические. + Этот общий период называется \emph{периодом цепи} $d(S)$. + Если $d(S) = 1$, то цепь называется \emph{апериодической} --- все состояния непериодические. \end{definition} \begin{theorem} @@ -217,10 +214,10 @@ \subsection{Классификация состояний марковской \[ P = \begin{pmatrix} - 0 & 1 & 0 & \dots \\ - q & 0 & p & \dots \\ - 0 & q & 0 & p \\ - \vdots & \vdots & \vdots & \vdots + 0 & 1 & 0 & \cdots & \cdots\\ + q & 0 & p & \cdots & \cdots\\ + 0 & q & 0 & p & \cdots \\ + \vdots & \vdots & \vdots & \vdots & \ddots \end{pmatrix} \] @@ -234,52 +231,69 @@ \subsection{Классификация состояний марковской \pi_k = p \pi_{k-1} + q \pi_{k+1}. \end{cases} \] - Получили рекуррентное уравнение. Применим алгоритм его решения. + Получили рекуррентное уравнение. Применим следующий алгоритм его решения. Характеристическое уравнение имеет вид $q \lambda^2 - \lambda + p = 0$ с корнями \[ \lambda_{1, 2} = \dfrac{1\pm \sqrt{1-4pq}}{2q} = \dfrac{1 \pm \sqrt{1 - 4(1-q)q}}{2q} = \dfrac{1 \pm |1 - 2q|}{2q}. \] - \begin{enumerate} - \item $q > \dfrac{1}{2}$ -- движение влево более вероятно, чем вправо. + Рассмотрим три случая. + \begin{enumerate}[label=\roman*)] + \item $q > 1/2$ (движение влево более вероятно, чем вправо). В этом случае \[ - \lambda_{1, 2} = 1, \dfrac{1-q}{q}. + \lambda_{1, 2} = \left\{ 1, \frac{1-q}{q} \right\}. \] - $\pi_k = c_1 \cdot 1^k + c_2 \cdot \left( \dfrac{p}{q} \right)^k$. - Причем $0 < \pi_k < 1$ $\Rightarrow$ и $\sum_{k=0}^\infty \pi_k = 1$. - Получаем, $C_1 = 0, \sum_{k=0}^\infty C_2 \left( \dfrac{p}{q} \right)^k - \Rightarrow C_2 = \dots = \dfrac{q-p}{q}$ + Значит, $\pi_k = C_1 \cdot 1^k + C_2 \cdot \left( p/q \right)^k$. + Причём $0 < \pi_k < 1$ и $\sum\limits_{k=0}^\infty \pi_k = 1$. + Отсюда получаем, что $C_1 = 0, \sum\limits_{k=0}^\infty C_2 \left( p/q + \right)^k$, + и $$C_2 = \ldots = \dfrac{q-p}{q}.$$ % TODO дописать из семинара Получили эргодичность. - \item $q = \dfrac{1}{2}$ тогда $\lambda_{12} = 1$ -- двукратный корень. $\pi_k = C_1 + C_2 k$. - Тогда $\pi_k = 0$, а цепь неэргодичная. + \item $q = 1/2$. Тогда $\lambda_{1,2} = 1$ (двукратный корень). В этом + случае $\pi_k = C_1 + C_2 k$. + Тогда $\pi_k = 0$, а цепь неэргодическая. - \item $q<\dfrac{1}{2}$. $\lambda_{1, 2} = \dfrac{1 \pm (1-2q)}{2q} = \dfrac{p}{q}, 1$. - $\pi_k = C_1 + C_2 \left(\dfrac{p}{q}\right)^{k} \Rightarrow \pi_k = 0$. + \item $q<1/2$. В этом случае + \[ + \lambda_{1, 2} = \dfrac{1 \pm (1-2q)}{2q} = \{ + p/q, + 1 + \}. + \] + Здесь $\pi_k = C_1 + C_2 \left(p/q\right)^{k}$, и, значит, $\pi_k = 0$. \end{enumerate} \end{ex} \begin{definition} Пусть конечное множество состояний $\mathscr S = \left\{ S_1, \dots, S_m \right\} $. Берём подмножество состояний (для определенности первые $m_1 < m$ состояний) - $A = \left\{ S_1, \dots, S_{m_1} \right\} $. - Обозначим $H^A = \inf \left\{ n\geqslant 0,\, \xi_n \in A \right\} $ --- момент первого достижения - множества $A$. - Обозначим $h^A = P(H^A < \infty \mid \xi_0 = i)$, - $\mu^A_i = M(H^A \mid \xi_0 = i)$. + $\mathscr A = \left\{ S_1, \dots, S_{m_1} \right\} $. + Обозначим $H^{\mathscr A} = \inf \left\{ n\geqslant 0,\, \xi_n \in \mathscr A \right\} $ --- момент первого достижения + множества $\mathscr A$. + Обозначим $h^{\mathscr A} = P(H^{\mathscr A} < \infty \mid \xi_0 = i)$, + $\mu^{\mathscr A}_i = M(H^{\mathscr A} \mid \xi_0 = i)$. \end{definition} \begin{theorem} - Если $A \subset \mathscr S$, то $h_i^A$ --- наименьшее неотрицательное решение системы + Если $\mathscr A \subset \mathscr S$, то $h_i^{\mathscr A}$ --- наименьшее неотрицательное решение системы + \[ + h^{\mathscr A}_i = \begin{cases} + 1, & S_i \in \mathscr A, \\ + \sum\limits_{j=1}^m p_{ij} h_j^{\mathscr A}, &S_i \notin \mathscr A. + \end{cases} + \] + + В свою очередь \[ - h^A_i = \begin{cases} - 1, & S_i \in A, \\ - \sum_{j=1}^m p_{ij} h_j^A, &S_i \notin A. + \begin{cases} + \mu^{\mathscr A}_i = 0, &S_i \in \mathscr A,\\ + \mu^{\mathscr A}_i = 1 + \!\!\!\!\sum\limits_{j=m_1+1}^{m} p_{ij} \mu_j^{\mathscr A}, + &S_i \notin + \mathscr A. \end{cases} \] - $\mu^A_i = 0, S_i \in A$ - $\mu^A_i = 1 + \sum_{j=m_1+1}^{m} p_{ij} \mu_j^A, S_i \notin A$. \end{theorem} diff --git a/stoproc/lection03.tex b/stoproc/lection03.tex index 42ac089..0ad6831 100644 --- a/stoproc/lection03.tex +++ b/stoproc/lection03.tex @@ -1,7 +1,7 @@ \section{Лекция 3 -- 2024-03-01 -- } \begin{theorem} - $\mathcal{A} = \left\{ S_1, S_2, \dots, S_{m_1} \right\} \subset S = \left\{ S_1, \dots, S_m \right\} $ + $\mathscr{A} = \left\{ S_1, S_2, \dots, S_{m_1} \right\} \subset \mathscr S = \left\{ S_1, \dots, S_m \right\} $ \end{theorem} % TODO дописать начало лекции до @@ -9,28 +9,29 @@ \section{Лекция 3 -- 2024-03-01 -- } \begin{theorem} - $\mu_k = M(M^A | \xi_0=k)$, $\mu_k = \mu_k^A$ -- наименьшее наотрицателььное решение системы: + Положим $\mu_k = M(h^{\mathscr A} \mid \xi_0=k)$. Тогда $\mu_k = \mu_k^{\mathscr A}$ --- наименьшее неотрицателььное решение системы \[ \begin{cases} - \mu_k = 0, & S_k \in \mathcal{A} \\ - \mu_k = 1 + \sum_{j={m_1+1}}^m p_{kj} \mu_j, &S_k \notin \mathcal{A}. + \mu_k = 0, & S_k \in \mathscr{A}, \\ + \mu_k = 1 + \!\!\!\!\sum\limits_{j={m_1+1}}^m p_{kj} \mu_j, &S_k \notin + \mathscr{A}. \end{cases} \] \end{theorem} - +\addtocounter{ex}{-1} \begin{ex}[продолжение] \begin{align*} \mu_0 &= 0, \\ \mu_k &= 1 + q \mu_{k+1} + p \mu_{k+1}, \\ - \mu_k &= A \cdot 1^k + B \left( \dfrac{q}{p} \right)^k + \mu_k^{\text{ч}}, \\ + \mu_k &= A \cdot 1^k + B \left( q/p \right)^k + \mu_k^{\text{ч}}, \\ \mu_k^{\text{ч}} &= \begin{cases} - A_1 \alpha^k, &\text{если $\alpha$ не является корнем характеристического} \\ - A_1 k \alpha^k, &\text{является однократным корнем} \\ + A_1 \alpha^k, &\text{$\alpha$ не является корнем характеристического,} \\ + A_1 k \alpha^k, &\text{является однократным корнем,} \\ A_1 k^2 \alpha^k, &\text{является двукратным корнем} \end{cases} = \begin{cases} - A_1 k, & q \neq p \\ - A_1 k^2, & q = p + A_1 k, & q \neq p, \\ + A_1 k^2, & q = p. \end{cases} \end{align*} @@ -41,71 +42,76 @@ \section{Лекция 3 -- 2024-03-01 -- } \Rightarrow A_1 k \cdot 0 = 1 - qA_1 + p A_1 \Rightarrow - A = \dfrac{k}{q-p} + A = \dfrac{k}{q-p}. \] - Тогда при $p>\dfrac{1}{2}$: + + Тогда при $p>1/2$ \[ - \mu_k = A + B \left( \dfrac{q}{p} \right)^k + \dfrac{k}{q-p} + \mu_k = A + B \left( \dfrac{q}{p} \right)^k + \dfrac{k}{q-p}. \] - Причём $\mu_0 = A + B = 0 \Rightarrow A = -B$ + При этом $\mu_0 = A + B = 0 $, откуда $A = -B$, и \[ - \mu_k = A \left( 1 - \left( \dfrac{q}{p} \right)^k \right) + \dfrac{k}{q-p} = \infty + \mu_k = A \left( 1 - \left( \dfrac{q}{p} \right)^k \right) + \dfrac{k}{q-p} + = \infty. \] - Равно бесконечности, так как второе слагаемое при $k \to \infty$ сколь угодно большое по модулю, - но меньше нуля, а первое слагаемое стремиться к константе $A$. Поэтому, чтобы не было отрицательным - надо чтобы $A = \infty$. + (Равно бесконечности, так как второе слагаемое при $k \to \infty$ сколь угодно большое по модулю, + но меньше нуля, а первое слагаемое стремится к константе $A$. Поэтому, чтобы + $ \mu $ не было отрицательным + надо чтобы $A = \infty$.) - Если $p < 1/2$: + Если $p < 1/2$, \[ - \mu_k = A + B \left( \dfrac{q}{p} \right)^k + \dfrac{k}{q-p} = B \left( \left( \dfrac{q}{p} \right) ^k - 1 \right) + \dfrac{k}{q-p} \geqslant \dfrac{k}{q-p} + \mu_k = A + B \left( \dfrac{q}{p} \right)^k + \dfrac{k}{q-p} = B \left( + \left( \dfrac{q}{p} \right) ^k - 1 \right) + \dfrac{k}{q-p} \geqslant + \dfrac{k}{q-p}. \] - Если $p = q$: + Если $p = q$, \begin{align*} \mu_k &= A + Bk + \mu_k^\text{ч} = A + Bk + A_1 k^2, \\ - \cancel{A_1 k^2} &= 1 + q A_1 (\cancel{k^2} - 2k+1) + pA_1 (\cancel{k^2} + 2k + 1), \\ - \Leftrightarrow A_1 &= -1. + \cancel{A_1 k^2} &= 1 + q A_1 (\cancel{k^2} - 2k+1) + pA_1 (\cancel{k^2} + 2k + 1), + \quad \text{откуда } A_1 = -1. \end{align*} - Ищем наименьшее неотрицательное решение. $\mu_k = A + Bk - k^2$, Квадрат рано или поздно сделает + Ищем наименьшее неотрицательное решение. $\mu_k = A + Bk - k^2$. Квадрат рано или поздно сделает это выражение отрицательным, поэтому наименьшее неотрицатьельное решение $\mu_k = \infty$. Время вырождения получилось бесконечным, но вероятность вырождения равна единице. То есть выродится, но просто когда-то. - Можно провести аналогию с рядами. Если $P(\xi = k) = \dfrac{1}{k}$, то математическое ожидание + Можно провести аналогию с рядами. Если $P(\xi = k) = 1/k$, то математическое ожидание расходится, вот это очень похожая история. \end{ex} \subsection{Марковская цепь с непрерывным временем} - -$\mathcal{S} = \left\{ S_1, S_2, \dots, S_m \right\}$ +Пусть $\mathscr{S} = \left\{ S_1, S_2, \dots, S_m \right\}$. \begin{definition} - Если $P(\xi_{t+\Delta t} = j | \xi_t = i) = p_{ij}(t, \Delta t)$ не зависит от значений $\xi_s$, + Если $P(\xi_{t+\Delta t} = j \mid \xi_t = i) = p_{ij}(t, \Delta t)$ не зависит от значений $\xi_s$, $s \in [0, t)$. Более того, если $p_{ij}(t, \Delta t) = \lambda_{ij}(t) \Delta t + o(\Delta t)$, - то $\lambda_{ij} $ называется \emph{интенсивностью} переходной вероятности + то $\lambda_{ij} $ (производная) называется \emph{интенсивностью} переходной вероятности из $i$ в $j$ в момент времени $t$. - Если $\lambda_{ij} (t) = \lambda_{ij}$ не зависит от $t$, то МЦ называется \emph{однородной}. + Если $\lambda_{ij} (t) =: \lambda_{ij}$ не зависит от $t$, то марковская цепь называется \emph{однородной}. \end{definition} -\begin{ex}[Пуассоновский поток событий] +\begin{ex}[пуассоновский поток событий] \[ \begin{cases} P(\text{за $\Delta t$ случается 1 событие}) = \lambda \Delta t + o(\Delta t), \\ - P(\text{за $\Delta t$ случается больше 1 события}) = o(\Delta t) + P(\text{за $\Delta t$ случается $>1$ события}) = o(\Delta t) \end{cases} \] - -- однородная марковская цепь с интенсивностью $\lambda$. + --- однородная марковская цепь с интенсивностью $\lambda$. % TODO рисунок числовая прямая - Граф этой МЦ: + На рисунке \ref{fig:ex731} изображён граф этой марковской цепи. \begin{figure}[h!] \centering + \label{fig:ex731} \begin{tikzpicture} \begin{scope}[every node/.style={fill=white,circle,draw=black}] \node (S_0) at (0,0) {$S_0$}; @@ -122,47 +128,49 @@ \subsection{Марковская цепь с непрерывным времен \end{tikzpicture} \end{figure} - Причём подписи у рёбер графа -- не вероятности, а интенсивности, поэтому могут + Причём подписи у рёбер графа не вероятности, а интенсивности, поэтому могут быть больше единицы. \[ - P(\xi_{t+\Delta t} = j | \xi_t = i) = \begin{cases} - \lambda \Delta t, & j = i+1 \\ - 0 & j \neq i+1, j \neq i \\ - 1-\lambda \Delta t + o(\Delta t), & j =1 + P(\xi_{t+\Delta t} = j \mid \xi_t = i) = \begin{cases} + \lambda \Delta t, & j = i+1, \\ + 0 & j \neq i+1, j \neq i, \\ + 1-\lambda \Delta t + o(\Delta t), & j =1. \end{cases} \] \end{ex} \begin{theorem} - Пусть $\lambda_{ij}(t)$ -- интенсивности вероятности перехода. Пусть + Пусть $\lambda_{ij}(t)$ --- интенсивности вероятности перехода. Пусть $p(t) = (p_0(t), p_1(t), \dots, p_m(t))^T$ -- вектор вероятностей состояний в момент $t$. \[ - \Lambda = (\lambda_{ij}), \lambda_{ii} = - \sum_{j\neq i} \lambda_{ij} + \Lambda = (\lambda_{ij}),\qquad \lambda_{ii} = - \sum_{j\neq i} \lambda_{ij} \] - Эту сумму (без минуса) иногда называют интенсивностью истекающего потока. + Эту сумму (без минуса) иногда называют \emph{интенсивностью истекающего + потока}. Тогда \[ p'(t) = \Lambda^T(t) p(t) - \leftrightarrow + \Leftrightarrow p'^T(t) = p(t)^T \Lambda(t) - \leftrightarrow + \Leftrightarrow p_k'(t) = \sum_{i=1, i\neq k}^m \lambda_{ik}(t) p_{i}(t) - - \sum_{i=1, i\neq k}^m \lambda_{ki}(t) p_k(t) + - \sum_{i=1, i\neq k}^m \lambda_{ki}(t) p_k(t). \] - такая система называется системой дифференциальных уравнений Колмогорова. + Такая система называется \emph{системой дифференциальных уравнений + Колмогорова}. \end{theorem} \begin{proof} \begin{multline*} p_k(t+\Delta t) = P(\xi_{t+\Delta t} = k) - = \sum_{j=1}^m P(\xi_{t+\Delta t} = k | \xi_t = j) \cdot P(\xi_t = j) = \\ + = \sum_{j=1}^m P(\xi_{t+\Delta t} = k \mid \xi_t = j) \cdot P(\xi_t = j) = \\ = \sum_{j=1, j \neq k}^m \lambda_{ij}(t) \Delta t \cdot p_j(t) - + P(\xi_{t+\Delta t} = k | \xi_t = k) \cdot P(\xi_t = k) + o(\Delta t) = \\ + + P(\xi_{t+\Delta t} = k \mid \xi_t = k) \cdot P(\xi_t = k) + o(\Delta t) = \\ = \sum_{j=1, j \neq k}^m \lambda_{ij}(t) \Delta t \cdot p_j(t) - + \left( 1 - \sum_{j\neq k} \lambda_{kj}(t) \Delta t\right) P(\xi_t = k) + o(\Delta t) = \\ + + \biggl( 1 - \sum_{j\neq k} \lambda_{kj}(t) \Delta t\biggr) P(\xi_t = k) + o(\Delta t) = \\ \end{multline*} \[ @@ -173,12 +181,11 @@ \subsection{Марковская цепь с непрерывным времен (поделили на $\Delta t$ и устремили к 0). \end{proof} -\begin{ex}[Пуассоновский поток] - Пусть в начальный момент времени находились в состоянии $S_0$: +\begin{ex}[пуассоновский поток] + Пусть в начальный момент времени находились в состоянии $S_0$, \[ - p(0) = (1, 0, 0, \dots)^T + p(0) = (1, 0, 0, \dots)^{\mathsf T}. \] - \begin{figure}[h!] \centering \begin{tikzpicture} @@ -201,19 +208,19 @@ \subsection{Марковская цепь с непрерывным времен \begin{cases} p_0' = -\lambda p_0, \\ p_1' = \lambda p_0 - \lambda p_1, \\ - \dots \\ - p_k' = \lambda p_{k-1} - \lambda p_k + \dots, \\ + p_k' = \lambda p_{k-1} - \lambda p_k. \end{cases} \] - -- с плюсом всё что втекает, с минусом всё что вытекает. + (С плюсом всё что втекает, с минусом всё что вытекает.) - Операционно решим: + Решим операционно, \[ p_k(t) \risingdotseq \tilde p_k(s) \Rightarrow - p_k'(t) \risingdotseq s \tilde p_k(s) - p_k(0) + p_k'(t) \risingdotseq s \tilde p_k(s) - p_k(0). \] - +Тогда \[ \begin{cases} s \tilde p_0 - 1 = - \lambda \tilde p_0, \\ @@ -226,7 +233,7 @@ \subsection{Марковская цепь с непрерывным времен \tilde p_0 = \dfrac{1}{s+\lambda} \fallingdotseq e^{-\lambda t}, \\ \tilde p_1 = \dfrac{\lambda \tilde p_0}{s+\lambda} = \dfrac{\lambda}{(s+\lambda)^2} \fallingdotseq \lambda t e^{-\lambda t}, \\ - \dots \\ + \dots, \\ \tilde p_{k+1} = \dfrac{\lambda \tilde p_k}{s+\lambda}=\dfrac{\lambda^{k+1}}{(s+\lambda)^{k+2}} \fallingdotseq e^{-\lambda t}, \\ @@ -234,12 +241,13 @@ \subsection{Марковская цепь с непрерывным времен \] \[ - p(t) = \left( e^{-\lambda t}, \lambda t e^{-\lambda t}, \dots, \dfrac{(\lambda t)^k}{k!} e^{-\lambda t}, \dots \right)^T. + p(t) = \biggl( e^{-\lambda t}, \lambda t e^{-\lambda t}, \dots, + \dfrac{(\lambda t)^k}{k!} e^{-\lambda t}, \dots \biggr)^{\mathsf T}. \] \end{ex} -Финальные вероятности находятся по формуле: +Финальные вероятности находятся по формуле \[ \lim_{t\to +\infty} p_n(t) = \lim_{j \to 0} s \tilde p(s) \] -(по теореме из операционного исчисления) +(теорема из операционного исчисления). diff --git a/stoproc/lection04.tex b/stoproc/lection04.tex index 110732c..bd2cf9c 100644 --- a/stoproc/lection04.tex +++ b/stoproc/lection04.tex @@ -3,11 +3,12 @@ \section{Лекция 4 -- 2024-03-15 -- Закон распределения \begin{ex} Рассмотрим следующую марковскую цепь: - $\mathcal{S} = \left\{ S_0, S_1, \dots, S_m \right\} $. - $\xi(0) = 0 \leftrightarrow \bar{p}(0) = (1, 0, \dots, 0)^T$. - - Обозначим $T_U$ -- время до первого выхода из $U = \left\{ S_0 \right\} $. + $\mathcal{S} = \left\{ S_0, S_1, \dots, S_m \right\} $. Пусть + $\xi(0) = 0 \Leftrightarrow \bar{p}(0) = (1, 0, \dots, 0)^{\mathsf T}$. + Обозначим символом $T_U$ время до первого выхода из $U = \left\{ S_0 \right\} $. + \begin{figure}[h!] + \centering \begin{tikzpicture} \begin{scope}[every node/.style={fill=white,circle,draw=black}] \node (S_0) at (1,0) {$S_0$}; @@ -23,34 +24,39 @@ \section{Лекция 4 -- 2024-03-15 -- Закон распределения \path (S_0) edge node[left] {$\lambda_{0m}$} (S_m); \end{scope} \end{tikzpicture} +\end{figure} В этом случае вероятность нахождения в нулевом состоянии будет определяться дифференциальным уравнением: \[ \begin{cases} - p_0'(t) = - \left( \sum\limits_{k=1}^m \lambda_{0k} \right) p_0(t), \\ + p_0'(t) = - \Bigl( \sum\limits_{k=1}^m \lambda_{0k} \Bigr) p_0(t), \\ p_0(0) = 1, \end{cases} \] которое, как несложно заметить, не зависит от того как между собой переходят все остальные состояния. - Функция распределения, по определению: + Функция распределения по определению принимает вид \[ F_{T_U} (t) = P(T_U < t) = 1 - P(T_U \geqslant t) = 1- p_0(t). \] - -- эта функция распределения также не зависит от никаких других + Эта функция распределения также не зависит от никаких других интенсивностей переходов. Продифференцируем, чтобы получить плотность распределения: \[ - p_{T_U}(t) = - p_0'(t) = \left( \lambda(t) e^{ - \int_0^t \lambda(\tau) d\tau } \right)' + p_{T_U}(t) = - p_0'(t) = \left( \lambda(t) \exp\left\{ - \int_0^t \lambda(\tau) + d\tau \right\} \right)' \] - Здесь есть очень важный частный случай, когда $\lambda = \sum_{k=1}^m \lambda_{0k} = \operatorname{const}(t)$ -- случай однородной марковской цепи (ну не только когда вся цепь однородная, достаточно просто однородности исходящих из нулевого состояния интенсивностей): + Здесь есть очень важный частный случай, когда $\lambda = \sum\limits_{k=1}^m + \lambda_{0k} = \operatorname{const}(t)$ --- случай однородной марковской цепи + (ну не только когда вся цепь однородная, достаточно просто однородности + исходящих из нулевого состояния интенсивностей). Там получаем \[ p_{T_U}(t) = \lambda e^{-\lambda t} \] - -- показательный закон с параметром $\lambda$. В этом случае легко посчитать - математическое ожидание времени выхода: $MT_U = \dfrac{1}{\lambda}$. + показательный закон с параметром $\lambda$. В этом случае легко посчитать + математическое ожидание времени выхода, $MT_U = 1/\lambda$. \end{ex} \begin{ex} @@ -72,9 +78,10 @@ \section{Лекция 4 -- 2024-03-15 -- Закон распределения \end{ex} \begin{ex} - Рассмотрим вот такую марковскую цепочечку: + Рассмотрим марковскую цепочечку, изображённую на рисунке \ref{fig:ex743}. \begin{figure}[h!] + \label{fig:ex743} \centering \begin{tikzpicture} \begin{scope}[every node/.style={fill=white,circle,draw=black}] @@ -107,41 +114,40 @@ \section{Лекция 4 -- 2024-03-15 -- Закон распределения \end{tikzpicture} \end{figure} - Тогда у нас множество состояний $\mathcal{S} = \left\{ S_i | i=\overline{1, m+r} \right\} $, - подмножество $U = \left\{ S_1, S_2, \dots, S_{m} \right\}, m < m+r $, - a $\bar{p}(0)^T = ( \underbrace{\dots}_{\text{не нули}}, - \underbrace{0, 0, \dots, 0}_{\text{нули}})$ (начинаем где-то внутри $U$). - - Обозначим $T_U$ -- время однократного пребывания в $U$. + Тогда у нас множество состояний $\mathscr{S} = \left\{ S_i \mid i=\overline{1, m+r} \right\} $, + подмножество $\mathscr U = \left\{ S_1, S_2, \dots, S_{m} \right\}, m < m+r $, + a $\mathbf{p}(0)^{\mathsf T} = ( \underbrace{\dots}_{\text{не нули}}, + \underbrace{0, 0, \dots, 0}_{\text{нули}})$ (начинаем где-то внутри $\mathscr U$). + Обозначим символом $T_{\mathscr U}$ время однократного пребывания в $\mathscr U$. \[ \begin{cases} - p_1' = - \sum_{k=2}^{m+2} \lambda_{1k} p_1 + \sum_{k=2}^m \lambda_{k 1} p_k \\ - p_m' = - \left( \sum_{k=1, k\neq m}^{m+r} \lambda_{mk} \right) p_m + \sum_{k=1}^m \lambda_{km} p_k \\ - p_{m+1}' = \sum_{k=1}^m \lambda_{k, m+1} p_k \\ - p_{m+r}' = \sum_{k=1}^m \lambda_{k, m+r}^{m} \lambda_{k, m+r} p_k. + p_1' = - \sum\limits_{k=2}^{m+2} \lambda_{1k} p_1 + \sum\limits_{k=2}^m \lambda_{k 1} + p_k, \\ + p_m' = - \Bigl( \sum\limits_{k=1, k\neq m}^{m+r} \lambda_{mk} \Bigr) p_m + + \sum\limits_{k=1}^m \lambda_{km} p_k, \\ + p_{m+1}' = \sum\limits_{k=1}^m \lambda_{k, m+1} p_k, \\ + p_{m+r}' = \sum\limits_{k=1}^m \lambda_{k, m+r}^{m} \lambda_{k, m+r} p_k. \end{cases} \] - Функция распределения, по определению будет равна: + Функция распределения по определению будет равна \[ - F_{T_U}(t) = P(T_U < t) = 1 - P(T_U \geqslant t) + F_{T_{\mathscr U}}(t) = P(T_{\mathscr U} < t) = 1 - P(T_{\mathscr U} \geqslant t) = 1 - \sum_{k=1}^m p_k(t) = \sum_{k=m+1}^{m+r} p_k(t). \] - - Дифференцированием получаем: + Дифференцированием получаем \[ - p_{T_U}(t) = \sum_{k=m+1}^{m+r} p_k'(t) + p_{T_{\mathscr U}}(t) = \sum_{k=m+1}^{m+r} p_k'(t) = \sum_{k=m+1}^{m+r} \sum_{j=1}^m \lambda_{k, j} p_j - = \sum_{j=1}^m \left( \sum_{k=m+1}^{m+r} \lambda_{jk} p_j \right) - = \sum_{j=1}^m \left( \sum_{k=m+1}^{m+r} \lambda_{jk} \right) p_j + = \sum_{j=1}^m \biggl( \sum_{k=m+1}^{m+r} \lambda_{jk} p_j \biggr) + = \sum_{j=1}^m \biggl( \sum_{k=m+1}^{m+r} \lambda_{jk} \biggr) p_j. \] \end{ex} - \begin{ex} Пусть для однородной марковской цепи со счетным количеством состояний - $p(0)^T = (1, 0, \dots)$, интенсивности на рисунке. + $\mathbf p(0)^{\mathsf T} = (1, 0, \dots)$, интенсивности на рисунке. Найти закон распределения времени появления третьей особи. \begin{figure}[h!] \centering @@ -174,21 +180,22 @@ \section{Лекция 4 -- 2024-03-15 -- Закон распределения \end{cases} \Rightarrow \begin{cases} - \tilde p_1 = \dfrac{1}{s+\lambda} \risingdotseq e^{-\lambda t}, \\ - \tilde p_2 = \dfrac{\lambda \tilde p_1}{s+2\lambda} - = \dfrac{1}{(s+\lambda)(s+2\lambda)} \risingdotseq e^{-\lambda t} - e^{-2\lambda t}. + \tilde p_1 = \frac{1}{s+\lambda} \risingdotseq e^{-\lambda t}, \\ + \tilde p_2 = \frac{\lambda \tilde p_1}{s+2\lambda} + = \frac{1}{(s+\lambda)(s+2\lambda)} \risingdotseq e^{-\lambda t} - e^{-2\lambda t}. \end{cases} \] - Тогда: + Тогда \[ - p_{T_U} (t) = 2\lambda p_2(t) = 2\lambda e^{-2\lambda t} - 2\lambda e^{-2\lambda t} + p_{T_{\mathscr U}} (t) = 2\lambda p_2(t) = 2\lambda e^{-2\lambda t} - 2\lambda e^{-2\lambda t} = 2 \lambda e^{-\lambda t} - 1 \cdot 2\lambda e^{-2\lambda t} \] - -- смесь двух показательных законов. - Тогда так как это показательные законы, очень легко можно получить матожидание: + --- смесь двух показательных законов. + Тогда так как это показательные законы, очень легко можно получить + математическое ожидание \[ - MT_U = \dfrac{2}{\lambda} - \dfrac{1}{2\lambda} = \dfrac{3}{2\lambda}. + MT_{\mathscr U} = \dfrac{2}{\lambda} - \dfrac{1}{2\lambda} = \dfrac{3}{2\lambda}. \] \end{ex} @@ -197,57 +204,58 @@ \section{Лекция 4 -- 2024-03-15 -- Закон распределения \subsection{Прямые и обратные уравнения Колмогорова} \begin{definition} - Пусть $\xi_t$ -- однородная марковская цепь, - $P(\xi_{t+\Delta t} = j | \xi_t = i) = \lambda_{ij} \Delta t + o(\Delta t)$. - $p_{ij}(t) = (\xi_t = j | \xi_0 = i)$ -- переходные вероятности за $t$, - тогда $P(t) = (p_{ij}(t))$ -- матрица переходных вероятностей. + Пусть $\xi_t$ --- однородная марковская цепь, + $P(\xi_{t+\Delta t} = j \mid \xi_t = i) = \lambda_{ij} \Delta t + o(\Delta + t)$, а + $p_{ij}(t) = (\xi_t = j \mid \xi_0 = i)$ --- переходные вероятности за $t$. + Тогда $P(t) = (p_{ij}(t))$ --- матрица переходных вероятностей. \end{definition} \begin{theorem} Для однородной марковской цепи - Если $P(t)$ -- матрица переходных вероятностей однородной марковской цепи. - $\bar{p}(0)$ -- вектор вероятностей начальных состояний, то + Если $P(t)$ --- матрица переходных вероятностей однородной марковской цепи. + $\bar{p}(0)$ --- вектор вероятностей начальных состояний, то \[ - \bar{p}(t)^T = \bar{p}(0)^T \cdot P(t) + \mathbf{p}(t)^{\mathsf T} = \mathbf{p}(0)^{\mathsf T} P(t). \] \end{theorem} \begin{proof} \[ - p_j(t) = P(\xi_t = j) = \sum_{k=1}^m P(\xi_t = j | \xi_0=j) P(\xi_0=k) - = \sum_{k=1}^m p_{kj}(t) p_k(0) + p_j(t) = P(\xi_t = j) = \sum_{k=1}^m P(\xi_t = j \mid \xi_0=j) P(\xi_0=k) + = \sum_{k=1}^m p_{kj}(t) p_k(0). \] \end{proof} -Мораль: если бы мы знали матрицу переходных вероятностей, не надо было бы +\textsc{Мораль}.\hskip{2em}Если бы мы знали матрицу переходных вероятностей, не надо было бы решать систему диффуров, просто можно было бы умножить эту матрицу на столбец начальных вероятностей. \begin{corollary} \[ - \bar{p}'(t) = \bar{p}(0)^T \cdot P'(t) + \mathbf{p}'(t) = \mathbf{p}(0)^{\mathsf T} P'(t). \] - С другой стороны, для однородной цепи: + С другой стороны, для однородной цепи \[ - \bar{p}'(t)^T = \bar{p}(t)^T \cdot \Lambda = \bar{p}(0)^T \cdot P(t) \cdot \Lambda + \mathbf{p}'(t)^{\mathsf T} = \mathbf{p}(t)^{\mathsf T} \Lambda = + \mathbf{p}(0)^{\mathsf T} P(t) \Lambda. \] - Следовательно, \[ - P'(t) = P(t) \cdot \Lambda + P'(t) = P(t) \Lambda \] - -- система прямых уравнений Колмогорова. + --- система прямых уравнений Колмогорова. Чуть сложнее, но можно доказать и такое: \[ P'(t) = \Lambda \cdot P(t) \] - -- система обратных уравнений Колмогорова. + --- система обратных уравнений Колмогорова. \end{corollary} \begin{ex} - Запишем прямую и обратную системы уравнений Колмогорова для цепи: + Запишем прямую и обратную системы уравнений Колмогорова для цепи \begin{figure}[h!] \centering \begin{tikzpicture} @@ -266,20 +274,20 @@ \subsection{Прямые и обратные уравнения Колмогор \Lambda = \begin{pmatrix} -\alpha & \alpha \\ \beta & - \beta - \end{pmatrix} + \end{pmatrix}. \] Прямая система: \[ \begin{cases} - p_{11}' = - \alpha p_{11} + \beta p_{12} \\ - p_{12}' = \alpha p_{11} - \beta p_{12} \\ - p_{21}' = -\alpha p_{21} + \beta p_{22} \\ + p_{11}' = - \alpha p_{11} + \beta p_{12}, \\ + p_{12}' = \alpha p_{11} - \beta p_{12}, \\ + p_{21}' = -\alpha p_{21} + \beta p_{22}, \\ p_{22}' = \alpha p_{21} - \beta p_{22}. \end{cases} \] - Обратная система (в некотором смысле, она важнее): + Обратная система (в некотором смысле она важнее): \[ \begin{cases} p_{11}' = - \alpha p_{11} + \alpha p_{21}, \\ @@ -291,30 +299,31 @@ \subsection{Прямые и обратные уравнения Колмогор \end{ex} \subsection{Способы решения} - \begin{enumerate} - \item Операционное решение -- не интересно, уже знаем. + \item Операционное решение --- неинтересно, уже знаем. \item Матричная экспонента: \[ \begin{cases} P'(t) = \Lambda \cdot P(t), \\ - P(0) = E. + P(0) = E \end{cases} - \Rightarrow - P(t) = E \cdot e^{\Lambda t} = \sum_{k=0}^\infty \dfrac{(\Lambda t)^k}{k!} + \implies + P(t) = E \cdot e^{\Lambda t} = \sum_{k=0}^\infty \dfrac{(\Lambda + t)^k}{k!}. \] - \item Численно + \item Численно. \end{enumerate} \begin{corollary} \[ P'(0) = \Lambda \cdot P(0) = \Lambda \Rightarrow - \lambda_{ij} = p_{ij}' (0) + \lambda_{ij} = p_{ij}' (0). \] \end{corollary} Впечатляет? -- тишина -- ой, ладно, только я в своём преклонном возрасте умею впечатляться. +%TODO: оформить в цитату \begin{ex} % TODO рисунок @@ -322,7 +331,7 @@ \subsection{Способы решения} \Lambda = \begin{pmatrix} -\alpha & \alpha \\ \beta & -\beta - \end{pmatrix} + \end{pmatrix}. \] \[ @@ -330,10 +339,10 @@ \subsection{Способы решения} = \dfrac{1}{\alpha+\beta} \begin{pmatrix} 1 & -\alpha \\ 1 & \beta - \end{pmatrix} \cdot \begin{pmatrix} + \end{pmatrix} \begin{pmatrix} 0 & 0 \\ 0 & - (\alpha+\beta) - \end{pmatrix} \cdot \begin{pmatrix} + \end{pmatrix} \begin{pmatrix} \beta & \alpha \\ -1 & 1 \end{pmatrix} @@ -343,71 +352,121 @@ \subsection{Способы решения} \Lambda^k = \dfrac{1}{\alpha+\beta} \begin{pmatrix} 1 & -\alpha \\ 1 & \beta - \end{pmatrix} \cdot \begin{pmatrix} + \end{pmatrix} \begin{pmatrix} 0 & 0 \\ 0 & (-\alpha-\beta)^k - \end{pmatrix} \cdot \begin{pmatrix} + \end{pmatrix} \begin{pmatrix} \beta & \alpha \\ -1 & 1 - \end{pmatrix} + \end{pmatrix}. \] - \[ + \begin{multline*} P(t) = e^{\Lambda t} = \sum_{k=0}^\infty \dfrac{(\Lambda t)^k}{k!} = \dfrac{1}{\alpha+\beta} \begin{pmatrix} 1 & -\alpha \\ 1 & \beta - \end{pmatrix} \cdot + \end{pmatrix} \sum_{k=0}^\infty \dfrac{D^k t^k}{k!} \cdot \begin{pmatrix} \beta & \alpha \\ -1 & 1 - \end{pmatrix} = \dots = \dfrac{1}{\alpha+\beta} \begin{pmatrix} + \end{pmatrix} = \ldots =\\= \dfrac{1}{\alpha+\beta} \begin{pmatrix} 1 & -\alpha \\ 1 & \beta - \end{pmatrix} \cdot + \end{pmatrix} \begin{pmatrix} 1 & 0 \\ 0 & e^{-(\alpha+\beta) t} - \end{pmatrix} \cdot \begin{pmatrix} + \end{pmatrix} \begin{pmatrix} \beta & \alpha \\ -1 & 1 - \end{pmatrix} - \] + \end{pmatrix}. + \end{multline*} \[ P(t) = e^{\Lambda t} = \] + %TODO: дописать Можно было не находить собственные вектора, т.к. зная общий вид - степени, можно было бы воспользоваться методом неопределённых коэффициентов: + степени, можно было бы воспользоваться методом неопределённых коэффициентов. А + именно, представить $p_{ij}(t)$ в виде $A + B e^{-(\alpha+\beta) t}$, и найти эти коэффициенты из условий: $p_{ij}(0) = 0, p_{ij}'(0) = \lambda_{ij}$. \end{ex} \begin{definition} - Если $ \forall i : \exists \lim_{t\to +\infty} p_{ij}(t) = \pi_j, 0 < \pi_j < 1, \sum \pi_j = 1$, + Если для всякого $ i $ существует и не зависит от $ i $ предел + $\lim\limits_{t\to +\infty} p_{ij}(t) = \pi_j$, где $ 0 < \pi_j < 1$, а $\sum \pi_j = 1$, то цепь называется \emph{эргодической}. \end{definition} \begin{theorem}[эргодическая] - Пусть $\mathbb{S} = \left\{ S_1, S_2, \dots, S_m, \dots \right\} $ -- - марковская цепь со счетным множеством состояний. Если - \[ - \exists S_{j_0} \exists h>0 \exists \delta \in(0, 1], \forall S_i \in \mathbf{S} : P_{ij_0}(h) \geqslant \delta, - \] - тогда цепь эргодична, причём $|p_{ij}(t) - \pi_j| \leqslant (1-\delta)^{\left[\dfrac{t}{h}\right]}$ + Пусть $\mathbb{S} = \left\{ S_1, S_2, \dots, S_m, \dots \right\} $ --- + марковская цепь со счетным множеством состояний. Если существует такие время + $ h > 0 $, число $ \delta \in (0, 1] $ и состояние $ S_{j_0} $, что для любого + $ i \in \mathbb N $ выполняется $ p_{ij_0}(h) \geqslant \delta $, + то цепь эргодична, причём $|p_{ij}(t) - \pi_j| \leqslant + (1-\delta)^{\left[t/h\right]}$. \end{theorem} -\begin{corollary} - В условиях эргодической теоремы: - \begin{enumerate} - \item $\exists \lim_{t\to +\infty} p_j(t) = \pi_j$, причём легко показать, +\begin{corollary*} + В условиях эргодической теоремы + \begin{itemize}[label=--] + \item существует $\lim\limits_{t\to +\infty} p_j(t) = \pi_j$, причём легко показать, что \[ - |p_j(t) - \pi_j| = |\sum_{k} p_k(0) p_{kj}(t) - \sum_{k} \pi_j p_{k}(0)| - \leqslant |\sum_k p_k(0) \left( p_{kj}(t) - \pi_j \right) | - \leqslant (1-\delta)^{ \left[ \dfrac{t}{h} \right] } \cancel{\sum_{k} p_k(0)} + |p_j(t) - \pi_j| = \biggl|\sum_{k} p_k(0) p_{kj}(t) - \sum_{k} \pi_j + p_{k}(0)\biggr| + \leqslant \biggl|\sum_k p_k(0) \left( p_{kj}(t) - \pi_j \right) \biggr| + \leqslant (1-\delta)^{ \left[ t/h \right] } \cancel{\sum_{k} p_k(0)}; \] - \end{enumerate} -\end{corollary} + + \item в условиях теоремы $\pi_j = \sum_{i} p_{ij}(t) \pi_i$, что равносильно + тому, что вектор $\bm\pi$ является + собственным вектором матрицы $P(t)^{\mathsf T}$, соответствующим + собственному значению $\lambda = 1$, но с оговоркой, + что $\bm\pi \neq \mathbf 0$ (нулевой вектор не является собственным по определению). + Эта система в векторной записи: $\bm\pi = P(t)^{\mathsf T} \bm\pi$. + \begin{proof} + \[ + \pi_j = \lim_{s\to\infty} p_j(s+t) = \lim_{s\to\infty} \sum_i p_{ij}(t) p_t(s) + \geqslant \lim_{s\to\infty} \sum_{i \leqslant N} p_{ij}(t) p_i(s) + = \sum_{i \leqslant N} p_{ij}(t) \pi_i \Rightarrow \pi_j \geqslant \sum_i p_{ij}(t) \pi_i. + \] + \[ + \exists S_{j_1}\colon \pi_{j_1} > \sum_i p_{ij_1} \pi_i, + \] + \[ + \sum_{j\leqslant N} = \lim_{t\to\infty} \sum_{j\leqslant N} p_{ij}(t) \leqslant 1. + \] + \[ + \sum_j \pi_j > \sum_j \sum_i p_{ij}(t) \pi_i = \sum_i \pi_i; + \] + \end{proof} + + \item из \eqref{ergodi-eq-1} следует либо $\sum \pi_j = 1$ (тогда это + собственный вектор), либо $\sum \pi_j = 0$. + \begin{proof} + $\sum \pi_j \leqslant 1$ означает, что либо $\pi_j \pi_j = 1$, либо + $\sum \pi_j < 1$. + $A = \sum_j \pi_j$ рассматривается + $p(0) = \left( \dfrac{\pi_1}{A}, \dfrac{\pi_2}{A}, \dots + \right)^{\mathsf T}$. + $\bar p(t)^{\mathsf T} = p(0)^{\mathsf T} \cdot P(t)$. + \[ + p_j(t) = \sum_i p_i(0) p_{ij}(t) = \sum_i \dfrac{\pi_i}{A} p_{ij}(t) + = \dfrac{\pi_j}{\sum_{k} \pi_k} = p_j(0) + \Rightarrow + \sum_j \pi_j = \sum_j p_j(0) = 1; + \] + \end{proof} + \item в условиях теоремы $$\begin{cases} \mathbf{0} = \bm\pi^{\mathsf T} \Lambda, + \\ \sum \pi_j = 1.\end{cases}$$ + Это условие можно получить из системы уравнений Колмогорова: + $\mathbf p'(t)^{\mathsf T} = \mathbf p(t)^{\mathsf T} \Lambda$. Левая + часть стремится к $\mathbf{0}$, + а правая к $\bm\pi^{\mathsf T} \Lambda$. + \end{itemize} +\end{corollary*} diff --git a/stoproc/lection05.tex b/stoproc/lection05.tex index 3fcd7cb..c70809a 100644 --- a/stoproc/lection05.tex +++ b/stoproc/lection05.tex @@ -102,32 +102,35 @@ \subsection{Процессы рождения -- гибели} \end{scope} \end{tikzpicture} -Эта цепь точно является эргодической, тогда: +Эта цепь точно является эргодической. Тогда \[ \begin{cases} 0 = -\lambda_1 \pi_1 + \mu_2 \pi_2, \\ 0 = \lambda_1 \pi_1 - (\lambda_2+\mu_2) \pi_2 + \mu_3 \pi_3, \\ - \dots \\ + \dots, \\ 0 = \lambda_{N-1} \pi_{N-1} - \mu_N \pi_M, \\ \sum_j \pi_j = 1. \end{cases} \] -Эту систему можно решить рекуррентно: -\begin{align*} - &\begin{cases} +Систему можно решить рекуррентно: +\[ + \begin{cases} \pi_2 = \dfrac{\lambda_1}{\mu_2} \pi_1, \\ \pi_3 = \dfrac{\lambda_2}{\mu_3} \pi_2 = \dfrac{\lambda_2 \lambda_1}{\mu_3 \mu_2} \pi_1, \\ - \dots \\ + \ldots, \\ \pi_N = \dfrac{\lambda_{N-1}}{\mu_N} \pi_{N-1} - = \dots - = \dfrac{\lambda_1 \cdot \dots \cdot \lambda_{N-1}}{\mu_2 \cdot \dots \cdot \mu_N} \pi 1 - = \dfrac{\prod_{k=1}^{N-1} \lambda_k}{\prod_{j=2}^N \mu_j} \pi_1 - = \prod_{j=2}^N \dfrac{\lambda_{j-1}}{\mu_j} \pi_1 + = \ldots + = \dfrac{\lambda_1 \cdot \ldots \cdot \lambda_{N-1}}{\mu_2 \cdot \ldots + \cdot \mu_N} \pi_1 + = \dfrac{\prod\limits_{k=1}^{N-1} \lambda_k}{\prod\limits_{j=2}^N \mu_j} \pi_1 + = \prod\limits_{j=2}^N \dfrac{\lambda_{j-1}}{\mu_j} \pi_1, \end{cases} - \Rightarrow \\ - &\Rightarrow \pi_1 = \left( 1 + \sum_{l=2}\prod_{j=2}^N \dfrac{\lambda_{j-1}}{\mu_j} \right)^{-1}. -\end{align*} +\] +откуда +\[ + \pi_1 = \left( 1 + \sum_{l=2}\prod_{j=2}^N \dfrac{\lambda_{j-1}}{\mu_j} \right)^{-1}. +\] Если этот ряд сходится (регулярно?), то можно рассматривать и предел $N \to \infty$, то есть модель, рассматривающую неограниченную популяцию.