diff --git a/konspect.tex b/konspect.tex index b4b6b05..9ae9483 100644 --- a/konspect.tex +++ b/konspect.tex @@ -101,6 +101,9 @@ \usepackage{subfiles} \usepackage{cancel} +\usepackage{tikz} +\usetikzlibrary{fit} + \begin{document} \pagestyle{plain} diff --git a/stoproc/lection03.tex b/stoproc/lection03.tex new file mode 100644 index 0000000..42ac089 --- /dev/null +++ b/stoproc/lection03.tex @@ -0,0 +1,245 @@ +\section{Лекция 3 -- 2024-03-01 -- } + +\begin{theorem} + $\mathcal{A} = \left\{ S_1, S_2, \dots, S_{m_1} \right\} \subset S = \left\{ S_1, \dots, S_m \right\} $ +\end{theorem} + +% TODO дописать начало лекции до + + + +\begin{theorem} + $\mu_k = M(M^A | \xi_0=k)$, $\mu_k = \mu_k^A$ -- наименьшее наотрицателььное решение системы: + \[ + \begin{cases} + \mu_k = 0, & S_k \in \mathcal{A} \\ + \mu_k = 1 + \sum_{j={m_1+1}}^m p_{kj} \mu_j, &S_k \notin \mathcal{A}. + \end{cases} + \] +\end{theorem} + + +\begin{ex}[продолжение] + \begin{align*} + \mu_0 &= 0, \\ + \mu_k &= 1 + q \mu_{k+1} + p \mu_{k+1}, \\ + \mu_k &= A \cdot 1^k + B \left( \dfrac{q}{p} \right)^k + \mu_k^{\text{ч}}, \\ + \mu_k^{\text{ч}} &= \begin{cases} + A_1 \alpha^k, &\text{если $\alpha$ не является корнем характеристического} \\ + A_1 k \alpha^k, &\text{является однократным корнем} \\ + A_1 k^2 \alpha^k, &\text{является двукратным корнем} + \end{cases} = \begin{cases} + A_1 k, & q \neq p \\ + A_1 k^2, & q = p + \end{cases} + \end{align*} + + Если $q \neq p$, то + \[ + \mu_k^\text{ч} = A_1 k, \quad + A_1 k = 1 + q A_1 (k-1) + p A_1 (k+1) + \Rightarrow + A_1 k \cdot 0 = 1 - qA_1 + p A_1 + \Rightarrow + A = \dfrac{k}{q-p} + \] + Тогда при $p>\dfrac{1}{2}$: + \[ + \mu_k = A + B \left( \dfrac{q}{p} \right)^k + \dfrac{k}{q-p} + \] + Причём $\mu_0 = A + B = 0 \Rightarrow A = -B$ + \[ + \mu_k = A \left( 1 - \left( \dfrac{q}{p} \right)^k \right) + \dfrac{k}{q-p} = \infty + \] + Равно бесконечности, так как второе слагаемое при $k \to \infty$ сколь угодно большое по модулю, + но меньше нуля, а первое слагаемое стремиться к константе $A$. Поэтому, чтобы не было отрицательным + надо чтобы $A = \infty$. + + Если $p < 1/2$: + \[ + \mu_k = A + B \left( \dfrac{q}{p} \right)^k + \dfrac{k}{q-p} = B \left( \left( \dfrac{q}{p} \right) ^k - 1 \right) + \dfrac{k}{q-p} \geqslant \dfrac{k}{q-p} + \] + + Если $p = q$: + \begin{align*} + \mu_k &= A + Bk + \mu_k^\text{ч} = A + Bk + A_1 k^2, \\ + \cancel{A_1 k^2} &= 1 + q A_1 (\cancel{k^2} - 2k+1) + pA_1 (\cancel{k^2} + 2k + 1), \\ + \Leftrightarrow A_1 &= -1. + \end{align*} + + Ищем наименьшее неотрицательное решение. $\mu_k = A + Bk - k^2$, Квадрат рано или поздно сделает + это выражение отрицательным, поэтому наименьшее неотрицатьельное решение $\mu_k = \infty$. + + Время вырождения получилось бесконечным, но вероятность вырождения равна единице. То + есть выродится, но просто когда-то. + + Можно провести аналогию с рядами. Если $P(\xi = k) = \dfrac{1}{k}$, то математическое ожидание + расходится, вот это очень похожая история. +\end{ex} + +\subsection{Марковская цепь с непрерывным временем} + +$\mathcal{S} = \left\{ S_1, S_2, \dots, S_m \right\}$ + +\begin{definition} + Если $P(\xi_{t+\Delta t} = j | \xi_t = i) = p_{ij}(t, \Delta t)$ не зависит от значений $\xi_s$, + $s \in [0, t)$. + + Более того, если $p_{ij}(t, \Delta t) = \lambda_{ij}(t) \Delta t + o(\Delta t)$, + то $\lambda_{ij} $ называется \emph{интенсивностью} переходной вероятности + из $i$ в $j$ в момент времени $t$. + + Если $\lambda_{ij} (t) = \lambda_{ij}$ не зависит от $t$, то МЦ называется \emph{однородной}. +\end{definition} + +\begin{ex}[Пуассоновский поток событий] + \[ + \begin{cases} + P(\text{за $\Delta t$ случается 1 событие}) = \lambda \Delta t + o(\Delta t), \\ + P(\text{за $\Delta t$ случается больше 1 события}) = o(\Delta t) + \end{cases} + \] + -- однородная марковская цепь с интенсивностью $\lambda$. + + % TODO рисунок числовая прямая + + Граф этой МЦ: + \begin{figure}[h!] + \centering + \begin{tikzpicture} + \begin{scope}[every node/.style={fill=white,circle,draw=black}] + \node (S_0) at (0,0) {$S_0$}; + \node (S_1) at (2,0) {$S_1$}; + \node (S_2) at (4,0) {$S_2$}; + \node[draw=white] (S_dots) at (6,0) {$\dots$}; + \end{scope} + + \begin{scope}[->, every edge/.style={draw=black,thick}] + \path (S_0) edge [bend right=30] node[below] {$\lambda$} (S_1); + \path (S_1) edge [bend right=30] node[below] {$\lambda$} (S_2); + \path (S_2) edge [bend right=30] node[below] {$\lambda$} (S_dots); + \end{scope} + \end{tikzpicture} + \end{figure} + + Причём подписи у рёбер графа -- не вероятности, а интенсивности, поэтому могут + быть больше единицы. + + \[ + P(\xi_{t+\Delta t} = j | \xi_t = i) = \begin{cases} + \lambda \Delta t, & j = i+1 \\ + 0 & j \neq i+1, j \neq i \\ + 1-\lambda \Delta t + o(\Delta t), & j =1 + \end{cases} + \] +\end{ex} + +\begin{theorem} + Пусть $\lambda_{ij}(t)$ -- интенсивности вероятности перехода. Пусть + $p(t) = (p_0(t), p_1(t), \dots, p_m(t))^T$ + -- вектор вероятностей состояний в момент $t$. + \[ + \Lambda = (\lambda_{ij}), \lambda_{ii} = - \sum_{j\neq i} \lambda_{ij} + \] + Эту сумму (без минуса) иногда называют интенсивностью истекающего потока. + + Тогда + \[ + p'(t) = \Lambda^T(t) p(t) + \leftrightarrow + p'^T(t) = p(t)^T \Lambda(t) + \leftrightarrow + p_k'(t) + = \sum_{i=1, i\neq k}^m \lambda_{ik}(t) p_{i}(t) + - \sum_{i=1, i\neq k}^m \lambda_{ki}(t) p_k(t) + \] + такая система называется системой дифференциальных уравнений Колмогорова. +\end{theorem} +\begin{proof} + \begin{multline*} + p_k(t+\Delta t) = P(\xi_{t+\Delta t} = k) + = \sum_{j=1}^m P(\xi_{t+\Delta t} = k | \xi_t = j) \cdot P(\xi_t = j) = \\ + = \sum_{j=1, j \neq k}^m \lambda_{ij}(t) \Delta t \cdot p_j(t) + + P(\xi_{t+\Delta t} = k | \xi_t = k) \cdot P(\xi_t = k) + o(\Delta t) = \\ + = \sum_{j=1, j \neq k}^m \lambda_{ij}(t) \Delta t \cdot p_j(t) + + \left( 1 - \sum_{j\neq k} \lambda_{kj}(t) \Delta t\right) P(\xi_t = k) + o(\Delta t) = \\ + \end{multline*} + + \[ + p_k(t+\Delta t) - p_k(t) = \sum_{j\neq k} \lambda_{jk}(t) \Delta t p_j(t) - \lambda_{kk} (t) p_k(t) + \Rightarrow + p_k'(t) = \sum_{j\neq k} \lambda_{jk} (t) p_j(t) - \lambda_{kk}(t) p_k(t) + \] + (поделили на $\Delta t$ и устремили к 0). +\end{proof} + +\begin{ex}[Пуассоновский поток] + Пусть в начальный момент времени находились в состоянии $S_0$: + \[ + p(0) = (1, 0, 0, \dots)^T + \] + + \begin{figure}[h!] + \centering + \begin{tikzpicture} + \begin{scope}[every node/.style={fill=white,circle,draw=black}] + \node (S_0) at (0,0) {$S_0$}; + \node (S_1) at (2,0) {$S_1$}; + \node (S_2) at (4,0) {$S_2$}; + \node[draw=white] (S_dots) at (6,0) {$\dots$}; + \end{scope} + + \begin{scope}[->, every edge/.style={draw=black,thick}] + \path (S_0) edge [bend right=30] node[below] {$\lambda$} (S_1); + \path (S_1) edge [bend right=30] node[below] {$\lambda$} (S_2); + \path (S_2) edge [bend right=30] node[below] {$\lambda$} (S_dots); + \end{scope} + \end{tikzpicture} + \end{figure} + + \[ + \begin{cases} + p_0' = -\lambda p_0, \\ + p_1' = \lambda p_0 - \lambda p_1, \\ + \dots \\ + p_k' = \lambda p_{k-1} - \lambda p_k + \end{cases} + \] + -- с плюсом всё что втекает, с минусом всё что вытекает. + + Операционно решим: + \[ + p_k(t) \risingdotseq \tilde p_k(s) + \Rightarrow + p_k'(t) \risingdotseq s \tilde p_k(s) - p_k(0) + \] + + \[ + \begin{cases} + s \tilde p_0 - 1 = - \lambda \tilde p_0, \\ + s \tilde p_1 = \lambda \tilde p_0 - \lambda \tilde p_1, \\ + \dots + + \end{cases} + \Rightarrow + \begin{cases} + \tilde p_0 = \dfrac{1}{s+\lambda} \fallingdotseq e^{-\lambda t}, \\ + \tilde p_1 = \dfrac{\lambda \tilde p_0}{s+\lambda} = \dfrac{\lambda}{(s+\lambda)^2} + \fallingdotseq \lambda t e^{-\lambda t}, \\ + \dots \\ + \tilde p_{k+1} = \dfrac{\lambda \tilde p_k}{s+\lambda}=\dfrac{\lambda^{k+1}}{(s+\lambda)^{k+2}} + \fallingdotseq e^{-\lambda t}, \\ + + \end{cases} + \] + + \[ + p(t) = \left( e^{-\lambda t}, \lambda t e^{-\lambda t}, \dots, \dfrac{(\lambda t)^k}{k!} e^{-\lambda t}, \dots \right)^T. + \] +\end{ex} + +Финальные вероятности находятся по формуле: +\[ + \lim_{t\to +\infty} p_n(t) = \lim_{j \to 0} s \tilde p(s) +\] +(по теореме из операционного исчисления) diff --git a/stoproc/lection04.tex b/stoproc/lection04.tex new file mode 100644 index 0000000..110732c --- /dev/null +++ b/stoproc/lection04.tex @@ -0,0 +1,413 @@ +\section{Лекция 4 -- 2024-03-15 -- Закон распределения времени пребываения в +подмножестве состояний} + +\begin{ex} + Рассмотрим следующую марковскую цепь: + $\mathcal{S} = \left\{ S_0, S_1, \dots, S_m \right\} $. + $\xi(0) = 0 \leftrightarrow \bar{p}(0) = (1, 0, \dots, 0)^T$. + + Обозначим $T_U$ -- время до первого выхода из $U = \left\{ S_0 \right\} $. + + \begin{tikzpicture} + \begin{scope}[every node/.style={fill=white,circle,draw=black}] + \node (S_0) at (1,0) {$S_0$}; + \node (S_1) at (-2,-3) {$S_1$}; + \node (S_2) at (0,-3) {$S_2$}; + \node[draw=white] (S_dots) at (2, -3) {$\dots$}; + \node (S_m) at (4,-3) {$S_m$}; + \end{scope} + + \begin{scope}[->, every edge/.style={draw=black,thick}] + \path (S_0) edge node[left] {$\lambda_{01}$} (S_1); + \path (S_0) edge node[left] {$\lambda_{02}$} (S_2); + \path (S_0) edge node[left] {$\lambda_{0m}$} (S_m); + \end{scope} + \end{tikzpicture} + + В этом случае вероятность нахождения в нулевом состоянии будет определяться + дифференциальным уравнением: + \[ + \begin{cases} + p_0'(t) = - \left( \sum\limits_{k=1}^m \lambda_{0k} \right) p_0(t), \\ + p_0(0) = 1, + \end{cases} + \] + которое, как несложно заметить, не зависит от того как между собой переходят + все остальные состояния. + + Функция распределения, по определению: + \[ + F_{T_U} (t) = P(T_U < t) = 1 - P(T_U \geqslant t) = 1- p_0(t). + \] + -- эта функция распределения также не зависит от никаких других + интенсивностей переходов. Продифференцируем, чтобы получить плотность распределения: + \[ + p_{T_U}(t) = - p_0'(t) = \left( \lambda(t) e^{ - \int_0^t \lambda(\tau) d\tau } \right)' + \] + + Здесь есть очень важный частный случай, когда $\lambda = \sum_{k=1}^m \lambda_{0k} = \operatorname{const}(t)$ -- случай однородной марковской цепи (ну не только когда вся цепь однородная, достаточно просто однородности исходящих из нулевого состояния интенсивностей): + \[ + p_{T_U}(t) = \lambda e^{-\lambda t} + \] + -- показательный закон с параметром $\lambda$. В этом случае легко посчитать + математическое ожидание времени выхода: $MT_U = \dfrac{1}{\lambda}$. +\end{ex} + +\begin{ex} + Рассмотрим пример, в котором дано: $p_{T_U}(t) = \alpha^2 t e^{-\alpha t}$ + (как и в предыдущем примере $U = \left\{ S_0 \right\} $). Найдём + тогда $\lambda(t)$. + \[ + F_{T_U}(t) = \int\limits_0^t \alpha^2 \tau e^{-\alpha \tau} \, d\tau + = 1 - e^{-\alpha t} - \alpha t e^{-\alpha t}. + \] + \[ + p_0(t) = 1 - F_{T_U}(t) = e^{-\alpha t} + \alpha t e^{-\alpha t}. + \] + \[ + \lambda(t) = - \dfrac{p_0'(t)}{p_0(t)} + = - \dfrac{-\alpha e^{-\alpha t} + \alpha e^{-\alpha t} - \alpha^2 t e^{-\alpha t}}{e^{-\alpha t}+ \alpha t e^{-\alpha t}} + = \dfrac{\alpha^2 t}{1+ \alpha t}. + \] +\end{ex} + +\begin{ex} + Рассмотрим вот такую марковскую цепочечку: + + \begin{figure}[h!] + \centering + \begin{tikzpicture} + \begin{scope}[every node/.style={fill=white,circle,draw=black}] + \node (S_1) at (0,0) {$S_1$}; + \node (S_2) at (2,0) {$S_2$}; + \node[draw=white,rectangle] (S_dots_1) at (4,0) {$\dots$}; + \node (S_m) at (6,0) {$S_m$}; + + \node (S_{m+1}) at (0,-3) {$S_{m+1}$}; + \node (S_{m+2}) at (2,-3) {$S_{m+2}$}; + \node[draw=white,rectangle] (S_dots_2) at (4,-3) {$\dots$}; + \node (S_{m+r}) at (6,-3) {$S_{m+r}$}; + \end{scope} + + \begin{scope}[->, every edge/.style={draw=black,thick}] + \path (S_1) edge [bend right=30] node[left] {} (S_2); + \path (S_2) edge [bend right=30] node[left] {} (S_1); + \path (S_2) edge [bend right=30] node[left] {} (S_dots_1); + \path (S_dots_1) edge [bend right=30] node[left] {} (S_2); + \path (S_dots_1) edge [bend right=30] node[left] {} (S_m); + \path (S_m) edge [bend right=30] node[left] {} (S_dots_1); + + \path (S_1) edge node[left] {} (S_{m+1}); + \path (S_2) edge node[left] {} (S_{m+2}); + \path (S_m) edge node[left] {} (S_{m+2}); + \path (S_m) edge node[left] {} (S_{m+r}); + \end{scope} + + \node[draw=black,very thick,dotted,fit=(S_1) (S_m)] (FIt1) [acateur][label=left:{$U$}]{}; + \end{tikzpicture} + \end{figure} + + Тогда у нас множество состояний $\mathcal{S} = \left\{ S_i | i=\overline{1, m+r} \right\} $, + подмножество $U = \left\{ S_1, S_2, \dots, S_{m} \right\}, m < m+r $, + a $\bar{p}(0)^T = ( \underbrace{\dots}_{\text{не нули}}, + \underbrace{0, 0, \dots, 0}_{\text{нули}})$ (начинаем где-то внутри $U$). + + Обозначим $T_U$ -- время однократного пребывания в $U$. + + \[ + \begin{cases} + p_1' = - \sum_{k=2}^{m+2} \lambda_{1k} p_1 + \sum_{k=2}^m \lambda_{k 1} p_k \\ + p_m' = - \left( \sum_{k=1, k\neq m}^{m+r} \lambda_{mk} \right) p_m + \sum_{k=1}^m \lambda_{km} p_k \\ + p_{m+1}' = \sum_{k=1}^m \lambda_{k, m+1} p_k \\ + p_{m+r}' = \sum_{k=1}^m \lambda_{k, m+r}^{m} \lambda_{k, m+r} p_k. + \end{cases} + \] + + Функция распределения, по определению будет равна: + \[ + F_{T_U}(t) = P(T_U < t) = 1 - P(T_U \geqslant t) + = 1 - \sum_{k=1}^m p_k(t) + = \sum_{k=m+1}^{m+r} p_k(t). + \] + + Дифференцированием получаем: + \[ + p_{T_U}(t) = \sum_{k=m+1}^{m+r} p_k'(t) + = \sum_{k=m+1}^{m+r} \sum_{j=1}^m \lambda_{k, j} p_j + = \sum_{j=1}^m \left( \sum_{k=m+1}^{m+r} \lambda_{jk} p_j \right) + = \sum_{j=1}^m \left( \sum_{k=m+1}^{m+r} \lambda_{jk} \right) p_j + \] +\end{ex} + +\begin{ex} + Пусть для однородной марковской цепи со счетным количеством состояний + $p(0)^T = (1, 0, \dots)$, интенсивности на рисунке. + Найти закон распределения времени появления третьей особи. + \begin{figure}[h!] + \centering + \begin{tikzpicture} + \begin{scope}[every node/.style={fill=white,circle,draw=black}] + \node (S_1) at (0,0) {$S_1$}; + \node (S_2) at (2,0) {$S_2$}; + \node (S_3) at (4,0) {$S_3$}; + \node[draw=white] (S_dots) at (6,0) {$\dots$}; + \end{scope} + + \begin{scope}[->, every edge/.style={draw=black,thick}] + \path (S_1) edge [bend right=30] node[below] {$\lambda$} (S_2); + \path (S_2) edge [bend right=30] node[below] {$2\lambda$} (S_3); + \path (S_3) edge [bend right=30] node[below] {$3\lambda$} (S_dots); + \end{scope} + \node[draw=black,very thick,dotted,fit=(S_1) (S_2)] (FIt1) [acateur][label=left:{$U$}]{}; + \end{tikzpicture} + \end{figure} + + \[ + \begin{cases} + p_1' = - \lambda p_1, \\ + p_2' = -2 \lambda p_2 + \lambda p_1. + \end{cases} + \Rightarrow + \begin{cases} + s \tilde{p_1} - 1 = - \lambda \tilde p_1, \\ + s \tilde p_2 = - 2 \lambda \tilde p_2 + \lambda \tilde p_1. + \end{cases} + \Rightarrow + \begin{cases} + \tilde p_1 = \dfrac{1}{s+\lambda} \risingdotseq e^{-\lambda t}, \\ + \tilde p_2 = \dfrac{\lambda \tilde p_1}{s+2\lambda} + = \dfrac{1}{(s+\lambda)(s+2\lambda)} \risingdotseq e^{-\lambda t} - e^{-2\lambda t}. + \end{cases} + \] + + Тогда: + \[ + p_{T_U} (t) = 2\lambda p_2(t) = 2\lambda e^{-2\lambda t} - 2\lambda e^{-2\lambda t} + = 2 \lambda e^{-\lambda t} - 1 \cdot 2\lambda e^{-2\lambda t} + \] + -- смесь двух показательных законов. + Тогда так как это показательные законы, очень легко можно получить матожидание: + \[ + MT_U = \dfrac{2}{\lambda} - \dfrac{1}{2\lambda} = \dfrac{3}{2\lambda}. + \] +\end{ex} + + + +\subsection{Прямые и обратные уравнения Колмогорова} + +\begin{definition} + Пусть $\xi_t$ -- однородная марковская цепь, + $P(\xi_{t+\Delta t} = j | \xi_t = i) = \lambda_{ij} \Delta t + o(\Delta t)$. + $p_{ij}(t) = (\xi_t = j | \xi_0 = i)$ -- переходные вероятности за $t$, + тогда $P(t) = (p_{ij}(t))$ -- матрица переходных вероятностей. +\end{definition} + +\begin{theorem} + Для однородной марковской цепи + + Если $P(t)$ -- матрица переходных вероятностей однородной марковской цепи. + $\bar{p}(0)$ -- вектор вероятностей начальных состояний, то + \[ + \bar{p}(t)^T = \bar{p}(0)^T \cdot P(t) + \] +\end{theorem} +\begin{proof} + \[ + p_j(t) = P(\xi_t = j) = \sum_{k=1}^m P(\xi_t = j | \xi_0=j) P(\xi_0=k) + = \sum_{k=1}^m p_{kj}(t) p_k(0) + \] +\end{proof} + +Мораль: если бы мы знали матрицу переходных вероятностей, не надо было бы +решать систему диффуров, просто можно было бы умножить эту матрицу на столбец +начальных вероятностей. + +\begin{corollary} + \[ + \bar{p}'(t) = \bar{p}(0)^T \cdot P'(t) + \] + + С другой стороны, для однородной цепи: + \[ + \bar{p}'(t)^T = \bar{p}(t)^T \cdot \Lambda = \bar{p}(0)^T \cdot P(t) \cdot \Lambda + \] + + Следовательно, + \[ + P'(t) = P(t) \cdot \Lambda + \] + -- система прямых уравнений Колмогорова. + + Чуть сложнее, но можно доказать и такое: + \[ + P'(t) = \Lambda \cdot P(t) + \] + -- система обратных уравнений Колмогорова. +\end{corollary} + +\begin{ex} + Запишем прямую и обратную системы уравнений Колмогорова для цепи: + \begin{figure}[h!] + \centering + \begin{tikzpicture} + \begin{scope}[every node/.style={fill=white,circle,draw=black}] + \node (S_1) at (1,0) {$S_1$}; + \node (S_2) at (3,0) {$S_2$}; + \end{scope} + + \begin{scope}[->, every edge/.style={draw=black,thick}] + \path (S_1) edge [bend right=30] node[below] {$\alpha$} (S_2); + \path (S_2) edge [bend right=30] node[below] {$\beta$} (S_1); + \end{scope} + \end{tikzpicture} + \end{figure} + \[ + \Lambda = \begin{pmatrix} + -\alpha & \alpha \\ + \beta & - \beta + \end{pmatrix} + \] + + Прямая система: + \[ + \begin{cases} + p_{11}' = - \alpha p_{11} + \beta p_{12} \\ + p_{12}' = \alpha p_{11} - \beta p_{12} \\ + p_{21}' = -\alpha p_{21} + \beta p_{22} \\ + p_{22}' = \alpha p_{21} - \beta p_{22}. + \end{cases} + \] + + Обратная система (в некотором смысле, она важнее): + \[ + \begin{cases} + p_{11}' = - \alpha p_{11} + \alpha p_{21}, \\ + p_{12}' = -\alpha p_{12} + \alpha p_{22}, \\ + p_{21}' = \beta p_{11} - \beta p_{21}, \\ + p_{22}' = \beta p_{12} - \beta p_{22}. + \end{cases} + \] +\end{ex} + +\subsection{Способы решения} + +\begin{enumerate} + \item Операционное решение -- не интересно, уже знаем. + \item Матричная экспонента: + \[ + \begin{cases} + P'(t) = \Lambda \cdot P(t), \\ + P(0) = E. + \end{cases} + \Rightarrow + P(t) = E \cdot e^{\Lambda t} = \sum_{k=0}^\infty \dfrac{(\Lambda t)^k}{k!} + \] + \item Численно +\end{enumerate} + +\begin{corollary} + \[ + P'(0) = \Lambda \cdot P(0) = \Lambda + \Rightarrow + \lambda_{ij} = p_{ij}' (0) + \] +\end{corollary} + +Впечатляет? -- тишина -- ой, ладно, только я в своём преклонном возрасте умею впечатляться. + +\begin{ex} + % TODO рисунок + \[ + \Lambda = \begin{pmatrix} + -\alpha & \alpha \\ + \beta & -\beta + \end{pmatrix} + \] + + \[ + \Lambda = U \cdot D \cdot U^{-1} + = \dfrac{1}{\alpha+\beta} \begin{pmatrix} + 1 & -\alpha \\ + 1 & \beta + \end{pmatrix} \cdot \begin{pmatrix} + 0 & 0 \\ + 0 & - (\alpha+\beta) + \end{pmatrix} \cdot \begin{pmatrix} + \beta & \alpha \\ + -1 & 1 + \end{pmatrix} + \] + + \[ + \Lambda^k = \dfrac{1}{\alpha+\beta} \begin{pmatrix} + 1 & -\alpha \\ + 1 & \beta + \end{pmatrix} \cdot \begin{pmatrix} + 0 & 0 \\ + 0 & (-\alpha-\beta)^k + \end{pmatrix} \cdot \begin{pmatrix} + \beta & \alpha \\ + -1 & 1 + \end{pmatrix} + \] + + \[ + P(t) = e^{\Lambda t} = \sum_{k=0}^\infty \dfrac{(\Lambda t)^k}{k!} + = \dfrac{1}{\alpha+\beta} \begin{pmatrix} + 1 & -\alpha \\ + 1 & \beta + \end{pmatrix} \cdot + \sum_{k=0}^\infty \dfrac{D^k t^k}{k!} \cdot + \begin{pmatrix} + \beta & \alpha \\ + -1 & 1 + \end{pmatrix} = \dots = \dfrac{1}{\alpha+\beta} \begin{pmatrix} + 1 & -\alpha \\ + 1 & \beta + \end{pmatrix} \cdot + \begin{pmatrix} + 1 & 0 \\ + 0 & e^{-(\alpha+\beta) t} + \end{pmatrix} \cdot \begin{pmatrix} + \beta & \alpha \\ + -1 & 1 + \end{pmatrix} + \] + + \[ + P(t) = e^{\Lambda t} = + \] + + Можно было не находить собственные вектора, т.к. зная общий вид + степени, можно было бы воспользоваться методом неопределённых коэффициентов: + представить $p_{ij}(t)$ в виде $A + B e^{-(\alpha+\beta) t}$, и найти + эти коэффициенты из условий: $p_{ij}(0) = 0, p_{ij}'(0) = \lambda_{ij}$. +\end{ex} + +\begin{definition} + Если $ \forall i : \exists \lim_{t\to +\infty} p_{ij}(t) = \pi_j, 0 < \pi_j < 1, \sum \pi_j = 1$, + то цепь называется \emph{эргодической}. +\end{definition} + +\begin{theorem}[эргодическая] + Пусть $\mathbb{S} = \left\{ S_1, S_2, \dots, S_m, \dots \right\} $ -- + марковская цепь со счетным множеством состояний. Если + \[ + \exists S_{j_0} \exists h>0 \exists \delta \in(0, 1], \forall S_i \in \mathbf{S} : P_{ij_0}(h) \geqslant \delta, + \] + тогда цепь эргодична, причём $|p_{ij}(t) - \pi_j| \leqslant (1-\delta)^{\left[\dfrac{t}{h}\right]}$ +\end{theorem} + +\begin{corollary} + В условиях эргодической теоремы: + \begin{enumerate} + \item $\exists \lim_{t\to +\infty} p_j(t) = \pi_j$, причём легко показать, + что + \[ + |p_j(t) - \pi_j| = |\sum_{k} p_k(0) p_{kj}(t) - \sum_{k} \pi_j p_{k}(0)| + \leqslant |\sum_k p_k(0) \left( p_{kj}(t) - \pi_j \right) | + \leqslant (1-\delta)^{ \left[ \dfrac{t}{h} \right] } \cancel{\sum_{k} p_k(0)} + \] + \end{enumerate} +\end{corollary} diff --git a/stoproc/stoproc.tex b/stoproc/stoproc.tex index fc8da1b..f6b70a2 100644 --- a/stoproc/stoproc.tex +++ b/stoproc/stoproc.tex @@ -7,8 +7,8 @@ \input{stoproc/lection01} \input{stoproc/lection02} - % \input{stoproc/lection3} - % \input{stoproc/lection4} + \input{stoproc/lection03} + \input{stoproc/lection04} % \input{stoproc/lection5} % \input{stoproc/lection6} % \input{stoproc/lection7}