diff --git a/.github/workflows/main.yml b/.github/workflows/main.yml new file mode 100644 index 0000000..a6bbe95 --- /dev/null +++ b/.github/workflows/main.yml @@ -0,0 +1,67 @@ +name: Build LaTeX document +on: [push] +permissions: + contents: write + discussions: write +jobs: + build_latex: + runs-on: ubuntu-latest + continue-on-error: true + env: + GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }} + steps: + - name: Set up Git repository + uses: actions/checkout@v3 + - name: Compile LaTeX document + uses: xu-cheng/latex-action@v3 + with: + root_file: konspect.tex + extra_system_packages: "inkscape" + args: -f -jobname=konspect -pdf -file-line-error -shell-escape -interaction=nonstopmode -synctex=1 + - name: Upload PDF file + if: always() + uses: actions/upload-artifact@v3 + with: + name: PDF + path: konspect.pdf + # - name: Create Release + # id: create_release + # uses: actions/create-release@v1 + # env: + # GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }} # This token is provided by Actions, you do not need to create your own token + # with: + # tag_name: ${{ github.ref }} + # release_name: Build ${{ github.ref }} + # body: | + # New build + # draft: false + # prerelease: false + # # Прикладываемые файлы надо заливать отдельным step + # - name: Upload pdf asset + # uses: actions/upload-release-asset@v1 + # env: + # # Тоже требуется токен + # GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }} + # with: + # # Из предыдущего step с id=create_release генерится upload_url — по нему и надо заливать + # upload_url: ${{ steps.create_release.outputs.upload_url }} + # # Не переходим в папку latex_sources, поскольку download-artifacts грузит в текущую директорию + # asset_path: ./document.pdf + # # Имя, которое будет высвечиваться в релизе + # asset_name: document.pdf + # asset_content_type: application/pdf + - name: Release with Notes + uses: softprops/action-gh-release@v1 + if: always() + with: + name: Build + body: build + tag_name: pdf + files: | + konspect.pdf + # - name: Publish HTML to GitHub Pages + # uses: peaceiris/actions-gh-pages@v3 + # if: always() + # with: + # github_token: ${{ secrets.GITHUB_TOKEN }} + # publish_dir: / diff --git a/lection10.tex b/lection10.tex index ade41f3..b4fa624 100644 --- a/lection10.tex +++ b/lection10.tex @@ -141,8 +141,16 @@ \section{Лекция 10 - 2023-11-08 - Критерий Вальда} \[ P_{\theta_i} (\nu > rk) \to 0, k \to \infty \] - % TODO не знаю что следующая строчка вообще означает: - $M_{\theta_i} \nu = \sum n P_{\theta_i} (\nu = n) = \sum P_{\theta_i} (\nu \geqslant n) = \sum ( P(\theta_i)^{1/r} )^{nr}$ + + Матож тоже конечно: + \[ + M_{\theta_i} \nu + = \sum_{n=1}^{\infty} n P_{\theta_i} (\nu = n) + = \sum_{n=1}^{\infty} P_{\theta_i} (\nu \geqslant n) + \leqslant \sum_{k=1}^{\infty} ( P(\theta_i)^{1/r} )^{kr} + < \infty +\] + \end{proof} Вторая особенность такого критерия состоит в том, что он чувствителен к порядку учета выборки. @@ -172,7 +180,7 @@ \section{Лекция 10 - 2023-11-08 - Критерий Вальда} $\varkappa_{1n} = \left( \vec{X}_n : B < Z_k < A, k = \overline{1, n-1}, z_n \geqslant A \right)$ - множество тех, которые ведут к принятию гипотезы $H_1$ \begin{equation*} - 1 = \sum P_{\theta_i} (\nu = n) = \sum P_{\theta_i} (\varkappa_{0n}) + \sum P_{\theta_i} (\varkappa_{1n}) = + 1 = \sum_n P_{\theta_i} (\nu = n) = \sum_n P_{\theta_i} (\varkappa_{0n}) + \sum_n P_{\theta_i} (\varkappa_{1n}) = \begin{cases} (1 - \alpha) + \alpha, &\theta_0 \\ \beta + (1 - \beta), &\theta_1 @@ -180,21 +188,32 @@ \section{Лекция 10 - 2023-11-08 - Критерий Вальда} \end{equation*} \[ - \alpha = \sum P_{\theta_0} (\varkappa_{1n}) \leqslant \dfrac{1}{A} \sum P_{\theta_1} (\varkappa_{1n}) = \dfrac{1 - \beta}{A} + \alpha + = \sum_n P_{\theta_0} (\varkappa_{1n}) + \leqslant \dfrac{1}{A} \sum_n P_{\theta_1} (\varkappa_{1n}) + = \dfrac{1 - \beta}{A} \] Рассмотрим почему среднее неравенство верно. Для дискретного случая: - \[ - P_{\theta_1} (\varkappa_{0n}) = \sum_{\vec{X_n} \in \varkappa_{1n}} P_{\theta_1}(\xi_1 = X_1, \dots, \xi_n = X_n)= \sum \mathcal{L} (X_1, \dots, X_n, \theta_1) \leqslant \dfrac{1}{A} \sum \mathcal{L} (\dots, \theta_1) = \dfrac{1 - \beta}{A} - \] + \begin{multline*} + P_{\theta_1} (\varkappa_{0n}) + = \sum_{\vec{X_n} \in \varkappa_{1n}} P_{\theta_1}(\xi_1 = X_1, \dots, \xi_n = X_n) = \\ + = \sum_{\vec{X_n} \in \varkappa_{1n}} \mathcal{L} (X_1, \dots, X_n, \theta_1) + \leqslant \dfrac{1}{A} \sum_{\vec{X_n} \in \varkappa_{1n}} \mathcal{L} (X_1, \dots, X_n, \theta_1) + = \dfrac{1 - \beta}{A}, + \end{multline*} + то есть верно по построению $\varkappa_{1n}$. \[ - \beta = \sum P_{\theta_1} (\varkappa_{0n}) = \sum_{n=1}^\infty \sum_{\vec{X}_n \in \varkappa_{0n}} P_{\theta_1} (\vec{\xi} = \vec{X}_n) + \beta = \sum_{n} P_{\theta_1} (\varkappa_{0n}) + = \sum_{n=1}^\infty \sum_{\vec{X}_n \in \varkappa_{0n}} P_{\theta_1} (\vec{\xi} + = \vec{X}_n) \] \end{proof} \subsection{Среднее число испытаний в критерии Вальда} +% TODO здесь во всей лекции надо поменять обозначение Z_n = ln z_n Критерий Вальда для выборки $X_1, \dots, X_n, \dots$. Рассматривается статистика \[ @@ -244,7 +263,7 @@ \subsection{Среднее число испытаний в критерии В \begin{proof} В соответствии с нашими обозначениями: \[ - z_\nu = \sum Y_k \Rightarrow M_i z_\nu = M_i \nu M_i Y_k, i = 0, 1 + z_\nu = \sum_{k=1}^\nu Y_k \Rightarrow M_i z_\nu = M_i \nu M_i Y_k, i = 0, 1 \] \epigraph{не просто, а очень просто}{Т.~В.~Облакова} diff --git a/lection11.tex b/lection11.tex index 083e7c3..5e83642 100644 --- a/lection11.tex +++ b/lection11.tex @@ -122,7 +122,7 @@ Обозначим \[ - \eta_k = \frac{\nu_k - np_k}{\sqrt{np_k}}, \chi^2_B = \sum_{k=1}^m \eta_k + \eta_k = \frac{\nu_k - np_k}{\sqrt{np_k}}, \chi^2_B = \sum_{k=1}^m \eta_k^2 \] Тогда @@ -135,7 +135,7 @@ Тогда \[ - \ln f_{\bar \nu} (\bar t) = -i \sum t_k \sqrt{np_k} + n \ln (1+p_1 (e^{\frac{i t_1}{\sqrt{np_1}}} - 1)+ \dots + p_m (e^{\frac{i t_m}{\sqrt{np_m}}} - 1) ) + \ln f_{\bar \eta} (\bar t) = -i \sum t_k \sqrt{np_k} + n \ln (1+p_1 (e^{\frac{i t_1}{\sqrt{np_1}}} - 1)+ \dots + p_m (e^{\frac{i t_m}{\sqrt{np_m}}} - 1) ) \] Используя эквивалентности, diff --git a/lection13.tex b/lection13.tex index 0342b23..66543e6 100644 --- a/lection13.tex +++ b/lection13.tex @@ -127,7 +127,7 @@ \subsection{Оценка параметров двумерного нормал \sum_{\nu=0}^\infty \Gamma^2\left(\frac{n+\nu-1}{2}\right) \frac{(2 r \rho)^\nu}{\nu!}. \] -\end{corollary} +\end{corollary*} Рассмотрим частный случай. \subsection{Случай $r = 0$} diff --git a/lection14.tex b/lection14.tex index 176431b..06ee5e1 100644 --- a/lection14.tex +++ b/lection14.tex @@ -7,36 +7,21 @@ \section{Лекция 14 - 2023-12-06 - Корреляционные отнош \] \begin{definition} - Корреляционным отношением называется + Корреляционным отношением СВ $\eta$ к СВ $\xi$ называется \[ - \nu_{\xi \eta} = \sqrt{\frac{Df(\xi)}{D\eta}} - \] - - \[ - \eta = f(\xi) + \varepsilon \Rightarrow D\eta = Df(\xi) + \bar \sigma_\eta^2 - \] - - \[ - \nu_{\xi \eta} = \sqrt{1 - \frac{\bar\sigma^2_n}{D\eta}} + \nu_{\xi \eta} = \sqrt{\frac{Df(\xi)}{D\eta}} = \sqrt{1 - \frac{\bar\sigma^2_n}{D\eta}}, \] + где $\eta = f(\xi) + \varepsilon \Rightarrow D\eta = Df(\xi) + \bar \sigma_\eta^2$. \end{definition} \subsection{Свойства корреляционного отношения} \begin{enumerate} - \item - \[ - \nu_{\xi\eta} = 0 \Leftrightarrow \bar\sigma^2_\eta = D\eta \Leftrightarrow Df(\xi) = 0 \Leftrightarrow f(\xi) = Mf(\xi) = M\eta - \] - \item - \[ - \nu_{\xi\eta}^2 = 1 \Leftrightarrow \bar\sigma_\eta^2 = 0 \Leftrightarrow \eta = f(\xi) - \] + \item $\nu_{\xi\eta} = 0 \Leftrightarrow \bar\sigma^2_\eta = D\eta \Leftrightarrow Df(\xi) = 0 \Leftrightarrow f(\xi) = Mf(\xi) = M\eta$ + + \item $\nu_{\xi\eta}^2 = 1 \Leftrightarrow \bar\sigma_\eta^2 = 0 \Leftrightarrow \eta = f(\xi)$, то есть существует функциональная зависимость. - \item $(\xi, \eta)$ - нормальный вектор, то - \[ - \nu_{\xi\eta}^2 = r_{\xi\eta}^2. - \] + \item $(\xi, \eta)$ - нормальный вектор, то $\nu_{\xi\eta}^2 = r_{\xi\eta}^2$. \begin{proof} \begin{multline*} Df(\xi) = D\left(M\eta + \dfrac{\sigma_{12}}{\sigma_{11}} (\xi - M\xi)\right) @@ -51,10 +36,7 @@ \subsection{Свойства корреляционного отношения} \end{multline*} \end{proof} - \item В общем случае - \[ - 0 \leqslant r_{\xi\eta}^2 \leqslant \nu_{\xi\eta}^2 \leqslant 1 - \] + \item В общем случае $ 0 \leqslant r_{\xi\eta}^2 \leqslant \nu_{\xi\eta}^2 \leqslant 1$. \begin{proof} Пусть $\zeta = x \cdot \xi - f(\xi)$, $x\in\mathbb{R}$. \[ @@ -62,7 +44,7 @@ \subsection{Свойства корреляционного отношения} \] Больше нуля означает, что дискриминант меньше нуля: \[ - \frac{D}{4} = \cov(\xi, f(\xi))^2 - D\xi Df(\xi) \leqslant 0 + \frac{\text{Дискриминант}}{4} = \cov(\xi, f(\xi))^2 - D\xi Df(\xi) \leqslant 0 \] \[ \cov(\xi, f(\xi)) = \cov(\xi, \eta - \xi) @@ -75,25 +57,37 @@ \subsection{Свойства корреляционного отношения} \end{proof} \end{enumerate} -Оценка корреляционного отношения +Таким образом, если $0 \leqslant r_{\xi\eta}^2 < \nu_{\eta \xi}^2 = 1$, то имеется нелинейная +функциональная зависимость; если $0 \leqslant r_{\xi\eta}^2 = \nu_{\eta\xi}^2$ --- регрессия +линейная. + +\subsubsection{Оценка корреляционного отношения} +Проверяем гипотезы: \begin{align*} &H_0\text{: } \nu_{\xi\eta}^2 = 0, \\ &H_1\text{: } \nu_{\xi\eta}^2 \neq 0. \end{align*} +Интуитивный смысл этой проверки --- проверка того, является ли регрессия константой, т.е. +\[ + Y(X_k) = \operatorname{const} + \varepsilon. +\] + Планирование эксперимента: -Одно и то же число подаём на вход несколько раз и получаем точки: +Выберем $m$ точек $X_i, i=\overline{1, m}$. Каждое число подаём на вход несколько ($n_i$) раз и +получаем точки: \[ - X_i \rightarrow y_{i,1}, y_{i,2}, \dots, y_{i, n_i}, i = \overline{1, m} + X_i \rightarrow y_{i,1}, y_{i,2}, \dots, y_{i, n_i}, i = \overline{1, m}. \] +Оценка регрессии: \[ - \bar Y_i = \frac{1}{n_i} \sum_{j=1}^{n_i} Y_{ij} = \hat f(X_i) + \bar Y_i = \frac{1}{n_i} \sum_{j=1}^{n_i} Y_{ij} = \hat f(X_i). \] + \[ \hat\sigma_f^2 = \frac{1}{n} \sum_{i=1}^m n_i (\bar Y_i - \bar Y)^2 - \text{-- оценка регрессии} -\] + \] \[ \hat\sigma_\eta^2 = \frac{1}{n} \sum_{i=1}^m \sum_{j=1}^{n_i} (Y_{ij} - \bar Y)^2 @@ -172,68 +166,69 @@ \subsection{Ограничения на $\varepsilon_k$} $\hat{\vec{\beta}}$ выбирается по МНК $\sum \varepsilon_k^2 \to \min$. \end{remark*} \begin{proof} - \begin{multline*} - M \hat{\vec{\beta}} = M ( (\mathcal{F}^T \mathcal{F})^{-1} \mathcal{F}^T Y ) - = (\mathcal{F}^T \mathcal{F})^{-1} \mathcal{F}^T MY - =(\mathcal{F}^T \mathcal{F})^{-1} \mathcal{F}^T \mathcal{F} \vec{\beta} - = \vec{\beta} - \end{multline*} - - \[ - \Delta = \sum_{k=1}^n \varepsilon_k^2 - = \sum (Y_k - \sum \beta_j \Psi_j (\vec{X}_k) )^2 - \] - - \[ - \frac{\partial \Delta}{\partial \beta_j} = 2 \sum (Y_k - \sum \beta_j \Psi_j(\vec{X}_k) (-\Psi_j (\dots)) - \] - - В матричной записи: - \[ - \frac{\partial \Delta}{\partial \beta_j} = 0 - \Leftrightarrow \mathcal{F}^T (Y - \mathcal{F} \vec{\beta}) = 0 - \] + \begin{enumerate} + \item \textbf{Несмещённость}: + \[ + M \hat{\vec{\beta}} = M ( (\mathcal{F}^T \mathcal{F})^{-1} \mathcal{F}^T Y ) + = (\mathcal{F}^T \mathcal{F})^{-1} \mathcal{F}^T MY + =(\mathcal{F}^T \mathcal{F})^{-1} \mathcal{F}^T \mathcal{F} \vec{\beta} + = \vec{\beta} + \] - \[ - (\mathcal{F}^T \mathcal{F}) \vec{\beta} = \mathcal{F}^T Y - \Rightarrow - \hat{\vec{\beta}} = (\mathcal{F}^T \mathcal{F})^{-1} \mathcal{F}^T Y - \] + \item Найдём МНК параметра $\vec{\beta}$, для чего минимизируем сумму квадратов ошибок: + \[ + \Delta = \sum_{k=1}^n \varepsilon_k^2 + = \sum_{k=1}^n (Y_k - \sum_{j=0}^{m-1} \beta_j \Psi_j (\vec{X}_k) )^2 + \] + Необходимое условие экстремума: + \[ + 0 = \frac{\partial \Delta}{\partial \beta_j} + = 2 \sum_{k=1}^n (Y_k - \sum_{j=0}^{m-1} \beta_j \Psi_j(\vec{X}_k) (-\Psi_j (\vec{X}_k)) + \] - Оптимальность: - Для некоторой другой линейной несмещенной оценки: - $\tilde{\vec{\beta}} = L Y$, - \[ - M \tilde{\vec{\beta}} = L MY = L \mathcal{F} \vec{\beta} - \Rightarrow L \mathcal{F} = E - \] + В матричной записи: + \[ + \frac{\partial \Delta}{\partial \beta_j} = 0 + \Leftrightarrow \mathcal{F}^T (Y - \mathcal{F} \vec{\beta}) = 0 + \Leftrightarrow + (\mathcal{F}^T \mathcal{F}) \vec{\beta} = \mathcal{F}^T Y + \Rightarrow + \hat{\vec{\beta}} = (\mathcal{F}^T \mathcal{F})^{-1} \mathcal{F}^T Y + \] - Обозначим: $(\mathcal{F}^T \mathcal{F})^{-1} \mathcal{F}^T = B$ + \item \textbf{Оптимальность}: + Для некоторой другой линейной несмещенной оценки: + $\tilde{\vec{\beta}} = L Y$, + \[ + M \tilde{\vec{\beta}} = L MY = L \mathcal{F} \vec{\beta} + \Rightarrow L \mathcal{F} = E + \] + Обозначим: $(\mathcal{F}^T \mathcal{F})^{-1} \mathcal{F}^T = B$ + \[ + \Sigma_{LY} = M(LY - MLY)(LY - MLY)^T = M( L(Y-MY)(Y-MY)^T L^T ) = L \delta^2 E_n L^T = \delta^2 L L^T + \] - \begin{multline*} - \Sigma_{LY} = M(LY - MLY)(LY - MLY)^T = M( L(Y-MY)(Y-MY)^T L^T ) = L \delta^2 E_n L^T = \delta^2 L L^T - \end{multline*} + Следствие: + \[ + \Sigma_{\hat{\vec{\beta}}} = \delta^2 (\mathcal{F}^T \mathcal{F})^{-1} \mathcal{F}^T ( (\mathcal{F}^T \mathcal{F})^{-1} \mathcal{F}^T )^T = B B^T = \delta^2 (\mathcal{F}^T \mathcal{F})^{-1} + \] - Следствие: - \[ - \Sigma_{\hat{\vec{\beta}}} = \delta^2 (\mathcal{F}^T \mathcal{F})^{-1} \mathcal{F}^T ( (\mathcal{F}^T \mathcal{F})^{-1} \mathcal{F}^T )^T = B B^T = \delta^2 (\mathcal{F}^T \mathcal{F})^{-1} - \] + \begin{multline*} + LL^T = (L-B+B) (L-B+B)^T = (L-B)(L-B)^T + B (L-B)^T + (L-B) B^T + BB^T = \\ + = (\text{так как $L\mathcal{F} = E$}) = (L-B)(L-B)^T + BB^T + \end{multline*} - \begin{multline*} - LL^T = (L-B+B) (L-B+B)^T = (L-B)(L-B)^T + B (L-B)^T + (L-B) B^T + BB^T = \\ - = \text{так как $L\mathcal{F} = E$} = \\ - = (L-B)(L-B)^T + BB^T - \end{multline*} + \[ + \Sigma_{LY} = \delta^2 LL^T = \delta^2 (L-B)(L-B)^T + \delta^2 BB^T = \delta^2 (L-B)(L-B)^T + \Sigma_{BY} + \] - \[ - \Sigma_{LY} = \delta^2 LL^T = \delta^2 (L-B)(L-B)^T + \delta^2 BB^T = \delta^2 (L-B)(L-B)^T + \Sigma_{BY} - \] + У матрицы $\delta^2 (L-B)(L-B)^T$ на диагонали стоят неотрицательные элементы, следовательно: + \[ + D\tilde{\beta_i} \geqslant D\hat{\beta_i} + \] + что означает оптимальность. - У матрицы $\delta^2 (L-B)(L-B)^T$ на диагонали стоят неотрицательные элементы, следовательно: - \[ - D\tilde{\beta_i} \geqslant D\hat{\beta_i} - \] - что означает оптимальность. + \end{enumerate} \end{proof} \begin{ex} @@ -283,27 +278,28 @@ \subsection{Ограничения на $\varepsilon_k$} \subsection{Оценка дисперсии ошибок} \begin{definition} - Оценка среднего значения отклика - \[ - \hat{Y}_k = \sum_{j=0}^{m-1} \hat{\beta}_j \Psi_j(\vec{X}_k) - \] - в матричном виде: + \emph{Оценкой среднего значения отклика} называется СВ \[ - \hat{Y} = \mathcal{F} \hat{\vec{\beta}}. + \hat{Y}_k = \sum_{j=0}^{m-1} \hat{\beta}_j \Psi_j(\vec{X}_k) = \mathcal{F} \hat{\vec{\beta}}. \] +\end{definition} - \hat{Y} = \mathcal{F} \hat{\vec{\beta}} - - Y-\hat{Y} = Y - \mathcal{F} \hat{\vec{\beta}} - = \mathcal{F} \vec{\beta} + \varepsilon - \mathcal{F}\hat{\vec{\beta}} - = \mathcal{F} (\vec{\beta} - \hat{\vec{\beta}}) + \varepsilon - - Остаточная суммаа квадратов +\begin{definition} + \emph{Остаточной суммой квадратов} называется СВ \[ + % Y-\hat{Y} = Y - \mathcal{F} \hat{\vec{\beta}} + % = \mathcal{F} \vec{\beta} + \varepsilon - \mathcal{F}\hat{\vec{\beta}} + % = \mathcal{F} (\vec{\beta} - \hat{\vec{\beta}}) + \varepsilon (Y - \mathcal{F} \hat{\vec{\beta}})^T (Y-\mathcal{F}\hat{\vec{\beta}}) \] \end{definition} \begin{theorem} - Если выполнено (*) и ранг матрицы $\mathcal{F}$ максимален, то $\hat{\delta^2} = \frac{1}{n-m} (Y-\mathcal{F}\hat{\vec{\beta}})()$ + Если выполнено (*) и ранг матрицы $\mathcal{F}$ максимален, то несмещенная оценка остаточной + дисперсии имеет вид: + \[ + \hat{\delta^2} + = \frac{1}{n-m} (Y-\mathcal{F}\hat{\vec{\beta}})^T (Y-\mathcal{F}\hat{\vec{\beta}}) + = \dfrac{1}{n-m} \sum \left(Y_k - \sum_{j=0}^{m-1} \hat{\beta}_j \Psi_j (\vec{X_k}) \right)^2. + \] \end{theorem}