第6节 估计量的评优准则.md

估计量的评优准则

数学在某些方面具有通用规律。比如导数与指数，本来两个毫不相关的东西，却存在着很默契的联系。

• n阶求导可以降低幂函数的n阶指数。
• 在泰勒展开式中，就通过n阶导数与n阶指数来从不同阶次逼近一个函数。

而在概率统计这一部分，n阶矩与n阶指数n阶导数也有着关系。似乎一个统计量可以展开成n阶矩的表示方法，一阶中心距逼近，二阶中心距逼近，三阶中心距逼近等。

UMVUE 计算必考

1 均方误差准则

定义1：均方误差

$$ MSE_\theta(T(x))=E_\theta[T(X)-q(\theta)]^2 \ $$ 若$MSE<+\infin$ $$ MSE_\theta(T(x))=Var_\theta(T(x))+E^2_\theta[T(X)- q(\theta)] $$ 上式成立，因为方差加减一个常数，不影响方差的大小。

定义2：一致占优

对于$\forall\theta\in\Theta$ $$ MSE_\theta(T(x))\leq MSE_\theta(S(x)) $$ 则成T(x)比S(x)好，S(X)是不被容许的。T(X)一致占优

2 无偏估计

定义3：方差有限无偏估计

$$ E(T(x))=q(\theta) \ MSE_\theta(T(x))=Var_\theta(T(x)) $$ 则称为无偏估计。

关于估计：统计量对参数的估计。

一阶中心距为零的时候，为无偏估计。此时只有二阶中心距与更高阶中心距存在。

说明

• 无偏估计对参数空间中所有的取值都成立。
• 无偏估计可能不存在
• 若无偏估计存在，则一般是不唯一的。
• 均方误差准则下，无偏估计不一定是好的估计。
• 函数变换下，无偏性可能会消失。

定义3.2：可估计

若参数$q(\theta)$的无偏估计存在，则称$q(\theta)$是可估的。表示为 $$ U_q={T(x):E_\theta(T(x))=q(\theta),Var_\theta(T(x))<\infin,\forall\theta\in\Theta} $$

3 一致最小方差无偏估计UMVUE

定义4：最小方差无偏估计

若存在无偏估计，对参数空间中的任意一个估计量： $$ Var_\theta(T^(x))\leq Var(T(x)) $$ 则称$T^(x)$为参数$q(\theta)$的一致最小方差无偏估计。

定理1：存在性定理

T(x)是一致最小方差无偏估计的充要条件： $$ T(x)\in U_q,\forall T_0(x)\in U_0,\forall\theta\in\Theta \ E_\theta[T_0(x)T(x)]=0 $$

本质上是一种垂直关系。乘积为零，表示与所有的其他向量都垂直。

线性可加性

（→表示一致最小方差无偏估计） 若 $$ T_1(x)\rightarrow q_1(\theta) \ T_2(x)\rightarrow q_2(\theta) $$ 则 $$ aT_1(x)+bT_2(x)\rightarrow aq_1(\theta)+bq_2(\theta) $$

定理2：唯一性定理

一致最小方差无偏估计是唯一的。

4 充分统无偏估计量

基于充分统计量的无偏估计

对充分统计量的理解，充分统计量能够完整的反映未知参数$\theta$的变换关系。当充分统计量确定后，未知参数也确定了，则整个等式会减少一维的未知关系。

说实话我觉得这里的总结理解更像是一种哲学关系。不是面对具体问题的数学方法，而是针对大多数数学方法的抽象统一。

定理3：充分统计量+无偏估计=充分无偏估计定理

• 假设 $$ S(x)是充分统计量,\varphi(x)\in U_q是\theta的无偏估计\ 给定S(x)下的条件数学期望：\ T(x)=E_\theta(\varphi(x)|S(x)) $$
• 结论 $$ T(x)是q(\theta)的无偏估计。\ Var_\theta(T(x))\leq Var_\theta(\varphi(x))\ 当且仅当T(x)=\varphi(x)时等号成立。 $$

说明：这个结论说明了，充分无偏运算，能够缩小无偏统计量的方差。

定义5：充分无偏估计量

充分统计量$S(x)$的函数$h(S(x))$作为参数$q(\theta)$的无偏估计。则成$h(S(x))$是$q(\theta)$的充分无偏估计量。 $$ T(x)=E_\theta(h(S(x))|S(x))=h(S(x)) $$ 若$h(S(x))$是$q(\theta)$的无偏估计，则称估计量$h(S(x))$为参数$q(\theta)$的充分无偏估计。

$$ U_q^S={T(x)=E_\theta(\varphi(x)|S(x)): \ E_\theta(T(x))=q(\theta),Var_\theta(T(x))<\infin,\forall\theta\in\Theta} $$

T(x)是S(x)的函数，是充分估计量。T(x)是无偏估计。所以T(x)是充分无偏估计量。

5 完全充分统计量

完全充分无偏估计是一致最小方差无偏估计。

定义6：完全分布族-完全统计量

$g(X)是任一随机变量。对于所有的\theta\in\Theta,E_\theta(g(X))=0 则称分布族{P_\theta:\theta\in\Theta}$是完全的。完全分布族总体的样本的统计量，是完全统计量。

• 计算

证明完全统计量
* 构造统计量
* 求期望
* 恒为零

定理4：完全充分统计量

• 条件 $$ x_1,\dotsm,x_n是总体{P_\theta:\theta\in\Theta}的简单样本。\ 总体密度函数p(x,\theta)\ 联合密度函数p(x_1,\dotsm,x_n;\theta)= \ c(\theta)h(x_1,\dotsm,x_n)exp{\sum_{k=1}^mw_k(\theta)T_k(x_1,\dotsm,x_n)} \ h(x_1,\dotsm,x_n)仅仅是x的函数。c(\theta)仅是\theta的函数 \ w(\theta)是m维实值函数。 $$
• 假设 $$ m维度w_m(\theta)值域包含内点。 $$
• 结论 $$ m维统计量T_m(x_1,\dotsm,x_n)是完全充分统计量。 $$

定理5：完全充分最小方差无偏估计

• 假设 $$ S(x)是完全统计量\ \varphi(x)是q(\theta)的方差有限的无偏估计,\varphi(x)\in U_q\ $$
• 结论 $$ T(x)=E_\theta(\varphi(x)|S(x))是q(\theta)唯一的一致最小方差无偏估计。 $$

原理总结

1. 定理3，通过条件数学期望，求解充分无偏估计。
2. 定义5，通过充分统计量构造无偏统计量，得到充分无偏估计量。
3. 定理4，通过形式函数，得到完全充分统计量。
4. 定理5，表示完全+充分+无偏，能够得到UMVUE一致最小方差无偏估计。

以上内容可以通过两条路径求解UMVUE

$$ 3\rightarrow 1 \rightarrow 4\\ 3\rightarrow 2 \rightarrow 4 $$

6 求解无偏估计

当UqS是完全充分的时候，其内只有一个元素。

完全统计量+充分统计量S(x)+无偏估计=一致最小无偏估计UMVUE

1. 方案一： 证明统计量的充分性---证明统计量完全性---构造无偏估计。
2. 方案二： 求一个无偏估计---对完全充分统计量取条件期望=一致最小方差无偏估计UMVUE

求解UMVUE的步骤

解题步骤1：

* 寻找完全充分统计量
* 寻找无偏估计
* 做条件期望，得到充分无偏估计量。

解题步骤2：

* 寻找完全充分统计量
* 构造完全充分统计量的无偏估计函数，即充分无偏估计量。