1 参数估计

设有一个统计总体, 总体的分布函数为$F(x, \theta)$，其中$\theta$为未知参数。$X_{1}, X_{2}, \cdots, X_{n}$是从总体X得到的样本，要根据该样本对参数$\theta$做出估计，或估计$\theta$的某个已知函数$g(\theta)$，这类问题成为参数估计。

已知总体的分布，来估计总体的参数。本章主要讲解参数估计中的点估计和区间估计。

2 点估计

2.1 点估计的概念

设总体X的分布函数$F(x ; \theta)$的形式已知，$\theta$是待估参数，$X_{1}, X_{2}, \cdots, X_{n}$是X的一个样本，$x_{1}, x_{2}, \cdots, x_{n}$是相应的样本值，用样本值估计参数值。

定义：构造一个适当的估计量$\hat{\theta}\left(X_{1}, X_{2}, \cdots, X_{n}\right)$，用它的观察值$\hat{\theta}\left(x_{1}, x_{2}, \cdots, x_{n}\right)$来估计未知参数$\theta$，称$\hat{\theta}\left(x_{1}, x_{2}, \cdots, x_{n}\right)$为$\theta$的估计量。这样的估计称为点估计。

寻求估计量的常用方法：

矩估计法
最大似然法
最小二乘法
贝叶斯方法

2.2 矩估计法

2.2.1 定义

矩估计法是英国统计学家K.皮尔逊最早提出的。该法以大数定律为理论依据，用样本矩估计总体矩。

定义：若 X为连续型随机变量其概率密度为

$$
f\left(x ; \theta_{1}, \theta_{2}, \cdots, \theta_{k}\right)
$$

若X为离散型随机变量，其分布律为

$$
P{X=x}=p\left(x ; \theta_{1}, \theta_{2}, \cdots, \theta_{k}\right)
$$

其中$\theta_{1}, \theta_{2}, \cdots, \theta_{k}$为待估参数，$X_{1}, X_{2}, \cdots, X_{n}$是来自总体X的样本。

假设总体X的前k阶矩存在，即

$$
\mu_{l}=E\left(X^{l}\right)=\int_{-\infty}^{+\infty} x^{l} f\left(x ; \theta_{1}, \theta_{2}, \cdots, \theta_{k}\right) d x \quad X 连续型
$$

$$
\mu_{l}=E\left(X^{l}\right)=\sum x^{l} p\left(x ; \theta_{1}, \theta_{2}, \cdots, \theta_{k}\right) \quad X 离散型
$$

用样本原点矩估计相应的总体原点矩，又用样本原点矩的连续函数估计相应的总体原点矩的连续函数，这种参数点估计法称为矩估计法。

2.2.2 估计步骤

那么用各$\mu_{i}$的估计量$A_{i}$分别代替上式中的诸$\mu_{i}$，即可得到诸${\theta}_{j}$的矩估计量：

$$
\hat{\theta}_j=\theta_j(A_1,A_2,\cdots,A_k)\quad j=1,2,\cdots,k
$$

矩估计量的观察值称为矩估计值。

例1：设某炸药厂一天中发生着火现象的次数X，服从参数为$\lambda$的泊松分布，其中$\lambda$位置，用以下样本值，估计参数$\lambda
$。

解：由于$X \sim \pi(\lambda), \quad \mu_{1}=E(X) \Longrightarrow A_{1}=\hat{\lambda}$，则$\lambda$的估计值如下：

$$
\hat{\lambda}=\bar{x}=\frac{1}{250}(0 \times 75+1 \times 90+\cdots+6 \times 1)=1.22
$$

2.3 最大似然估计法

它是在总体类型已知条件下使用的一种参数估计方法，它首先是由德国数学家高斯在1821年提出的，最大似然估计法，是建立在最大似然原理的基础上的求点估计量的方法。

2.3.1 最大似然估计原理

若X为连续型随机变量，密度函数为$f(x ; \theta), \theta \in \Theta$，当给定样本$X_{1}, X_{2}, \ldots, X_{n}$时，定义似然函数为：

$$
L(\theta)=L\left(x_{1}, x_{2}, \ldots, x_{n} ; \theta\right)=\prod_{i=1}^{n} f\left(x_{i} ; \theta \right)
$$

若$L(\hat{\theta})=\max _{\theta} L(\theta)$，则有以下：

$\hat{\theta}\left(x_{1}, x_{2}, \ldots, x_{n}\right) 称为 \theta 的最大似然估计值$
$\hat{\theta}\left(X_{1}, \ldots, X_{n}\right) 称为 \theta 的最大似然估计量$

最大似然原理的直观想法是：在试验中概率最大的事件最有可能出现。

2.3.2 最大似然估计量的一般步骤

（1）定义似然函数$
L(\theta)$

（2）一般地，求出$\ln L(\theta)$及似然方程

$$
\left.\frac{\partial \ln L(\theta)}{\partial \theta_{i}}\right|_{\theta=\hat{\theta}}=0 \quad(i={1 , 2}, \ldots, m)
$$

（3）解似然方程得到最大似然估计值

$$
\hat{\theta}_i=\hat{\theta}_i\left(x_1,x_2,\ldots,x_n\right)\quad(i={1},{2},\ldots,m)
$$

（4）最后得到最大似然估计量

$$
\hat{\theta}_i=\hat{\theta}_i\left(X_1,X_2,\ldots,X_n\right)\quad(i={1},{2},\ldots,m)
$$

2.3.3 最大似然估计的不变性

若$\theta$估计值为$\hat{\theta}$，则$u=u(\theta)$估计值为$\hat{u}=u(\hat{\theta})$，条件是$u=u(\theta)$具有单值反函数$\theta=\theta(u)$。

2.4 本节总结

点估计的概念
矩估计法概念及步骤
最大似然估计法概念及步骤

3 估计量的评选标准

3.1 无偏性

若估计量$\hat{\theta}=\theta\left(X_{1}, X_{2}, \cdots, X_{n}\right)$的数学期望$E(\hat{\theta})$对任意的$\theta \in \Theta$，都有$E(\hat{\theta})=\theta$，则称$\hat{\theta}$是$\theta$的无偏估计。无偏性就是求期望。

例如：$E(\bar{X})=\mu，E\left({S}^{\mathbf{2}}\right)={\sigma}^{\mathbf{2}}$。

3.2 有效性

设$\hat{\boldsymbol{\theta}}_1=\hat{\boldsymbol{\theta}}_1(\boldsymbol{X}_1,\cdots,\boldsymbol{X}_n)$和$\hat{\boldsymbol{\theta}}_2=\hat{\boldsymbol{\theta}}_2(\boldsymbol{X}_1,\cdots,\boldsymbol{X}_n)$都是$\theta$的无偏估计量，若对任意$\theta \in \Theta$，有：

$$
D(\hat{\theta}_1) \leq D(\hat{\theta}_2)
$$

且至少对于某个$\theta \in \Theta$上式中的不等号成立，则称$\hat{\theta}_{1}$较$\hat{\theta}_2$有效。

有效性就是求方差

续例3：试证当n>1时，$\theta$的无偏估计量$\bar{X}$较nZ有效。

3.3 相合性

前面讲的无偏性和有效性都是在样本容量n固定的前提下提出的。希望随着样本容量的增大，一个估计量的值稳定于待估参数的真值。这样，对估计量有以下相合性的要求。

若$\hat{\theta}=\hat{\theta}\left(X_{1}, X_{2}, \cdots, X_{n}\right)$为参数$\theta$的估计量，若对于任意$\theta \in \Theta$，当$\boldsymbol{n} \rightarrow \infty$时，$\hat{\theta}=\hat{\theta}\left(X_{1}, X_{2}, \cdots, X_{n}\right)$依概率收敛于$\theta$，则称$\hat{\theta}$为$\theta$的相合估计量。

即对任意的$\varepsilon$有

$$
\lim _{n \rightarrow \infty} P{|\hat{\theta}-\theta|<\varepsilon}=1
$$

4 区间估计

4.1 置信区间定义

设$\theta$是一个待估参数，给定α>0，若由样本$X_{1}, X_{2}, \ldots, X_{n}$确定的两个统计量$\underline{\theta}=\underline{\theta}\left(X_{1}, X_{2}, \cdots, X_{n}\right)$和$\bar{\theta}=\bar{\theta}\left(X_{1}, X_{2}, \cdots, X_{n}\right)$，其中$\underline{\theta}<\bar{\theta}$，满足：

$$
P{\underline{\theta}<\theta<\bar{\theta}} \geq 1-\alpha
$$

则称区间$(\underline{\theta}, \bar{\theta})$是$\theta$的置信水平（置信度）为1-α的置信区间。其中，$\underline{\theta} 和 \bar{\theta} $分别称为置信下限和置信上限。