1 参数估计

设有一个统计总体, 总体的分布函数为$F(x, \theta)$,其中$\theta$为未知参数。$X_{1}, X_{2}, \cdots, X_{n}$是从总体X得到的样本,要根据该样本对参数$\theta$做出估计,或估计$\theta$的某个已知函数$g(\theta)$,这类问题成为参数估计

已知总体的分布,来估计总体的参数。本章主要讲解参数估计中的点估计区间估计


2 点估计

2.1 点估计的概念

设总体X的分布函数$F(x ; \theta)$的形式已知,$\theta$是待估参数,$X_{1}, X_{2}, \cdots, X_{n}$是X的一个样本,$x_{1}, x_{2}, \cdots, x_{n}$是相应的样本值,用样本值估计参数值。

定义:构造一个适当的估计量$\hat{\theta}\left(X_{1}, X_{2}, \cdots, X_{n}\right)$,用它的观察值$\hat{\theta}\left(x_{1}, x_{2}, \cdots, x_{n}\right)$来估计未知参数$\theta$,称$\hat{\theta}\left(x_{1}, x_{2}, \cdots, x_{n}\right)$为$\theta$的估计量。这样的估计称为点估计

寻求估计量的常用方法:

  1. 矩估计法
  2. 最大似然法
  3. 最小二乘法
  4. 贝叶斯方法

2.2 矩估计法

2.2.1 定义

矩估计法是英国统计学家K.皮尔逊最早提出的。该法以大数定律为理论依据,用样本矩估计总体矩。

定义:若 X为连续型随机变量其概率密度为

$$
f\left(x ; \theta_{1}, \theta_{2}, \cdots, \theta_{k}\right)
$$

若X为离散型随机变量,其分布律为

$$
P{X=x}=p\left(x ; \theta_{1}, \theta_{2}, \cdots, \theta_{k}\right)
$$

其中$\theta_{1}, \theta_{2}, \cdots, \theta_{k}$为待估参数,$X_{1}, X_{2}, \cdots, X_{n}$是来自总体X的样本。

假设总体X的前k阶矩存在,即

$$
\mu_{l}=E\left(X^{l}\right)=\int_{-\infty}^{+\infty} x^{l} f\left(x ; \theta_{1}, \theta_{2}, \cdots, \theta_{k}\right) d x \quad X 连续型
$$

$$
\mu_{l}=E\left(X^{l}\right)=\sum x^{l} p\left(x ; \theta_{1}, \theta_{2}, \cdots, \theta_{k}\right) \quad X 离散型
$$

用样本原点矩估计相应的总体原点矩,又用样本原点矩的连续函数估计相应的总体原点矩的连续函数,这种参数点估计法称为矩估计法。

2.2.2 估计步骤

那么用各$\mu_{i}$的估计量$A_{i}$分别代替上式中的诸$\mu_{i}$,即可得到诸${\theta}_{j}$的矩估计量:

$$
\hat{\theta}_j=\theta_j(A_1,A_2,\cdots,A_k)\quad j=1,2,\cdots,k
$$

矩估计量的观察值称为矩估计值

例1:设某炸药厂一天中发生着火现象的次数X,服从参数为$\lambda$的泊松分布,其中$\lambda$位置,用以下样本值,估计参数$\lambda
$。

解:由于$X \sim \pi(\lambda), \quad \mu_{1}=E(X) \Longrightarrow A_{1}=\hat{\lambda}$,则$\lambda$的估计值如下:

$$
\hat{\lambda}=\bar{x}=\frac{1}{250}(0 \times 75+1 \times 90+\cdots+6 \times 1)=1.22
$$

2.3 最大似然估计法

它是在总体类型已知条件下使用的一种参数估计方法,它首先是由德国数学家高斯在1821年提出的,最大似然估计法,是建立在最大似然原理的基础上的求点估计量的方法。

2.3.1 最大似然估计原理

若X为连续型随机变量,密度函数为$f(x ; \theta), \theta \in \Theta$,当给定样本$X_{1}, X_{2}, \ldots, X_{n}$时,定义似然函数为:

$$
L(\theta)=L\left(x_{1}, x_{2}, \ldots, x_{n} ; \theta\right)=\prod_{i=1}^{n} f\left(x_{i} ; \theta \right)
$$

若$L(\hat{\theta})=\max _{\theta} L(\theta)$,则有以下:

  • $\hat{\theta}\left(x_{1}, x_{2}, \ldots, x_{n}\right) 称为 \theta 的最大似然估计值$
  • $\hat{\theta}\left(X_{1}, \ldots, X_{n}\right) 称为 \theta 的最大似然估计量$

最大似然原理的直观想法是:在试验中概率最大的事件最有可能出现。

2.3.2 最大似然估计量的一般步骤

(1)定义似然函数$
L(\theta)$

(2)一般地,求出$\ln L(\theta)$及似然方程

$$
\left.\frac{\partial \ln L(\theta)}{\partial \theta_{i}}\right|_{\theta=\hat{\theta}}=0 \quad(i={1 , 2}, \ldots, m)
$$

(3)解似然方程得到最大似然估计值

$$
\hat{\theta}_i=\hat{\theta}_i\left(x_1,x_2,\ldots,x_n\right)\quad(i={1},{2},\ldots,m)
$$

(4)最后得到最大似然估计量

$$
\hat{\theta}_i=\hat{\theta}_i\left(X_1,X_2,\ldots,X_n\right)\quad(i={1},{2},\ldots,m)
$$

2.3.3 最大似然估计的不变性

若$\theta$估计值为$\hat{\theta}$,则$u=u(\theta)$估计值为$\hat{u}=u(\hat{\theta})$,条件是$u=u(\theta)$具有单值反函数$\theta=\theta(u)$。

2.4 本节总结

  1. 点估计的概念

  2. 矩估计法概念及步骤

  3. 最大似然估计法概念及步骤


3 估计量的评选标准

3.1 无偏性

若估计量$\hat{\theta}=\theta\left(X_{1}, X_{2}, \cdots, X_{n}\right)$的数学期望$E(\hat{\theta})$对任意的$\theta \in \Theta$,都有$E(\hat{\theta})=\theta$,则称$\hat{\theta}$是$\theta$的无偏估计。无偏性就是求期望。

例如:$E(\bar{X})=\mu,E\left({S}^{\mathbf{2}}\right)={\sigma}^{\mathbf{2}}$。

3.2 有效性

设$\hat{\boldsymbol{\theta}}_1=\hat{\boldsymbol{\theta}}_1(\boldsymbol{X}_1,\cdots,\boldsymbol{X}_n)$和$\hat{\boldsymbol{\theta}}_2=\hat{\boldsymbol{\theta}}_2(\boldsymbol{X}_1,\cdots,\boldsymbol{X}_n)$都是$\theta$的无偏估计量,若对任意$\theta \in \Theta$,有:

$$
D(\hat{\theta}_1) \leq D(\hat{\theta}_2)
$$

且至少对于某个$\theta \in \Theta$上式中的不等号成立,则称$\hat{\theta}_{1}$较$\hat{\theta}_2$有效。

  • 有效性就是求方差

续例3:试证当n>1时,$\theta$的无偏估计量$\bar{X}$较nZ有效。

3.3 相合性

前面讲的无偏性和有效性都是在样本容量n固定的前提下提出的。希望随着样本容量的增大,一个估计量的值稳定于待估参数的真值。这样,对估计量有以下相合性的要求。

若$\hat{\theta}=\hat{\theta}\left(X_{1}, X_{2}, \cdots, X_{n}\right)$为参数$\theta$的估计量,若对于任意$\theta \in \Theta$,当$\boldsymbol{n} \rightarrow \infty$时,$\hat{\theta}=\hat{\theta}\left(X_{1}, X_{2}, \cdots, X_{n}\right)$依概率收敛于$\theta$,则称$\hat{\theta}$为$\theta$的相合估计量。

即对任意的$\varepsilon$有

$$
\lim _{n \rightarrow \infty} P{|\hat{\theta}-\theta|<\varepsilon}=1
$$


4 区间估计

4.1 置信区间定义

设$\theta$是一个待估参数,给定α>0,若由样本$X_{1}, X_{2}, \ldots, X_{n}$确定的两个统计量$\underline{\theta}=\underline{\theta}\left(X_{1}, X_{2}, \cdots, X_{n}\right)$和$\bar{\theta}=\bar{\theta}\left(X_{1}, X_{2}, \cdots, X_{n}\right)$,其中$\underline{\theta}<\bar{\theta}$,满足:

$$
P{\underline{\theta}<\theta<\bar{\theta}} \geq 1-\alpha
$$

则称区间$(\underline{\theta}, \bar{\theta})$是$\theta$的置信水平(置信度)为1-α的置信区间。其中,$\underline{\theta} 和 \bar{\theta} $分别称为置信下限和置信上限。

4.2 置信区间的求法

(1)寻找参数$\theta$的一个良好的点估计$T\left(X_{1}, X_{2}, \ldots X_{n}\right)$

(2)寻找一个待估参数$\theta$和估计量T的函数$U(T, \theta)$,且其分布为已知

(3)对于给定的置信水平1-α,根据$U(T, \theta)$的分布,确定常熟a, b,使得

$$
\boldsymbol{P}(\boldsymbol{a}<\boldsymbol{U}(T, \boldsymbol{\theta})<\boldsymbol{b})=1-\alpha
$$

解得$P{\underline{\theta}<\theta<\bar{\theta}}=1-\alpha$。


5 正态总体均值与方差的区间估计

设已给定置信水平为1-α,并设$X_{1}, X_{2}, \ldots, X_{n}$为总体$N\left(\mu, \sigma^{2}\right)$的样本,$\bar{X}, S^{2}$分别是样本均值和样本方差。

5.1 均值$\mu$的置信区间

5.1.1 方差$\sigma^{2}$已知

$\mu$的置信水平为1-α的置信区间为$\left(\bar{X} \pm \frac{\sigma}{\sqrt{n}} z_{\alpha / 2}\right)$

5.1.2 方差$\sigma^{2}$未知

5.2 方差$\sigma^{2}$的置信区间

此处,根据实际问题的需要,只介绍$\mu$未知的情况。


6 单侧置信区间


7 本章总结

  1. 点估计:熟练使用矩估计法和最大似然估计法进行参数的点估计;
  2. 掌握估计量的评选标准:无偏性、有效性和相合性;
  3. 熟练进行正态总体参数的区间估计(包括单侧和双侧)。