01.第一章 绪论

第一章 绪论

1.数理统计的基本概念

总体、个体与样本：所有的个体集合起来构成总体，从总体中抽出一部分个体作为研究对象，这个研究对象称为样本。样本中个体的数目称为样本大小（样本容量），抽取的过程叫做抽样。

总体（总体分布）：总体可以用一个随机变量及其概率分布来刻画。总体可以视为一个随机变量$X$，也可以用其分布函数$F$来表示，若其有密度也可以用密度函数$f$来表示。

样本：从总体中抽取一部分样本组成，如样本$\mathbf{X}=(X_1,\cdots ,X_n)$。

• 样本空间：样本$\mathbf{X}=(X_1,\cdots ,X_n)$的所有可能取值的全体，称为样本空间，记作$\mathcal{X}$。注意此时的样本是$n$维向量，所以没有特殊约束的情况下这里的样本空间是${\mathbf{R}}^n$。

• 样本的两重性：指的是样本既可以看成具体的数，也可以看成随机变量（大多数时候是随机向量）。在抽样之前它被视为随机变量/向量，抽样并观测后它就是具体的数。

• 简单随机样本：总体中每一个个体都相互独立同分布于总体$F$，这样的样本$(X_1,\cdots ,X_n)$被称为简单随机样本。由于样本是独立且均服从于分布$F$的，所以样本（视为随机向量）的分布函数与密度函数为
  $$\begin{gathered} F(x_1,x_2,\cdots ,x_n)=F(x_1)F(x_2)\cdots F(x_n) \\ f(x_1,x_2,\cdots ,x_n)=f(x_1)f(x_2)\cdots f(x_n) \end{gathered}$$

• 样本分布：样本作为随机变量具有的概率分布，称为样本分布，它完整地刻画样本的性质。

参数：对样本分布掌握得不全，虽然知道其大类但不知道具体某些常数（如期望、方差）时，这些未知常数称为参数。

• 参数空间：未知参数的所有可能取值（即取值范围）构成参数空间。
• 分布族：由于样本分布包含未知参数，因而可能的样本分布不止一个，所有这些分布构成的总体称为分布族。

统计推断：用样本推断总体的概率分布的方法，在含有参数的分布族中主要包括参数估计与假设检验，在不含参数的分布族中主要是通过样本对总体的分布作出推断。

2.统计量

统计量：样本的函数，当得出抽样结果时统计量的值也随之确定。主要特点是不与未知参数有关，只能与样本有关，并且与样本一样具有两重性。以下是一些统计量：

1. 样本均值：对于样本$(X_1,X_2,\cdots ,X_n)$，样本均值为
   $$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$

2. 样本方差：对于样本$(X_1,X_2,\cdots ,X_n)$，样本方差为
   $$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$$
   这里$S$称为样本标准差，$n-1$称为自由度，自由度为$n$的方差记作$S_n$，即$S_n^2=\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2$。

3. 样本矩：设$X_1,X_2,\cdots ,X_n$为从总体$F$中抽取的样本，则称其$k$阶原点矩为
   $$a_{n,k}=\frac{1}{n}\sum _{i=1}^n{X}_i^k$$
   称其$k$阶中心矩为
   $$m_{n,k}=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^k$$
   样本的一阶原点矩就是样本均值。

4. 样本的协方差：设$(X_1,Y_1),\cdots ,(X_n,Y_n)$是从二维总体$F(x,y)$中抽取的样本，则样本协方差为
   $$S_{XY}=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$$
   注意，二维总体意味着$X_i,Y_i$分别是样本中第$i$个个体的两个属性，也就是说$X_i$与$Y_i$不能任意组合。

5. 次序统计量：设$X_1,X_2,\cdots ,X_n$是从总体$F$中抽取的样本，如果将其从小到大排列为$X_{(1)}\le X_{(2)}\le \cdots \le X_{(n)}$，那么$(X_{(1)},\cdots ,X_{(n)})$称为样本$(X_1,\cdots ,X_n)$的次序统计量，其中的任意部分也称为次序统计量。

   与次序统计量相关的统计量有

   • 样本中位数：即
     $$m_{1/2}=\{\begin{array}{lc}{X}_{((n+1)/2)}，& n为奇数\\ \frac{1}{2}[X_{n/2}+X_{(n+1)/2}],& n为偶数\end{array}$$

   • 样本$p$分位数$(0<p<1)$：即$X_{(m)},m=[(n+1)p]$，这代表大约有$np$个样本值位于$X_{(m)}$之前。

   • 极差：$R=X_{(n)}-X_{(1)}$。

6. 样本变异系数：设$X_1,X_2,\cdots ,X_n$是从总体$F$中抽取的样本，则样本变异系数为
   $$\hat{\nu }=\frac{S_n}{\bar{X}}$$
   总体变异系数（不是统计量）为$\nu =\frac{\sqrt{D(X)}}{E(X)}$，它以均值为单位反映总体的散布程度。

7. 样本偏度与样本偏度：设$X_1,\cdots ,X_n$是从总体$F$中抽取的样本，则样本偏度为
   $${\hat{\beta }}_1=\frac{\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^3}{{\sqrt{\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2}}^3}=\frac{\sqrt{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^3}{({\sum }_{i=1}^n(X_i-\bar{X}{)}^2{)}^{3/2}}$$
   样本峰度为
   $${\hat{\beta }}_2=\frac{\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^4}{(\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^2{)}^2}-3=\frac{n{\sum }_{i=1}^n(X_i-\bar{X}{)}^4}{({\sum }_{i=1}^n(X_i-\bar{X}{)}^2{)}^2}-3$$
   反映的是总体的偏度、峰度的信息。总体的偏度，峰度分别为标准化变量的三次方、四次方-3。

   注意这里样本的偏度和峰度都是用样本矩所表达的，可以发现${\hat{\beta }}_1=\frac{m_{n,3}}{m_{n,2}^{3/2}},{\hat{\beta }}_2=\frac{m_{n,4}}{m_{n,2}^2}$。

注意：以上的统计量在概率分布中也有相似的定义，要注意区分“均值”与“样本均值”等概念。由于统计量具有两重性，所以样本均值实际上也具有概率分布，而总体均值就只是一个数，不过样本均值的概率分布也能反映总体均值的一部分信息。

3.经验分布函数

当我们从总体中抽取样本的时候，可能会预想它具有某一种特殊类型的分布，然而当我们不具备关于分布的信息时，就很依赖于经验分布函数。

经验分布函数：设$X_1,\cdots ,X_n$是来自总体$F(x)$的简单随机样本，将其从小到大排列为次序统计量$X_{(1)},X_{(2)},\cdots ,X_{(n)}$，并构建以下函数$F_n(x)$：
$$F_n(x)=\{\begin{array}{lc}0,& x\le X_{(1)}\\ \frac{k}{n},& X_{(k)}<x\le X_{(k+1)},k=1,2,\cdots ,n-1\\ 1,& x>X_{(n)}\end{array}$$
称函数$F_n(x)$为样本的经验分布函数，具体绘制方式如下：

1. 在图上描出$n$个实心点$(X_{(i)},\frac{i-1}{n})$作为阶梯分界；
2. 将每个实心点向左画横线延伸至上一个实心点的横坐标位置；
3. 在$(X_{(n)},1)$处绘制空心点并向右延伸。

可以看到，经验分布函数是阶梯型的，并且具有单调有界不减、左连等分布函数的特征，因此可以将其视为分布函数的一个估计量。又因为经验分布函数每到达一个新的次序统计量函数值便增加一个单位，所以可以将经验分布函数看成样本的累积。

同时，经验分布函数仅仅依赖于样本，当样本被观测经验分布函数就可以同时得到，因此经验分布函数$F_n(x)$也是统计量，且$x$可以取任何值。这句话的意思是，对于任何$x=x_0$，$F_n(x_0)$是一个随机变量，反映的是样本$(X_1,X_2,\cdots ,X_n)$中小于$x_0$的个数。由于$X_i\text{i.i.d.}\sim F$，所以P{Xi<x0}=F(x0)\mathbf{P}\{X_i<x_0\}=F(x_0)P{Xi​<x0​}=F(x0​)，$F$是总体分布函数，所以$n{F}_n(x_0)\sim b(n,F(x_0))$。对于任何$x_0$都是如此，所以写成$n{F}_n(x)\sim b(n,F(x))$。

经验分布函数的作用，是当取的样本足够多时，经验分布函数能够对总体分布函数进行拟合，这一性质表现为格里汶科定理：

• 格里汶科定理：设$F(x)$是总体$X$的分布函数，$X_1,\cdots ,X_n$是取自总体$F(x)$的简单随机样本，$F_n(x)$为其经验分布函数，记$D_n=\underset{-\infty <x<\infty }{\sup }|F_n(x)-F(x)|$，则有
  $$\mathbf{P}(\underset{n->\infty }{\lim }{D}_n=0)=1$$

这个定理中，$D_n$指经验分布函数与总体分布函数在整个数轴上的最大偏差量，定理结论表明当$n$趋向于无穷大时，这个偏差量以概率1趋近于0，也就是说经验分布函数会无限趋近于分布函数。所以在样本量够大时，经验分布函数就可以当作分布函数。