基于《概率论与数理统计（缪百齐 张伟平）》及《概率论与数理统计（陈希孺）》
目录
- 概率质量函数：$P(X=x_k)=p_k,k=1,2,3,....,n,...$
$p_k$ 即为概率质量函数 - 0-1分布:也称为伯努利分布、两点分布，即取值只有0和1，是特殊的二项分布
- 期望：$p$
- 方差：$p(1-p)$
- 离散均匀分布：$P(X=x_k)=\frac 1 n ,k=1,2,3,....,n,...$,即等概率
- 期望
- 方差
- 二项分布：表示n次实验中成功的次数，设为k，其中每次实验成功概率为p且独立：$P(X=x_k)=C^k_n p^k(1-p)^{n-k},k=1,2,3,....,n$，记为$X～B(n,p)$
- 期望：$np$
- 方差：$np(1-p)$
- 负二项分布：$X_r$表示第r次实验成功发生时的试验次数k，其中每次实验成功概率为p且独立：$P(X=x_k)=C^{k-1}_{n-1} p^r(1-p)^{k-r},k=1,2,3,....$，记为$X～NB(r,p)$
- 期望：$\frac r p$
- 方差：$\frac {r(1-p)} {p^2}$
- 几何分布：几何分布即负二项分布中r=1的特殊情形，即第一次实验成功时进行的实验次数：$P(X=x_k)=p(1-p)^{k-1},k=1,2,3,....$，记为$X～Ge(p)$
几何分布的无记忆性：$P(X>m+n |X>m)=P(X>n)$,即，在前m次实验都失败的条件下，实验m+n次成功的概率与从0开始实验n次概率相同，就仿佛它忘了前m次实验，即无记忆性
- 期望：$\frac 1 p$
- 方差：$\frac {1-p} {p^2}$
- 泊松分布
- 泊松分布：$P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!}$,这表示，在给定的时间或空间D中，事件的发生次数为k的概率，其中$\lambda$是在该时间或空间中事件的平均发生次数。在二项分布的p很小时，且$\lambda=np$为一个定值时，可以将泊松分布作为二项分布的近似，但此时的$\lambda$是在二项分布整个时间或空间中发生次数的平均值(本来二项分布的期望就是$np$)
- 期望：$\lambda$
- 方差：$\lambda$
- 泊松逼近定理：即二项分布中$X_n～B(n,p),lim_{p\to0}np\to\lambda>0,lim_{n\to \infty}P(X_n=k)=e^{-\lambda}\frac{\lambda^k}{k!},k=0,1,2,...$
- 分布函数：X为随机变量，x为任一实数，$F(x)=P(X<x)$为随机变量X的(累积)分布函数(cumulative distribution function,cdf)
- 概率密度函数：设X的分布函数为F(X)，若存在f(x)>0,使得$F(x)=\int_{-\infty}^x f(t)dt$，且X为连续型随机变量，f(x)称为分布函数的概率密度函数(pdf)
- 均匀分布：随机变量X在有限区间 a< X < b内取值，且概率密度函数为$f(x)=\frac{1}{b-a}I_{(a,b)}(x)$，即在a，b区间上每一点的取值是等概率的。(uniform distribution)，记为$X～U(a,b)$
- 期望：$\frac{a+b}{2}$
- 方差：$\frac{(b-a)^2}{12}$
- 指数分布：概率密度函数：$f(x)=\lambda e^{-\lambda x}I_{(0,\infty)}(x)$，称X服从参数为$\lambda$的指数分布(exponential distribution),记为$X～Exp(\lambda)$
指数分布也有无记忆性：$P(X>s+t|X>t)=P(X>s)$
参数的含义：若将x看作为时间，整体视作一批元件的寿命分布，则参数$\lambda$可视为单位时间内元件的失效率(死亡率，发生故障的频率)。由于元件按这个比率不断的失效(死亡)，所以不断减少，斜率绝对值也越来越小(基数在变小)
- 期望：$\frac{1}{\lambda}$(平均寿命)
- 方差：$\frac{1}{\lambda^2}$
- 威布尔分布：上述指数分布只是考虑了一个平均死亡率，且它是一个定值；但在现实生活中是有老化现象的，即老化越严重，死亡率越高。
若取失效率为$\lambda x^m,\lambda>0,m>0,\alpha=m+1$,则分布的密度函数为$f(x)=\lambda \alpha x^{\alpha-1}e^{-\lambda x^{\alpha}}$
- 期望：$\frac{\alpha}{\lambda^{\frac{1}{\alpha}}}\Gamma(1+\frac{1}{\alpha})$
- 方差：$(\frac{\alpha}{\lambda^{\frac{1}{\alpha}}})^2[\Gamma(1+\frac{2}{\alpha})-(\Gamma(1+\frac{1}{\alpha}))^2]$
- 正态分布：$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},x\in R$,其中$\mu,\sigma$为参数，记为$X～N(\mu,\sigma^2)$,当$\mu=0,\sigma=1$时称为标准化变换，密度函数记为$\phi(x)$,其分布函数为标准正态分布函数，记为$\Phi(x)$
- 期望：$\mu$
- 方差：$\sigma^2$
- 离散型随机变量函数的分布
- 连续型随机变量函数的分布
- 随机变量函数的分布函数：设$X～f(x),Y=g(X)$,则随机变量Y的分布函数$F_1(y)$为$F_1(y)=P(Y<=y)=P(g(X)<y)=\int_{g(x)<=y}f(x)dx$
- 密度函数变换公式：若$g(x)$有反函数且反函数可导时，有
数学期望的性质：
- 线性可加：现有若干随机变量，不要求其之间互相独立，则有：$E(X_1+X_2+...+X_n)=\Sigma_{i=1}^nE(X_i)$。
- 独立可乘：若随机变量$X,Y$相互独立，则有$E(XY)=E(X)E(Y)$
方差反映了一组数据的波动大小。表达式为$Var(X)=E[(X-\overline{X})^2]=E[(X)^2]-E^2(\overline{X})$。
性质：
$Var(cX)=c^2Var(X)$ -
$Var(\Sigma_{i=1}^2c_iX_i)=\Sigma_{i=1}^2c_i^2Var(X_i)；$ （互相独立）那么有：$Var(\overline{X})=\frac{\sigma^2} n$
马尔可夫不等式：
设$Y=(X-\overline{X})^2,\epsilon\to\epsilon^2$，有切比雪夫不等式：$P(|X-\overline{X}|≥\epsilon)≤\frac{Var(X)}{\epsilon^2}$。
矩母函数：$M_X(s)=E[e^{sX}]=E[\Sigma_{k=0}^{\infty}\frac{X^ks^k}{k!}]=\Sigma_{k=0}^{\infty}E[X^k]\frac{s^k}{k!}$，其中$\exists a,s\in[-a,a]$，即称其为矩母函数。矩母函数是为了得到各阶原点矩。
性质：若存在正常数c，使得$X,Y$的矩母函数对所有$s\in[-c,c]$都相等，则他们分布相同。
一般的，$Var(X+Y)=Var(X)+Var(Y)+2cov(X,Y)$；
协方差反映变量之间相关性。$Cov(X,Y)=E[(X-\overline{X})(Y-\overline{Y})]=E(XY)-E(X)E(Y)$；
性质：
-
$[Cov(X,Y)]^2≤Var(X)Var(Y)$ ，等号成立时当且仅当$X，Y$有严格线性关系； -
$Cov(aX+bY,cX+dY)=acVar(X)+(ad+bc)Cov(X,Y)+bdVar(Y)$ 相关系数：$\rho_{X,Y}=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}≤1$。由上可知，其成严格线性关系时等号成立，相关系数也是反应这个特性，即相关性强不强。
熵体现的是变量的不确定性，熵越大不确定性就越大。
- 离散型：$H(X)=-\Sigma_{k=1}^{\infty}p_klog_2(p_k)$
- 连续型：$H(X)=-\int_{-\infty}^{\infty}f_X(x)lnf_X(x)dx$
可以看出，熵与变量具体取值无关，只与其概率分布有关。给定期望和方差，熵最大的是正态分布，具体证明暂略。
- 数学期望：$n$；
- 方差：$2n$；
- 性质：若$X～\chi_m^2,Y～\chi_n^2,X,Y$独立，则$Z=X+Y～\chi^2_{m+n}$（这是非常显然的）；
- 数学期望：$0$,当$n≥2$由对称性可得出；
- 方差：$\frac{n}{n-2}$,当$n≥3$；
- 性质：
-
$n=1$ 时，$t_1$分布即为柯西分布，此时概率密度函数为$f_1(t)=\frac{1}{\pi(1+t^2)}$；（注：柯西分布期望不存在！） -
$n\to\infty$ 时，$t_n$分布的概率密度函数趋近于标准正态分布概率密度函数，即$lim_{n\to\infty}f_n(t)=\phi(t)$；
-
- 性质：
- 若$Z～F_{m,n}$，则$1/Z～F_{n,m}$，由F分布的结构可以看出来；
- 若$T～t_n^2$，则$T^2～F_{1,n}$，同样直观上可以看出来；
-
$F_{m,n}(1-\alpha)=1/F_{n,m}(\alpha)$ ，比较实用的一个；
利用样本$X$统计量估计参数$\theta$,得到$\hat\theta(X)$,一般应用于在只有数据分布没有该参数准确信息下作为该参数的近似代替
PS:矩估计在二阶及以上需要修正
- j阶中心距：$\alpha_j=E(X^j)$
- j阶原点矩：$\mu_j=E[(X- \overline X)^j]$
利用矩表达式的结构，可以求出一些参数的估计值。易得 常见参数$E(X)$与$\sigma^2$ 分别为(全部样本的)一阶原点矩与二阶中心矩。
即给定的数据$X$，待估计参数$\theta$,使给定数据出现概率最大的$\theta$即为估计值$\hat\theta$
- 似然函数：样本$X=(X_1,X_2,...,X_n)$的联合概率密度函数或联合概率质量函数$f(x;\theta)=f(x;\theta_1,\theta_2,...\theta_n)$
$\theta=(\theta_1,\theta_2,...\theta_n) \in \Theta,x$ 为样本$X$的一个样本值。通常固定$x$，将$f(x;\theta)$看作$\theta$的函数，即似然函数(likelihood function)，记为$L(\theta;x)$或$L(\theta)$
即求使$L(\theta;x)$最大的$\theta$
为与矩估计区分，矩估计一般记为$\hat\theta_m$,最大似然估计记为$\hat\theta_L$
为求极值，一般使$l=lnL$，用$l$对各个待估计参数求偏导，为的是省去连乘所导致的计算繁琐问题
- 某些情况$l$偏导不存在，这时要回到本源定义，即求解目的是求出使$L$最大的$\theta$,在此条件下通过一些技巧与方法求出$\hat\theta_L$
- 求偏导后不易求解，如柯西分布
- 极值可能取在区间端点处，需进行比较
PS:
- 最大似然估计可能不唯一
- 某些情况分布的矩估计不存在，比如柯西分布
- 矩估计法在总体分布情况（比如或是正态分布，或是二项分布等等）未知情况下，根据样本值进行估计；而极大似然估计需要整体分布情况，需要知道是什么分布，比如其概率密度函数或概率质量函数，不然无法通过求导或其他方法求出极值
假设某个参数有多种估计结果，那也就是看其中哪些估计效果更好，包括无偏性和均方误差等。
- 点估计无偏性：估计的准确性
- 偏差与无偏性：设$\hat g(X)$是$g(\theta)$的一个估计量，称$E_{\theta}(\hat g(X))-g(\theta)$为估计量$\hat g(X)$的偏差。若对任意可能的$\theta \in \Theta$都有偏差为0，则$\hat g$是$g(\theta)$的一个无偏估计量。 PS：对于求期望的解释：取了多组$X$数据，对每组$X$求出来的$\hat g(X)$做平均。
- 渐近无偏估计：$\hat\theta(X)$是$\theta$的一个点估计，如果$lim_{n\to \infty}E(\hat\theta(X))=\theta ,\forall \theta \in \Theta$，则称$\hat\theta(X)$是$\theta$的一个渐近无偏估计。
- 无偏估计的方差：估计的波动大小
- 均方误差（误差平方的平均）：$MSE_{\theta}(\hat \theta)=E_{\theta}[(\hat \theta(X)-\theta)^2]$。 注意到：$MSE_{\theta}(\hat \theta)=Var_{\theta}(\hat \theta)+[E_{\theta}(\hat \theta)-\theta]^2$，其第一部分是波动，即不同组样本所得出估计值之间的波动，第二部分是偏差，若为无偏估计则第二部分为0，应有$MSE_{\theta}(\hat \theta)=Var_{\theta}(\hat \theta)$，那么显然，若有不同的估计，当然是方差较小者为优。
- 平均绝对误差（不易计算）：$E_{\theta}(|\hat \theta(X)-\theta|)$
- 最小方差无偏估计：即所有无偏估计中方差最小的一个。（minimum variance unbiased estimate，MVUE）
- 克拉默-拉奥方差下界
如何找到上文所说的最小方差无偏估计？（也即最小方差）
克拉默-拉奥方差下界：$Var_{\theta}(\hat g(X))≥(g'(\theta))^2[nI(\theta)]^{-1}$,其中$I(\theta)=E(\frac{\partial lnf(X;\theta)}{\partial\theta})^2$为费希尔信息函数，表示样本量为1的样本中关于参数$\theta$信息量的大小，$nI(\theta)$表示样本量为n的样本中关于参数$\theta$信息量的大小。
大样本即样本量$n\to \infty$时的估计量的性质，样本量固定的情况称为小样本性质。区别在于样本量是固定的还是动态的（趋于无穷的动态）。
- 相合性：样本量$n\to \infty$时，有$\hat \theta \xrightarrow{P} \theta$，则称$\hat\theta$是$\theta$的一个（弱）相合估计量。相合性是估计量的基本要求。
- 渐进正态性：若$\hat\theta$是参数$\theta$的一个点估计，设它的方差存在，记$Var_{\theta}(\hat\theta)=\sigma_n^2(\theta)$，若当样本量$n\to \infty$时，有$lim_{n\to\infty}(\frac{\hat\theta-\theta}{\sigma_n(\theta)}≤x)=\Phi(x),\forall x\in R,$则称点估计量$\hat\theta$有渐进正态性。
- 区间估计，可靠度与精度 所谓区间估计，即是将待估计的参数$\theta$估计在某区间$[\hat\theta_1,\hat\theta_2]$中。可靠度即希望$\theta$在此区间中的概率尽可能大，精度即要求区间长度尽可能小。但可靠度与精度显然是一对矛盾。
- 置信区间与置信系数 设$X$为总体中抽取的一个简单随机样本，$\theta\in \Theta$为未知参数，而$\hat\theta_1<\hat\theta_2$为两个估计量，现有$\alpha\in(0,1)$，若$P_{\theta}(\hat\theta_1≤\theta≤\hat\theta_2)=1-\alpha$,则称$[\hat\theta_1,\hat\theta_2]$为置信区间，置信系数为$1-\alpha$。
直观上，未知参数应该在其优良点估计附近，故提出枢轴变量法(求解置信区间)的概念，即以其优良点估计为中心，向两侧扩展，寻找到符合置信系数的区间。可表示为$[\hat\theta-d,\hat\theta+d]$,其中d被称为误差界限，求解置信区间也就是求解$d$与$\hat\theta$。
步骤：假设待估计参数为$\theta$,也就是构造出一些已知量和已知分布规律求解未知量即待估计参数的过程
- 找到其的优良点估计$T(X)$，一般为最大似然估计
- 构造一个函数$S(T,U,\theta)$称为枢轴变量，其分布已知，分布仅能是$T$与$\theta$的函数。
- 枢轴变量需满足要求$a≤S≤b$可解得$A≤\theta≤B$,其中A，B为T，a，b的函数，取分布的上$\alpha$分位数和下$\alpha$分位数，由定义，有$P(w_{1-\alpha/2}≤S≤w_{\alpha/2})=1-\alpha$,然后进行求解
-
$[A,B]$ 即为所求置信区间。
顾名思义，即样本量较大，需使用极限定理，中心极限定理建立枢轴变量。不过一般进行比较简单的如比例p的区间估计和样本均值的区间估计。
- p的估计：二项分布在样本数量趋于无穷大时整体依分布收敛与正态分布，经过标准化变换可以转为标准正态分布$\Phi(x)$。以$Y_n$记事件发生次数，成功概率为$p$,作n次独立实验，由中心极限定理，近似有：$\frac{Y_n-np}{\sqrt{np(1-p)}}～N(0,1)$
- 得分区间：即比例p的置信区间$P\in \hat p±u_{\alpha/2}\sqrt{\frac{\hat p(1-\hat p)}{n}}$,此为瓦尔德置信区间，是原公式的简化，在$n \to \infty$时可应用。
- 瓦尔德区间宽度所需样本量：可以推导出$n=\frac{4u_{\alpha/2}^2\hat p(1-\hat p)}{w^2}$。$w$为区间宽度。
- 保守法求解样本量：即瓦尔德区间宽度与原区间宽度表达式均是$\hat p=0.5$时达到最大，故取$\hat p=0.5$计算样本量，即所有$p\in (0,1)$的置信区间宽度最多为$\hat p=0.5$时的$w$，即一个比较保守的样本量。
- 一般总体均值的估计：$(X_1,X_2,...X_n)\in X$为一个样本，此时我们并不知道总体分布形式，但是由中心极限定理，标准化后依分布收敛于标准正态分布。此时样本方差是总体方差的相合估计，故可以代之。
- 抽样分布：从总体中随机多次的抽取样本量为n的样本$X_0$，不同样本计算得出的同一统计量的分布称为抽样分布。
- 自助分布：从总体中得到一个样本量为n的样本$X_1$，从该样本中随机重复的抽取样本量$X_2,X_3,X_4,X_5,...X_m$，其中具体抽取方式为，当抽取某个样本$X_i$时，从原样本$X_1$中，抽取一个值并放回，如此抽取n次，正是如此抽取方式构成了不同的样本量为n的样本$X_1,X_2,X_3,X_4,X_5,...X_m$。根据这些样本计算出的同一统计量的值的分布称为自助分布。
通过上面的比较不难看出，自助法应用于样本量或总体量比较小的情况。抽取B次，其中常取B=1000。
较常用的枢轴变量有两种：
-
$\hat \theta-\theta\space$ ，其中$\hat \theta$ 为已知参数$\theta$的良好点估计。 -
$\frac{\hat \theta-\theta}{se(\hat \theta)}\space$ ，其中$se(\hat \theta)$为样本标准差。
与其对应的置信区间也有两种：
-
$\hat \theta-\theta\space$ ：基本自助置信区间
- 置信区间为$[2\hat \theta-\hat \theta^_{[(B+1)(1-\alpha/2)]},2\hat \theta+\hat \theta^_{[(B+1)(\alpha/2)]}]$
-
$\frac{\hat \theta-\theta}{se(\hat \theta)}\space$ ：自助t分布置信区间
- 置信区间为$[\hat \theta-\hat t^_{1-\alpha/2}\hat{se}_B(\hat\theta),\hat \theta-\hat t^_{\alpha/2}\hat{se}_B(\hat\theta)]$
- 计算步骤：样本值为$x=(x_1,x_2..x_n)$,待计算参数为$\theta$
- 得到B个自助样本$X_1,X_2,...,X_B$;
- 分别计算$\hat \theta_1,\hat \theta_2,...,\hat \theta_B$；
- 分别计算$\hat \theta_1,\hat \theta_2,...,\hat \theta_B$的标准差$\hat{se}_1(\hat\theta),\hat{se}_2(\hat\theta)...,\hat{se}B(\hat\theta)$：此处需要将每个样本$\hat \theta_b$分别进行R次自助法算得R个$\hat \theta{bi}$，其中$b=1,2,...,B;i=1,2,...,R$。不然没法计算每个估计值的标准差；
- 构造统计量$t=\frac{\hat \theta_b^-\theta}{se_R(\hat \theta_b^)}$，此处要找出起上下$\alpha/2$分位数；
- 根据$\hat \theta_1,\hat \theta_2,...,\hat \theta_B$计算出$\hat{se}_B(\hat \theta)$。在很多情况是不知晓总体标准差的，这一步是对总体标准差的估计；
- 得出结果。
很多时候我们只关注参数$\theta$取值范围的一侧：如95%的概率大于多少，或95%的概率小于多少。这并不是严格的小于等于或大于等于，而是多大的可能性大于或小于某个值。
-
$P_{\theta}(\theta<\overline \theta)=1-\alpha$ ,则$\overline \theta$是其置信上限； -
$P_{\theta}(\theta>\underline \theta)=1-\alpha$ ,则$\underline \theta$是其置信下限；
本章主要为参数假设检验。
假设检验的基本过程为，提出原假设和备择假设，通过已有条件完成对原假设的支持或推翻，这其中包括了一些判断条件。
- 原假设与备择假设：原假设即原有假设，是原有条件或事实，备择假设是原假设的对立命题。
- 简单假设与复合假设：只有一个值的假设称为简单假设，否则为复合假设。
- 检验统计量、接受域与拒绝域、临界值：检验假设时用到的统计量称为假设统计量，拒绝域即原假设被拒绝的区域，接受域为原假设被接受的区域。临界值一般为接受域和拒绝域的分界线。
- 功效函数：不同的检验方法功效不同。$\theta \in \Theta$为参数，$H_0$是关于该参数的一个原假设，设$\Phi$为一个检验，则称$\beta_{\Phi}=P_{\theta}$为检验$\Phi$的功效函数，其意义为，在检验$\Phi$下$H_0$被否定的概率大小。
- 当参数属于原假设时，我们希望功效函数尽量小；若属于备择假设，我们则希望其尽量大。拒绝$H_0$的能力称为功效。
- 检验水平：$\alpha \in (0,1)$，若$\beta_{\Phi}(\theta)≤\alpha$则称检验$\Phi$的水平为$\alpha$。由定义可知，大于功效函数值的都为其水平，我们尽量找最小的水平。检验水平代表了该检验可以错误拒绝（可以犯错误）原假设所允许的最大概率。
- 两类错误（设阳性代表正确，阴性代表错误）
- 第一类错误，假阴性：$H_0$为正确但检验结果为错误；
- 第二类错误，假阳性：$H_0$为错误但检验结果为正确；
- 显著性检验：这两类错误是不可能同时减少的，它们是一对矛盾体，通俗来讲拒绝能力强了，假阳性减少，那么被误判为错误的个体会变多，反之亦然。只考虑控制第一类错误的检验叫显著性检验。
假设检验的过程，即（一般情况）构造包含待假设参数的统计量，其分布已知，这是为了方便计算；根据检验水平，求出拒绝域与接受域；根据样本值计算实际统计量的值，看其落在哪个域中。
- 总体方差已知
- 枢轴变量：$Z=\frac{\sqrt{n}(\overline{X}-\mu_0)}{\sigma}～N(0,1)$
- 总体方差未知
- 枢轴变量：$Z=\frac{\sqrt{n}(\overline{X}-\mu_0)}{S}～t_{n-1}$
其中$\mu_0$一般为原假设，$\overline X$一般为已给值，愚以为，如此设置，是用于比较原假设与给出值的差异性。
- 成组比较：不要求两个正态总体样本量相等，比较的是他们均值的差值，是整体的差异，比如两种药的药效比较
- 现有$X=(X_1,X_2,...,X_m),Y=(Y_1,Y_2,...Y_n)$，其共同的方差为$\sigma^2$ 。构造统计量$Z=\frac{(\overline{X}-\overline{Y})-(\mu_1-\mu_2)}{\sigma\sqrt{\frac 1 m+\frac 1 n}}$，其计算过程与单个正态总体无异。当方差未知且不相同时，将$\sigma^2$替换为$S_T=\sqrt{\frac{(m-1)S_1^2+(n-1)S_2^2}{m+n-2}}$,$S_1^2,S_2^2$分别为X，Y的样本标准差。
- 成对比较：${(X_1,Y_1),(X_2,Y_2),...,(X_n,Y_n)}$，数据量相等且成对。数据对之间独立，而数据对内部通常不独立。是一种具体到数据个体的差异。计算上仍是标准化造出枢轴变量，其他无异。
意在比较两组数据的波动程度，如投资的风险程度等等。
统计量的构造：由大数定律，$S^2$与$\sigma^2$差不多，故进行$S^2$与$\sigma^2_0$的比较。故构造$T= \frac{(n-1)S^2}{\sigma_0^2}～\chi^2_{n-1}$。
比例p的检验即二项分布或两点分布中的概率p。 设$(X_1,X_2,...,X_n)$是0-1分布总体的一个样本，与上文类似，依然是构造统计量进行比较（三类原假设）。显然，$\overline X$是一个直观的统计量，它可以代表p的相对大小。但注意到$X=\Sigma_{i=1}^nX_i～B(n,p)$，那么X的分布是更易得到的。设X的分布函数为$F_P(x)$，由于其为离散型变量，可能不存在$C_k$使得$F_{p_0}(C_k)=1-\alpha$，故有$F_{p_0}(C_0)≤1-\alpha≤F_{p_0}(C_0+1)$。那么有三种检验：
-
$\phi_1$ ：$X>C_0$时拒绝原假设，否则不能拒绝； -
$\phi_2$ ：$X>C_0+1$时拒绝原假设，否则不能拒绝； -
$\phi_3$ ：
-
$X≤C_0$ 不拒绝原假设 -
$X>C_0+1$ 时拒绝原假设 -
$X=C_0+1$ 时，从[0,1]中取一随机数U，若$U>\frac{1-\alpha-F_{p_0}(C_0)}{F_{p_0}(C_0+1)-F_{p_0}(C_0)}$拒绝原假设，否则不能拒绝。这一步有些离散状态连续化的味道。
这是一种多参数假设检验的方法，其在假设检验中的地位就宛如最大似然原理在点估计之中的地位。考虑假设检验问题：
$L_{\Theta_0}(x)=sup_{\theta\in\Theta_0}f(x,\theta)$ $L_{\Theta_1}(x)=sup_{\theta\in\Theta_1}f(x,\theta)$
比较大小，自然考虑比值$L_{\Theta_1}(x)/L_{\Theta_0}(x)$，将其优化一下，改为：$LR(x)=\frac{L_{\Theta}(x)}{L_{\Theta_0}(x)}=\frac{max{L_{\Theta_0}(x),L_{\Theta_1}(x)}}{L_{\Theta_0}(x)}=max{\frac{L_{\Theta_1}(x)}{L_{\Theta_0}(x)},1}=\frac{sup_{\theta\in\Theta}f(x,\theta)}{sup_{\theta\in\Theta_0}f(x,\theta)}$为检验的似然比。则由此定义的检验$\phi:$当$LR(x)>c$时拒绝原假设，否则不拒绝，其中常数c可通过检验水平确定。其中c不一定为1，故可以出现原假设成立，并且$L_{\Theta_0}<L_{\Theta_1}$的情况。
设$\Theta$的维数为$k$,$\Theta_0$的维数为$s$，若$k-s=t>0$，则对于似然比检验有如下极限分布：在原假设成立的条件下，若样本量$n\to\infty$时，有：$P(2ln(LR(X)≤x))\to F_{\chi_t^2}(x),\forall x\in \R$。记为$2lnLR(X)\xrightarrow{d}\chi_t^2$。
有此分布可以根据条件给出接受域与拒绝域。比如，若是根据先前检验，设水平为$\alpha$，则拒绝域为$2lnLR(X)>\chi_{m-1}^2(\alpha)$
我们知道，一般是利用样本值计算出统计量然后判断是落在拒绝域中还是接受域中，这是一个检验的过程。假如有多组不同的样本都可以拒绝原假设，那么如何比较哪组样本拒绝原假设能力更强呢？从直观上来看，越极端的样本出现了，那么拒绝原假设的能力就越强。为此引入p值的概念：
设检验水平为$\alpha$,显然$p$值是不能超过检验的水平的。$p$值是当前样本值条件下的显著性水平。为此得到一个检验：$p<\alpha,T\in H_1$，即可以拒绝原假设。
有时候样本值只有有限个值，我们不知道总体的分布是什么样的。此时要检验的是这个总体是什么分布，原假设一般为假定的某种分布，称为理论分布，直观上来看，拟合程度好，就接受原假设，反之拒绝。这是对总体分布形式的检验。这一类检验用到的统计量一般近似服从$\chi^2$分布，由Pearson首先提出，被称为皮尔逊$\chi^2$检验，也就是科研中常见的几种卡方检验之一。 PS:常见的卡方检验：
- 皮尔逊卡方检验
- 叶氏连续性校正
- 一元混成检验
假设理论分布为$P(X=a_i)=p_i,i=1,2...,k$,样本为${n_i·a_i},\Sigma n_i=n$，n为样本量。设E为每个类别$(a_i)$的期望值，而O为每个类别的观测值，有如下表格：
| 类别 | ... | |||
|---|---|---|---|---|
| ... | ||||
| ... | ||||
| ... |
最后一行维差值，显然其值越小，便越能接受原假设。现在的问题是如何构建统计量去衡量和说明这件事情，因此构建统计量：$Z=\Sigma \frac{(O-E)^2}{E}=\Sigma_{i=1}^k\frac{(np_i-n_i)^2}{np_i}=\Sigma_{i=1}^k\frac{n_i^2}{np_i}-n;n\to\infty,Z～\chi_{k-1}^2$. 拟合优度：假如一组数据算得的统计量$Z=Z_0$，$P(Z_0)=P(Z≥Z_0)=1-F_{\chi_k^2}(Z_0)$被称为拟合优度（根据此例所得的拟合优度），显然拟合优度越大拟合效果就越好,拟合优度小于检验水平时拒绝原假设。拟合优度越高越好，但如果过高，要么运气太好，要有可能在造假。
理论分布为$P(X=a_i)=p_i(\theta_1,\theta_2,...\theta_r),i=1,2...,k$，其中$\theta_1,\theta_2,...\theta_r$为未知参数。也就是说，当我们构建统计量Z的时候，有一些参数无法得知，无法由此算出理论分布，那么根据之前学过的点估计理论，我们只能使用点估计方法。首先对$\theta_1,\theta_2,...\theta_r$进行点估计得到$\hat\theta_1,\hat\theta_2,...\hat\theta_r$,再算出$\hat p_1,\hat p_2,...,\hat p_k$，由此得到各种类别的期望值的估计值，简单改换统计量计算公式为：$Z=\Sigma \frac{(O-E)^2}{E}=\Sigma_{i=1}^k\frac{(n\hat p_i-n_i)^2}{n\hat p_i}=\Sigma_{i=1}^k\frac{n_i^2}{n\hat p_i}-n$；且$n\to\infty$时，$Z～\chi_{k-r-1}^2$。
主要检验两个属性之间的相关性，其数据一般以二维表格形式呈现。 构造统计量：$Z=\Sigma_{i=1}^a\Sigma_{j=1}^b\frac{(n_{ij}-n_{i·}n_{·j}/n)^2}{n_{i·}n_{·j}/n};Z～\chi^2_{(a-1)(b-1)}$。其中$n_{i·}n_{·j}/n$为表格$(j,i)$位置上的期望值，即所希望的值，并非真实值。表格索引为列主序。
本书无附录。
<script type="text/javascript" src="http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML"></script> <script type="text/x-mathjax-config"> MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" }); </script>