统计学的卡方检验、T检验和F检验

本科学习统计与统计的时候一直都没有搞懂各种检验,比如假设检验中为什么用t检验等等,这次下定决心好好学习一下。

这里先讲两个观点:

  1. 样本的均值和方差仍然是个随机变量,因此它们还是有各自的概率分布
  2. 假设检验其实是判断误差对结果的影响,如果在有误差扰动的情况下,仍然可以计算得到一个很小的值 (就是 p_value),那么我们有理由接收该检验。如果计算得到一个很大的值,结果有可能是误差造成的,也可能确实是假设错误,我们要拒绝假设。通常情况下,我们倾向于拒绝假设

1. 预备知识

1.1 Gamma 函数及衍生的3种分布

$\Gamma$ 函数:
$$
\forall \alpha \in \mathbb R: \Gamma(\alpha) = \int_0^{+\infty} e^{-u}u^{\alpha -1}du
$$
性质:
$$
\forall \alpha \in \mathbb R: \Gamma(\alpha+1) = \alpha \Gamma(\alpha) \\
\forall n \in \mathbb N: \Gamma(n+1) =n! \\
\Gamma({1 \over 2}) = \sqrt {\pi}
$$
如果 $X \sim \gamma(p, \theta)$ , 则
$$
f(x; p, \theta) = \cfrac {\theta^p}{\Gamma(p)} e^{-\theta x}x^{p-1}
$$

1.1.1 卡方分布 (Chi-squared distribution / Loi du Khi-duex)

$$
\chi^2(n) = \gamma({n \over 2}, {1 \over 2})
$$

期望: $E(\chi^2) = n$ , 方差: $D(\chi^2) = 2n$

性质:

若$k$个独立的随机变量$X_1,X_2,⋯,X_n$,且符合标准正态分布$N(0,1)$,则这 $n$ 个随机变量的平方和 $X = \sum_{i=1}^{n} X_i^2$ 服从自由度为 $n$ 的卡方分布,记为:
$$
X \sim \chi^2(n)
$$

1.1.2 t-分布

如果随机变量 $X \sim N(0,1)$ , $Y \sim \chi^2(n)$ , 且 $X$ 与 $Y$ 独立,则
$$
t= \cfrac {X} {\sqrt {Y/n}}
$$
的分布称为 t 分布,记为 $t(n)$, 其中 $n$ 为其自由度

当 $n \ge 2 $ 时,t分布的数学期望 $E(t) = 0$

当 $n \ge 3$ 时,t分布的方差 $D(t) = \cfrac {n} {n-2}$
$$
f(t) = \cfrac {\Gamma \big ((\nu + 1)/2 \big )}{\sqrt {\nu \pi} \Gamma(\nu/2)} (1 + t^2/\nu)^{-(\nu+1)/2}
$$
其中 $\nu$ 等于 $n-1$, 叫自由度,$\Gamma$叫 伽马函数

t 分布一般用于小样本分布,即$ n \le 30$ , 随着 $n$ 逐渐增加,t分布的密度函数越来越接近标准正态分布

性质:

如果 $X$ 和 $Y$ 相互独立,$X \sim N(\mu_1, \sigma^2)$ , $Y \sim N(\mu_2, \sigma^2)$ ,注意方差是相同的,如何证明方差相同,请先用 F 检验

$X_1, …, X_{n_1}$ 是来自 $X$ 的一个样本, $Y_1, …, Y_{n_2}$是来自 $Y$ 的一个样本,记
$$
\overline X = \frac {1}{n_1} \sum_{i=1}^{n_1} {X_i}
$$

$$
\overline Y = \frac {1}{n_2} \sum_{i=1}^{n_2} {Y_i}
$$

$$
S_x^2 = \frac {1}{n_1-1} \sum_{i=1}^{n_1} { (X_i – \overline X)^2}
$$

$$
S_y^2 = \frac {1}{n_2-1} \sum_{i=1}^{n_2} { (Y_i – \overline Y)^2}
$$

$$
S_{xy}^2 = \cfrac {(n_1-1)S^2_x + (n_2-1)S^2_y} {n_1+n_2-2}
$$


$$
\cfrac {(\overline X – \overline Y) – (\mu_1 – \mu_2)} {S_{xy} \sqrt {1/n_1 + 1/n_2}} \sim t(n_1+n_2-2)
$$

证明如下:

在满足方差相等,即$\sigma_1^2=\sigma_2^2 = \sigma^2$ 的情况下,由下面讲的中央极限定理:
$$
\overline X \sim N(\mu_1, \sigma^2/n_1); \quad \overline Y \sim N(\mu_2, \sigma^2/n_2)
$$
又因为均值 (一定要学会把均值是为随机变量的思想)独立,因此:
$$
\overline X – \overline Y \sim N \big (\mu_1 – \mu_2, \sigma^2 (\cfrac {1}{n_1} + \cfrac {1}{n_2}) \big )
$$
即:
$$
\cfrac {\overline X – \overline Y – (\mu_1 – \mu_2)} {\sigma \sqrt {\cfrac {1}{n_1} + \cfrac {1}{n_2}}} \sim N( 0, 1)
$$
同时,根据下面讲的样本方差的分布,可知
$$
(n_1-1)S_x^2/\sigma^2 \sim \chi^2(n_1-1); \quad (n_2-1)S_y^2/\sigma^2 \sim \chi^2(n_2-1)
$$
于是:
$$
\cfrac {(n_1-1)S_x^2 + (n_2-1)S_y^2} {\sigma^2} \sim \chi^2(n_1+n_2-2)
$$
根据 t 分布构造的定义,有:
$$
\cfrac {\cfrac {\overline X – \overline Y – (\mu_1 – \mu_2)} {\sigma \sqrt {\cfrac {1}{n_1} + \cfrac {1}{n_2}}} } { \sqrt {\cfrac {(n_1-1)S_x^2 + (n_2-1)S_y^2} {\sigma^2 (n_1+n_2-2)} }} \sim t(n_1+n_2-2)
$$
即:
$$
\cfrac {(\overline X – \overline Y) – (\mu_1 – \mu_2)} {S_{xy} \sqrt {1/n_1 + 1/n_2}} \sim t(n_1+n_2-2)
$$

1.1.3 F 分布

假设随机变量 $Y$ 与 $Z$ 相互独立,且 $Y$ 与 $Z$ 分别服从自由度为 $m$ 和 $n$ 的 $\chi^2$ 分布,则
$$
X = \cfrac {Y/m} {Z/n}
$$
服从第一自由度为 $m$ ,第二自由度为 $n$ 的 $F$ 分布,记为 $F(m, n)$

性质:

如果随机变量 $X \sim t(n)$ ,则 $X^2 \sim F(1, n)$

1.2 中心极限定理

从均值为$\mu$ ,方差为$\sigma^2$ 的总体中抽取样本量为$n$的样本,当$n$足够大时,样本均值$\overline X$ 近似服从均值为 $\mu$ ,方差为$\sigma^2/n$的正态分布,无需考虑总体分布, 即
$$
\overline X \sim N(\mu, \sigma^2/n)
$$
大样本趋于正态分布的过程

$n$多大是“足够大”?

在中心极限定理的三种形式中,均要求n“足够大”,均值的理论抽样分布近似服从正态分布。对“足够大”不存在绝对的统一规则。有两种情形:

1、如果已知总体是正态总体(或接近正态),所需的样本容量n则比较小,$n=25$或$n=20$的样本即足够大,可以使用中心极限定理。

2、对任何类型的总体分布,通常可接受的规则是:如果$n \ge 30$,即认为样本容量足够大,可使用中心极限定理。

所以,$30$常作为大样本统计和小样本统计的分界线。如果$n \ge 30$,则可以使用中心极限定理要求的大样本方法,如果$n \lt 30$,则使用小样本方法。

1.3 计数变量的样本估计

总体中喜好某个产品的的比例为$p$

如果从总体中随机抽取$n$个个体进行调查时,喜好该产品的人数为$X$

那么样本比例为 $\hat p \sim N(p, {p(1-p) \over n})$,
即$\hat p$ 服从均值为$p$, 方差为 $ {p(1-p) \over n}$ 的正态分布

1.4 两个样本均值之差的分布

假设 $\overline X_1$ 是独立地抽自总体 $X1 \sim N(\mu_1, \sigma_1^2)$ 的一个容量为 $n_1$ 的样本均值,$\overline X_2$ 是独立地抽自总体 $X2 \sim N(\mu_2, \sigma_2^2)$ 的一个容量为 $n_2$ 的样本均值,则
$$
E(\overline X_1 – \overline X_2) = E(\overline X_1) -E( \overline X_2) = \mu_1 – \mu_2
$$

$$
D(\overline X_1 – \overline X_2) = D(\overline X_1) + D( \overline X_2) = \frac {\sigma_1^2}{n_1} + \frac {\sigma_2^2}{n_2}
$$

如果两个总体均为正态分布,则$\overline X_1 – \overline X_2 ​$也是正态分布

当 $n_1$ 和 $n_2$ 比较大时,一般要求 $n_1 \ge 30$ , $n_2 \ge 30$, 则$\overline X_1 – \overline X_2 $的抽样分布不管总体分布如何均可用正态分布来近似。

1.5 样本方差

1.5.1 样本方差分布的定义

设 $X_1, X_2, … , X_n$ 为来自正态分布的样本,可以推导出如下结果:

设总体分布为 $N(\mu, \sigma^2)$ 的正态分布,则样本方差 $S^2$ 的分布为:
$$
(n-1)S^2/\sigma^2 \sim \chi^2(n-1)
$$

证明:
$$
(n-1)S^2/\sigma^2 = \sum_{i=1}^n {(x_i – \overline x)^2 / \sigma^2} = \sum_{i=1}^n { (\cfrac {x_i – \overline x} {\sigma})^2}
$$
好吧,这里卡住了,以后再证。

1.5.2 两个样本方差比的分布

方差比

2. 卡方检验

卡方检验基本思想是检查实际结果与期望结果之间何时存在显著差别:

  • 检验拟合优度,也就是检验一组给定的数据与指定分布的吻合程度
  • 检验两个变量的独立性

参考这篇文章 显著性检验[6]–卡方检验法 (chi-square test)

2.1 检测拟合优度

一般设原假设为 $H_0$:观察频数与期望频数无差异,或者说样本分布不符合我们的假设分布,样本分布和我们的假设分布是独立的

$\chi^2$的计算公式为:
$$
\chi^2 = \sum_{i=1}^n \frac {(A – T)^2} {T}
$$
其中,$A$为实际值,$T$为理论值。

$\chi^2$用于衡量实际值与理论值的差异程度(也就是卡方检验的核心思想),包含了以下两个信息:

  • 实际值与理论值偏差的绝对大小(由于平方的存在,差异是被放大的)
  • 差异程度与理论值的相对大小

拟合性检验自由度的确定与两个因素有关:

  • 分类的项数,
  • 在计算理论次数时所用统计量或约束条件的个数

这两者之即为自由度。一般情况下,计算理论次数时只用到“总数”这一统计量,所以自由度一般是分类的项数减1。但在对连续数据分布的合度检验中,常常会用数据个数、平均数、标准差等统计量来计算理论次数,所以此时的自由度应从总分类项中减去更多的个数。

用卡方分布进行的检验为单尾检验,右尾被作为拒绝域。通过查看检验统计量(即卡方)是否位于右尾的拒绝域以内,就可以判定根据期望分布得出结果的可能性。检测统计值数值$\chi^2$越大,观察频数和期望频数之间的差异越大,我们更有可能会拒绝原假设

这里不得不提交通运输学课的一道习题 (法语):

En vue d’un contrôle sur le respect des nouvelles réglementations, on réalise 400 mesures de la distance inter-véhiculaire (DIV) à l’intérieur d’un tunnel. La répartition des distances obtenues (en m/véh) est donnée dans le tableau suivant :

DIV (en m/véh) 20-30 30-40 40-50 50-60 60-70 70-80 80-90 90-100
Effectifs $m_i$ 21 72 66 38 51 56 64 32

我们的理论分布是 loi uniforme, on calcule les probabilités théoriques $p_i$ pour les DIV de se situer dans les intervalles [20-30], …,[90-100] et déduit les effectifs théoriques correspondants, 根据期望和方差可以得到理论分布的参数

DIV (en m/véh) 20-30 30-40 40-50 50-60 60-70 70-80 80-90 90-100
Effectifs $m_i$ 21 72 66 38 51 56 64 32
$p_i$ 0,087 0,136 0,136 0,136 0,136 0,136 0,136 0,0938
$n_i^*$ 34,8 54,4 54,4 54,4 54,4 54,4 54,4 37,5

计算
$$
\chi^2 = \sum_{i=1}^8 \frac {(m_i – n_i^\ast)^2} {n_i^\ast} = 20,9
$$
自由度: $8-1-2=5$ (car 2 paramètres ont été estimés)

Au seuil d’erreur de 5%, la valeur du seuil critique vaut $\chi^2$(critique) =11,07.

On a : $\chi^2$ > $\chi^2$(critique). Les mesures de DIV conduisent donc à rejeter un ajustement selon une loi de densité uniform

2.2 检测两个变量的独立性

卡方检验还可以用于检验两个或两个以上因素(各有两项或以上的分类)之间是否相互影响的问题,这种检验称为独立性检验。

一般设原假设为 $H_0$:两个变量相互独立不相关。

我们检测实际值(也可以叫做观察值)与理论值(这个理论值是指“如果两者确实独立”的情况下应该有的值)的偏差程度,如果偏差足够小,我们就认为误差是很自然的样本误差,是测量手段不够精确导致或者偶然发生的,两者确确实实是独立的,此时就接受原假设;如果偏差大到一定程度,使得这样的误差不太可能是偶然产生或者测量不精确所致,我们就认为两者实际上是相关的,即否定原假设,而接受备择假设。

举个网络上的例子,假设我们有一堆新闻标题,需要判断标题中包含某个词(比如吴亦凡)是否与该条新闻的类别归属(比如娱乐)是否有关,我们只需要简单统计就可以获得这样的一个四格表:

组别 属于 娱乐 不属于 娱乐 合计
不包含 吴亦凡 19 24 43
包含 吴亦凡 34 10 44
合计 53 34 87

标准的四格表$\chi^2$值可以用以下方式进行计算:
$$
\chi^2 = \frac {N \ast (AD−BC)^2} { (A+B)(C+D)(A+C)(B+D)}
$$
其中, $N=A+B+C+D$

理念就是假设独立获得的理论值和实际值的差异性比较

自由度的概念:自由度v=(行数-1)*(列数-1)。

证明: 由于在计算理论次数时,用了按每个因素分类的小计和(行数和列数分别记为R个和 C 个),样本总和为 N ,而总和又可由按每个因素分类的小计和计算得来,因此若从总分类个数R×C中减去 R+C,则将总和重复减去了,因此要补 1 个自由度回来,所以最终独立性检验的自由度表示为:自由度v=(行数-1)*(列数-1)

我们计算得到 $\chi^2 = 10.00$ ,取$p = 0.05$ 对应 $\chi^2(1) = 3.84$ ,由于 $10.00 \gt 3.84$ , 我们拒绝原假设,两个变量非常相关

3. t检验 — student’s test

用于样本含量较小 (比如 $n \lt 30$), 总体标准差$\sigma$ 未知的正态分布的平均数估计,是否可以由样本平均数推断总体平均数。

注意: 如果方差已知或者方差未知但样本数足够大,即样本数大于 $30$ ,我们用样本标准差$s$代替$\sigma$,此时用 z 检验

检验一群来自常态分配母体的独立样本之期望值是否为某一实数,或者两群来自常态分配母体的独立样本之期望值的差是否为某一实数

应用:

  • 单样本检验: 检验一个正态分布的总体的均值是否在满足零假设的值之内,例如检验一群军校男生的身高的平均是否符合全国标准的170公分界线。
  • 双样本检验: 其零假设为两个正态分布的总体的均值之差为某实数,例如检验二群人的身高之平均是否相等。这一检验通常被称为学生t检验。但更为严格地说,只有两个总体的方差是相等的情况下,才称为学生t检验;否则,有时被称为Welch检验。以上谈到的检验一般被称作“未配对”或“独立样本”t检验,我们特别是在两个被检验的样本没有重叠部分时用到这种检验方式。
  • “配对”或者“重复测量”t检验:检验同一统计量的两次测量值之间的差异是否为零。举例来说,我们测量一位病人接受治疗前和治疗后的肿瘤尺寸大小。如果治疗是有效的,我们可以推定多数病人接受治疗后,肿瘤尺寸应该是变小了。
  • 检验一条回归线的斜率是否显著不为零。

注: 零假设就是 null hypothesis ($H_0$),零假设的内容一般是希望证明为错误的假设,或者是需要着重考虑的假设,可以认为零假设基本是不靠谱的,比如两变量独立,期望等于某个值,等等

假设 $X$ 呈正态分布的独立的随机变量(随机变量的期望值为 $\mu$, 方差为 $\sigma^2$但未知)

$\overline X_n = (X_1 + \cdots + X_n)/n$ 为样本均值

$S_n^2 = \cfrac {1}{n-1} \sum_{i=1}^{n} (X_i – \overline X_n)^2$ 为样本方差

$$
T = \frac { \overline X_n – \mu}{ S_n/ \sqrt{n}} \sim t(n-1)
$$
证明:
$$
\overline X \sim N(\mu, \sigma^2/n) \Rightarrow \frac {\overline X – \mu}{\sigma / \sqrt{n}} \sim N(0, 1)
$$

$$
(n-1)S^2/\sigma^2 \sim \chi^2(n-1)
$$

$$
\cfrac{ \cfrac {\overline X – \mu}{\sigma / \sqrt{n}} }{ \sqrt{\cfrac { (n-1)S^2} {\sigma^2}/(n-1)} } = \cfrac {\overline X – \mu} { \sqrt{S^2/n}}\sim t(n-1)
$$

3.1 单样本t检验

检验一群常态分配独立样本 $x_i$ 的期望值 $\mu$ 为$\mu_0$
$$
t = \frac { \overline x – \mu_0}{ s/ \sqrt{n}}
$$
其中$x_1$ 为样本平均数,$s = \sqrt { \cfrac {\sum_{i=1}^{n}(x_i – \overline x)^2}{n-1}}$ 为样本标准偏差,

零假说: $\mu=\mu_0$ 为真的条件下服从自由度为 (n-1)的 t分布

3.2 配对样本t检验

配置样本t检验将对象从常态分配独立样本改为两群配对样本的观测值之差

即对 $d_i = x_{1i} – x_{2i}$ 的均值 $\overline d$ 进行零假设

3.3 独立双样本t检验

对两群独立样本$x_{1i}$和 $x_{2i}$ 的均值差值 $\overline X_1 – \overline X_2$ 进行零假设,有如下2种情况:

  • 取样总体的方差相等
  • 取样总体的方差不等

注: 根据前面 t 分布讲的性质,明显成立, 第二种情况其实严格来讲不是 t 检验

3.3.1 样本数不等但方差相等

在 $H_0: \mu_1 = \mu_2$ 假设下,
$$
t = \cfrac {\overline x_1 – \overline x_2} { \sqrt {s_p^2 *(1/n_1 +1 /n_2)}}
$$

其中 $\overline x_1​$ 和 $\overline x_2​$ 是两样本的各自的平均数

$s_p^2 = (\sum_{i=1}^{n_1} (x_{1i} – \overline x_1)^2 + \sum_{i=1}^{n_2} (x_{2i} – \overline x_2)^2 )/(n_1 + n_2 -2)$ 是样本的共同方差

t 服从自由度为 $n_1 + n_2 -2$ 的 t 分布

3.3.2 样本数及方差都不等

$$
t = \cfrac {(\overline x_1 – \overline x_2) – (\mu_1 – \mu_2)} { \sqrt {s_1^2/n_1 + s_2^2/n_2}}
$$

其中 $\overline x_1$ 和 $\overline x_2$ 是两样本的各自的平均数

$s_1^2 = \sum_{i=1}^n (x_{1i} – \overline x_1)^2 /(n_1 -1)$ 及 $s_2^2 = \sum_{i=1}^n (x_{2i} – \overline x_2)^2 /(n_2 -1)$ 分别是两样本的各自方差

t服从自由度为
$$
df = \cfrac {(s_1^2/n_1 + s_2^2/n_2)^2}{ (s_1^2/n_1)^2/(n_1-1) + (s_2^2/n_2)^2/(n_2-1)}
$$
的t分布,这种方法又称Welch 检验

3.4 多元线性回归斜率检验

线性回归模型:
$$
y_i = \alpha + \beta x_i + \epsilon_i
$$
注意回归模型,不能把 $x$ 是为随机变量,而将 $y$ 和 $\epsilon$ 视为随机变量,且 $\epsilon \sim N(0, \sigma^2)$ $\alpha$ 和 $\beta$ 是未知系数,

如果利用最小二乘法获得 $\hat \alpha$ 和 $\hat\beta$ , $SE_{\hat \alpha}$ 和 $SE_{\hat \beta}$ 是标准误差,则
$$
t = \cfrac {\hat \beta – \beta_0} {SE_{\hat \beta}} \sim t(n-2)
$$
其中
$$
SE_{\hat \beta} = \cfrac {\sqrt {\frac {1}{n-2} \sum_{i=1}^n (y_i – \hat y_i)^2}} { \sqrt {\sum_{i=1}^n (x_i – \overline x)^2}}
$$

4. Z 检验

还记得前面说过吗,

如果方差已知或者方差未知但样本数足够大,即样本数大于 $30$ ,我们用样本标准差$s$代替$\sigma$,此时用 z 检验。

many statistical tests can be conveniently performed as approximate Z-tests if the sample size is large or the population variance is known. If the population variance is unknown (and therefore has to be estimated from the sample itself) and the sample size is not large (n < 30), the Student’s t-test may be more appropriate

上面引用自维基百科,显然 t 检验只有在方差未知

t 检验用 t分布, z 检验则用正态分布

4.1 单样本

  • 如果标准差已知, 则
    $$
    z = \cfrac {\overline X – \mu} {\sigma / \sqrt{n}} \sim N(0, 1)
    $$

  • 如果标准差未知,那么当样本数大于 30 时,我们可以将样本均值的分布是为正态分布,则
    $$
    z = \cfrac {\overline X – \mu} {S / \sqrt{n}} \sim N(0, 1)
    $$

4.2 两独立样本

  • $\sigma$ 已知,
    $$
    z = \cfrac {(\overline X_1 – \overline X_2)- (\mu_1 – \mu_2)} {\sigma_{\overline X_1 – \overline X_2} }, \quad \sigma_{\overline X_1 – \overline X_2} = \sqrt {\sigma^2_1/n_1 + \sigma^2_2/n_2}
    $$

  • $\sigma$ 未知大样本
    $$
    z = \cfrac {(\overline X_1 – \overline X_2)- (\mu_1 – \mu_2)} {S_{\overline X_1 – \overline X_2} }, \quad S_{\overline X_1 – \overline X_2} = \sqrt {S^2_1/n_1 + S^2_2/n_2}
    $$

5. F检验

用途:

  • 方差齐次检验,用于 t 检验之前判断两组样本的方差是否相等
  • 多元线性回归模型的整体显著性检验

5.1 方差齐次检验

如果有两组样本 $x_{1,i}, , i \in { 1, 2, …, n_2}$ 和 $x_{2,i}, i \in { 1, 2, …, n_2}$ 分别取自两个高斯分布,
$$
X_1 \sim N(\mu_1, \sigma^2_1); \quad X_2 \sim N(\mu_2, \sigma^2_2)
$$
在做 $t$ 检验之前,我们需要进行 $F$ 检验,判断两个分布的方差是否相等,即 $\sigma^2_1 = \sigma^2_2$ 是否成立,很自然,我们做出如下假设检验:
$$
\begin{cases}
H_0:& \sigma^2_1 = \sigma^2_2 \\
H_1, &\sigma^2_1 \neq \sigma^2_2
\end{cases}
$$
还记得前面 [1.5.2小结](#### 1.5.2 两个样本方差比的分布) 讲的结论吗? 我们这里直接使用结论:
$$
F = \cfrac {\frac {s_1^2}{\sigma^2_1}} {\frac {s_2^2}{\sigma^2_2}} \sim F(n_1-1, n_2-1)
$$
如果 $H_0 (\sigma^2_1 = \sigma^2_2)$ 假设成立,则
$$
F = \cfrac {s_1^2} {s_2^2}
$$
这里 $s_1^2$ 和 $s_2^2$ 均为无偏的样本方差

5.2 多元线性回归模型的整体显著性检验

多元线性回归如下:
$$
\hat y = \pmb { {\hat \beta}^T X} + \hat u
$$
总平方和 – SST (total sum of squares)
$$
SST = \sum_{i=1}^k {(y_i – \overline y)^2}
$$
回归平方和 – SSR (sum of squares due to regression)
$$
SSR = \sum_{i=1}^k {( \hat y_i – \overline y)^2}
$$
残差平方和 – SSE (sum of squares due to error)
$$
SSE = \sum_{i=1}^k {(y_i – \hat y_i)^2}
$$
可以证明: $SST = SSR + SSE​$

F 检验可以检验被解释变量 $y$ 与释变量 $x_1, x_2, … , x_k$ 是否存在回归关系,

零假设: $H_0: \beta_1 = \beta_2 = \cdots = \beta_k = 0$

备选假设: $H_1: \beta_i , i= 1, …, k$ 不全为 0

SST 的自由度: $n-1$ (因为: 一共由 n个样本,且平均数确定,即 $\sum_{i=0}^n { (\hat y_i – \overline y)} = 0$ )

SSR的自由度: $k$ (因为: 一共由 k 个解释变量)

SSE的自由度: $n-k-1$

因此,F检验为:
$$
F = \cfrac {MSR} {MSE} = \cfrac {SSR/k} {SSE/(n-k-1)}
$$
在 $H_0$ 成立条件下,有:
$$
F \sim F(k, n-k-1)
$$
假设检验水平为 $\alpha$, 则检验规则是:

  • $F \le F_\alpha (k, n-k -1)$ , 接收 $H_0$
  • $F \gt F_\alpha (k, n-k -1)$ , 拒绝 $H_0$

拒绝 $H_0$ 意味着肯定有解释变量与 $y$ 存在回归关系,应该进一步做 t 检验,确定模型中哪些是重要解释变量,哪些是非重要解释变量

发表评论

电子邮件地址不会被公开。 必填项已用*标注