5.6 显著性检验

由于显著性检验依赖于最小二乘估计的分布，在前述内容中已经说明最小二乘估计服从正态分布，因此该部分内容严重依赖于随机扰动项的正态性、同方差、无自相关假定。

同时，在显著性检验中涉及t检验和F检验，这就依赖如下条件

$$\frac{SSE}{\sigma^2} \sim \chi^2(n-p-1) \tag{5.63}$$

证：

$$\begin{aligned} \frac{SSE}{\sigma^2}&=\frac{e'e}{\sigma^2} \\ &=\frac{\varepsilon'(I-H)\varepsilon}{\sigma^2} \\ &=\frac{\varepsilon'}{\sigma}(I-H)\frac{\varepsilon}{\sigma} \end{aligned} \tag{5.64}$$

已知$\varepsilon \sim N(0, \sigma^2I)$，则$\frac{\varepsilon}{\sigma} \sim N(0,I)$。

由于式(5.64)为二次型，且矩阵$(I-H)$为秩为$n-p-1$的对称幂等矩阵，故存在某种正交变换使得式(5.64)的二次型化为相互独立的变量平方和，也就是卡方分布，其中自由度就是矩阵$(I-H)$的秩。 同时，根据式(5.62)可知$\hat \beta$与$SSE/\sigma^2$独立。

5.6.1 区间估计

5.6.1.1 一元场合

根据式(5.45)已知$\hat \beta_1$的分布，由于$\sigma^2$未知，因此采用式(5.16)的$\hat \sigma^2$进行替代，进而构造t统计量进行区间估计。

$$\begin{gather} t=\frac{\hat \beta_1-\beta_1}{\sqrt{\hat \sigma^2/L_{xx}}} \sim t(n-2) \\ P\begin{pmatrix}\begin{vmatrix}\frac{\hat \beta_1-\beta_1}{\sqrt{\hat \sigma^2/L_{xx}}}\end{vmatrix} < t_{\alpha/2}(n-2)\end{pmatrix}=1-\alpha \\ \begin{pmatrix} \hat \beta_1-t_{\alpha/2}(n-2) \sqrt{\frac{\hat \sigma^2}{L_{xx}}}, \; \hat \beta_1+t_{\alpha/2}(n-2) \sqrt{\frac{\hat \sigma^2}{L_{xx}}}\end{pmatrix} \end{gather} \tag{5.65}$$

我们在乎自变量是否能解释因变量的变动，因此$\hat \beta_0$的区间估计，包括下面的显著性检验都不对$\hat \beta_0$进行讨论

5.6.1.2 多元场合

回顾式(5.46)，可知$\hat \beta_j \sim N(\beta_j, \sigma^2c_{jj})$，其中$c_{jj}$表示$(X'X)^{-1}$的第$j+1$个主对角线元素，故有

$$\begin{gather} t=\frac{\hat \beta_j-\beta_j}{\sqrt{\hat \sigma^2c_{jj}}} \sim t(n-p-1) \\ P\begin{pmatrix}\begin{vmatrix}\frac{\hat \beta_j-\beta_j}{\sqrt{\hat \sigma^2c_{jj}}}\end{vmatrix} < t_{\alpha/2}(n-p-1)\end{pmatrix}=1-\alpha \\ \begin{pmatrix} \hat \beta_j-t_{\alpha/2}(n-p-1) \sqrt{\hat \sigma^2 c_{jj}}, \; \hat \beta_j+t_{\alpha/2}(n-p-1) \sqrt{\hat \sigma^2 c_{jj}}\end{pmatrix} \end{gather} \tag{5.66}$$

挖坑，回归系数向量的置信域（置信椭球）

5.6.2 t检验

5.6.2.1 一元场合

t检验用于检验单个回归系数是否显著。

对于假设检验问题

$$H_0:\beta_1=0 \quad vs \quad H_1:\beta_1 \neq 0$$

在原假设下有$\hat \beta_1 \sim N(0, \sigma^2/L_{xx})$，同样用式(5.16)的$\hat \sigma^2$替代$\sigma^2$，进而构造t统计量进行显著性检验。

$$t=\frac{\hat \beta_1}{\sqrt{\hat \sigma^2/L_{xx}}} \tag{5.67}$$

在原假设下$t \sim t(n-2)$，当$|t| \geq t_{\alpha/2}(n-2)$时拒绝原假设。

5.6.2.2 多元场合

对于假设检验问题

$$H_0:\beta_j=0 \quad vs \quad H_1:\beta_j \neq 0$$

在原假设下有$\hat \beta_j \sim N(0,\sigma^2 c_{jj})$，故构造检验统计量

$$t_j=\frac{\hat \beta_j}{\sqrt{\hat \sigma^2 c_{jj}}} \tag{5.68}$$

在原假设下$t_j \sim t(n-p-1)$，当$|t_j| \geq t_{\alpha/2}(n-p-1)$时拒绝原假设。

考虑更一般的假设检验问题

$$H_0:c'\beta=0 \quad vs \quad H_1:c'\beta \neq 0$$

有$c'\hat \beta \sim N(c'\beta, \sigma^2c'(X'X)^{-1}c)$，故

$$t=\frac{c'\hat \beta}{\sqrt{\hat \sigma^2c'(X'X)^{-1}c}} \tag{5.69}$$

原假设下有$t \sim t(n-p-1)$，当$|t| \geq t(n-p-1)$时拒绝原假设

5.6.3 F检验

5.6.3.1 一元场合

F检验用于检验整个回归方程是否显著，也就是说检验因变量是否与至少一个自变量存在线性关系。特别的，一元场合只有一个自变量，因此F检验也就相当于检验$\beta_1$是否为0。

对于假设检验问题

$$H_0:\beta_1=0 \quad vs \quad H_1:\beta_1 \neq 0$$

构造F统计量

$$F=\frac{SSR/1}{SSE/(n-2)} \tag{5.70}$$

其中$SST=\sum_{i=1}^n(y_i-\bar y)^2, \; SSR=\sum_{i=1}^n(\hat y_i -\bar y)^2, \; SSE=\sum_{i=1}^n(y_i-\hat y_i)^2$。

在原假设下$F \sim F(1,n-2)$，当$F \geq F_\alpha(1,n-2)$时，拒绝原假设。

注意到，在一元线性回归中，F统计量与t统计量有如下关系式

$$t^2=\begin{pmatrix}\frac{\hat \beta_1}{\sqrt{\hat \sigma^2/L_{xx}}}\end{pmatrix}^2=\frac{\hat \beta_1^2L_{xx}}{SSE/(n-2))}=\frac{SSR}{SSE/(n-2)}=F \tag{5.71}$$

其中

$$\begin{aligned} SSR&=\sum_{i=1}^n (\hat y_i - \bar y)^2 \\ &= \sum_{i=1}^n (\hat \beta_0 + \hat \beta_1x_i-\bar y)^2 \\ &= \sum_{i=1}^n (\bar y - \hat \beta_1 \bar x + \hat \beta_1x_i-\bar y)^2 \\ &= \sum_{i=1}^n \hat \beta_1^2(x_i-\bar x)^2 \\ &= \hat \beta_1^2 L_{xx} \end{aligned} \tag{5.72}$$

平方和分解式

$$\begin{aligned} SST&=\sum_{i=1}^n(y_i-\bar y)^2 \\ &= \sum_{i=1}^n(y_i-\hat y_i+\hat y_i-\bar y)^2 \\ &=\sum_{i=1}^n(\hat y_i - \bar y)^ + \sum_{i=1}^n (y_i-\hat y_i)^2 + 2\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i - \bar y) \\ &= SSR+SSE+2\sum_{i=1}^n(y_i-\hat y_i)\hat y_i - 2\bar y \sum_{i=1}^n (y_i-\hat y_i) \\ &= SSR+SSE+2\sum_{i=1}^n e_i(\hat \beta_0+\hat \beta_1x_i)-2\bar y \sum_{i=1}^n e_i \\ &= SSR+SSE +2\hat \beta_0 \sum_{i=1}^n e_i+2\hat \beta_1 \sum_{i=1}^n e_ix_i \\ &= SSR+SSE \end{aligned} \tag{5.73}$$

注意式(5.12)表明$\sum_{i=1}^n e_i=0, \; \sum_{i=1}^n e_ix_i=0$。

关于式(5.70)的原理，可参考1999年王松桂《线性统计模型：线性回归与方差分析》中的定理4.1.1，该定理包括

(a) $RSS/\sigma^2 \sim \chi^2_{n-p}$

(b) 若约束条件$A\beta=b$成立，则$(RSS_H-RSS/\sigma^2) \sim \chi^2_m$

(c) $RSS$与$RSS_H-RSS$相互独立

(d) 当约束条件$A\beta=b$成立，则

$$F_H = \frac{(RSS_H-RSS)/m}{RSS/(n-p)} \sim F_{m,n-p}$$

其中$RSS_H$表示受约束的最小二乘估计对应的残差平方和。

5.6.3.2 多元场合

整个回归方程的显著性检验同样采用F检验进行。

对于假设检验问题

$$H_0: \beta_1=...=\beta_p=0 \quad vs \quad H_1: \exists \beta_i \neq 0, \; i\in \{1,...,p\}$$

构造F统计量

$$F=\frac{SSR/p}{SSE/(n-p-1)} \tag{5.74}$$

在原假设下，$F\sim F(p,n-p-1)$，当$F \geq F_\alpha(p,n-p-1)$时即可拒绝原假设。

下面对F检验进行推广。

考虑部分回归系数的显著性检验问题，不妨令$\beta_2$为$\beta$中假设系数为0的那部分系数，对应的自变量有$p^*$个，记为$X_2$。剩余的系数和自变量个数为$\beta_1$和$p-p^*$个，自变量记为$X_1$。

更一般的线性假设问题及证明可参考1999年王松桂《线性统计模型：线性回归与方差分析》中的4.1节，其中的线性假设为$A\beta=b$

对于假设检验问题

$$H_0:\beta_2=0 \quad vs \quad H_1:\beta_2 \neq 0$$

对于同一样本，无约束回归与有约束回归对应的$SST$都是一致的。而在约束条件$\beta_2=0$下，对应的残差平方和$SSE^*$必定大于等于无约束条件下的残差平方和$SSE$，即$SSE^* \geq SSE$。注意到有$SSR-SSR^*=SSE^*-SSE$，结合式(5.63)，在原假设下有

$$F=\frac{(SSE^*-SSE)/(p-p^*)}{SSE/(n-p-1)} \sim F(p-p^*,n-p-1) \tag{5.75}$$

$SSE^{\ast} / \sigma^2 \sim \chi^2(n-p^{\ast}-1)$

$SSE/\sigma^2 \sim \chi^2(n-p-1)$

$(SSE^\ast-SSE) / \sigma^2 \sim \chi^2(p-p^\ast)$

因此，该检验统计量通过度量$SSE^*-SSE$的差异大小来检验约束条件是否显著存在。若约束条件真的存在，则$SSE^*-SSE$之间的差异自然就小；若约束条件不存在，则$SSE^*-SSE$之间的差异自然就大。

---

多元场合的平方和分解式的表达

$$\begin{gather} SST=\sum_{i=1}^n(y_i-\bar y)^2=\sum_{i=1}^n [(1-\frac{1}{n})y_i -\frac{1}{n}\sum_{j \neq i}y_j]^2=Y'(I-\frac{1}{n}1_n1_n')Y \\ SSE=\sum_{i=1}^n(y_i-\hat y_i)^2=Y'(I-H)Y \\ SSR=SST-SSE=Y'(H-\frac{1}{n}1_n1_n')Y \end{gather} \tag{5.76}$$

其中$1_n$表示长度为n且元素均为1的向量。

---

5.6.4 偏F检验

在多元场合中，根据式(5.75)的启示，可以假设某一自变量对应的回归系数为0，根据约束前后残差平方和的差异大小来判断该自变量的重要性，称此检验为偏F检验。

假设检验问题为

$H_0:\beta_j=0 \quad vs \quad H_1:\beta_j \neq 0$

则检验统计量为

$$F_j=\frac{(SSE_{(-j)}-SSE)/1}{SSE/(n-p-1)} \tag{5.77}$$

$SSE_{(-j)}=Y'(I-H_0)Y, \; H_0=X_0(X_0'X_0)^{-1}X_0'$，其中$X_0$表示剔除变量$x_j$后的设计矩阵

其中$SSE_{(-i)}$表示去掉第$i$个自变量后所拟合模型的残差平方和。在原假设下，由$F_i \sim F(1,n-p-1)$。当$F \geq F_\alpha(1,n-p-1)$时拒绝原假设。

若约束前后残差平方和变化过大，说明该自变量较为重要，此时$F_i$的值会较大，倾向于拒绝原假设。

$\beta_j$的t检验统计量与偏F检验统计量有如下关系

$$t_j^2=F_j \tag{5.78}$$

证：挖坑

5.6.5 样本决定系数

样本决定系数定义如下

$$R^2=\frac{SSR}{SST}=\frac{\sum_{i=1}^n (\hat y_i-\bar y)^2}{\sum_{i=1}^n (y_i-\bar y)^2} \tag{5.79}$$

也称拟合优度、判定系数、确定系数。

$R^2$反映了因变量的变异(SST)中可以由自变量解释(SSR)的比例.

关于$R^2$这里推荐阅读统计之都的文章《为什么我不是R方的粉丝》

5.6.5.1 一元场合

在一元线性回归中，$R^2$与样本相关系数具有如下关系

$$R^2=\frac{SSR}{SST}=\frac{\hat \beta_1^2 L_{xx}}{L_{yy}}=\frac{L_{xy}^2}{L_{xx}L_{yy}}=r^2 \tag{5.80}$$

5.6.5.2 多元场合

在多元场合中，样本决定系数$R^2$与$Cor(\hat Y, Y)$具有如下关系

$$\begin{aligned} Cor(\hat Y, Y)&=\frac{(\hat Y - 1_n\bar y)'(Y-1_n\bar y)}{\sqrt{SSR \times SST}} \\ &= \frac{(\hat Y - 1_n\bar y)'(\hat Y + e -1_n\bar y)}{\sqrt{SSR \times SST}} \\ &= \frac{(\hat Y - 1_n\bar y)'(\hat Y-1_n\bar y)+(\hat Y - 1_n\bar y)'e}{\sqrt{SSR \times SST}} \\ &= \frac{SSR+0}{\sqrt{SSR \times SST}} \\ &= \sqrt{\frac{SSR}{SST}} \\ &= \sqrt{R^2} \end{aligned} \tag{5.81}$$

$e$与$\hat Y$正交，且$\sum_{i=1}^n e_i=0$

定义样本复相关系数为

$$R=\sqrt{R^2}=\sqrt{\frac{SSR}{SST}} \tag{5.82}$$

反映了因变量与一组自变量间的相关性

定义调整的$R^2$为

$$R_{adj}^2 = 1-\frac{SSE/(n-p-1)}{SST/(n-1)}=1-\frac{n-1}{n-p-1}(1-R^2) \tag{5.82}$$

普通$R^2$会随着自变量的增加而单调增加，而调整的$R^2$相较于普通$R^2$多了对自变量个数的惩罚，因此可用于不同自变量个数下不同模型之间拟合效果的比较。