6.6 显著性检验
由于显著性检验依赖于最小二乘估计的分布，在前述内容中已经说明最小二乘估计服从正态分布，因此该部分内容严重依赖于随机扰动项的正态性、同方差、无自相关假定。
同时，在显著性检验中涉及t检验和F检验，这就依赖如下条件
\[ \frac{SSE}{\sigma^2} \sim \chi^2(n-p-1) \tag{6.63} \]
证：
\[ \begin{aligned} \frac{SSE}{\sigma^2}&=\frac{e'e}{\sigma^2} \\ &=\frac{\varepsilon'(I-H)\varepsilon}{\sigma^2} \\ &=\frac{\varepsilon'}{\sigma}(I-H)\frac{\varepsilon}{\sigma} \end{aligned} \tag{6.64} \]
已知\(\varepsilon \sim N(0, \sigma^2I)\)，则\(\frac{\varepsilon}{\sigma} \sim N(0,I)\)。
由于式(6.64)为二次型，且矩阵\((I-H)\)为秩为\(n-p-1\)的对称幂等矩阵，故存在某种正交变换使得式(6.64)的二次型化为相互独立的变量平方和，也就是卡方分布，其中自由度就是矩阵\((I-H)\)的秩。 同时，根据式(6.62)可知\(\hat \beta\)与\(SSE/\sigma^2\)独立。
6.6.1 区间估计
6.6.1.1 一元场合
根据式(6.45)已知\(\hat \beta_1\)的分布，由于\(\sigma^2\)未知，因此采用式(6.16)的\(\hat \sigma^2\)进行替代，进而构造t统计量进行区间估计。
\[ \begin{gather} t=\frac{\hat \beta_1-\beta_1}{\sqrt{\hat \sigma^2/L_{xx}}} \sim t(n-2) \\ P\begin{pmatrix}\begin{vmatrix}\frac{\hat \beta_1-\beta_1}{\sqrt{\hat \sigma^2/L_{xx}}}\end{vmatrix} < t_{\alpha/2}(n-2)\end{pmatrix}=1-\alpha \\ \begin{pmatrix} \hat \beta_1-t_{\alpha/2}(n-2) \sqrt{\frac{\hat \sigma^2}{L_{xx}}}, \; \hat \beta_1+t_{\alpha/2}(n-2) \sqrt{\frac{\hat \sigma^2}{L_{xx}}}\end{pmatrix} \end{gather} \tag{6.65} \]
我们在乎自变量是否能解释因变量的变动，因此\(\hat \beta_0\)的区间估计，包括下面的显著性检验都不对\(\hat \beta_0\)进行讨论
6.6.1.2 多元场合
回顾式(6.46)，可知\(\hat \beta_j \sim N(\beta_j, \sigma^2c_{jj})\)，其中\(c_{jj}\)表示\((X'X)^{-1}\)的第\(j+1\)个主对角线元素，故有
\[ \begin{gather} t=\frac{\hat \beta_j-\beta_j}{\sqrt{\hat \sigma^2c_{jj}}} \sim t(n-p-1) \\ P\begin{pmatrix}\begin{vmatrix}\frac{\hat \beta_j-\beta_j}{\sqrt{\hat \sigma^2c_{jj}}}\end{vmatrix} < t_{\alpha/2}(n-p-1)\end{pmatrix}=1-\alpha \\ \begin{pmatrix} \hat \beta_j-t_{\alpha/2}(n-p-1) \sqrt{\hat \sigma^2 c_{jj}}, \; \hat \beta_j+t_{\alpha/2}(n-p-1) \sqrt{\hat \sigma^2 c_{jj}}\end{pmatrix} \end{gather} \tag{6.66} \]
挖坑，回归系数向量的置信域（置信椭球）
6.6.2 t检验
6.6.2.1 一元场合
t检验用于检验单个回归系数是否显著。
对于假设检验问题
\[ H_0:\beta_1=0 \quad vs \quad H_1:\beta_1 \neq 0 \]
在原假设下有\(\hat \beta_1 \sim N(0, \sigma^2/L_{xx})\)，同样用式(6.16)的\(\hat \sigma^2\)替代\(\sigma^2\)，进而构造t统计量进行显著性检验。
\[ t=\frac{\hat \beta_1}{\sqrt{\hat \sigma^2/L_{xx}}} \tag{6.67} \]
在原假设下\(t \sim t(n-2)\)，当\(|t| \geq t_{\alpha/2}(n-2)\)时拒绝原假设。
6.6.2.2 多元场合
对于假设检验问题
\[ H_0:\beta_j=0 \quad vs \quad H_1:\beta_j \neq 0 \]
在原假设下有\(\hat \beta_j \sim N(0,\sigma^2 c_{jj})\)，故构造检验统计量
\[ t_j=\frac{\hat \beta_j}{\sqrt{\hat \sigma^2 c_{jj}}} \tag{6.68} \]
在原假设下\(t_j \sim t(n-p-1)\)，当\(|t_j| \geq t_{\alpha/2}(n-p-1)\)时拒绝原假设。
考虑更一般的假设检验问题
\[ H_0:c'\beta=0 \quad vs \quad H_1:c'\beta \neq 0 \]
有\(c'\hat \beta \sim N(c'\beta, \sigma^2c'(X'X)^{-1}c)\)，故
\[ t=\frac{c'\hat \beta}{\sqrt{\hat \sigma^2c'(X'X)^{-1}c}} \tag{6.69} \]
原假设下有\(t \sim t(n-p-1)\)，当\(|t| \geq t(n-p-1)\)时拒绝原假设
6.6.3 F检验
6.6.3.1 一元场合
F检验用于检验整个回归方程是否显著，也就是说检验因变量是否与至少一个自变量存在线性关系。特别的，一元场合只有一个自变量，因此F检验也就相当于检验\(\beta_1\)是否为0。
对于假设检验问题
\[ H_0:\beta_1=0 \quad vs \quad H_1:\beta_1 \neq 0 \]
构造F统计量
\[ F=\frac{SSR/1}{SSE/(n-2)} \tag{6.70} \]
其中\(SST=\sum_{i=1}^n(y_i-\bar y)^2, \; SSR=\sum_{i=1}^n(\hat y_i -\bar y)^2, \; SSE=\sum_{i=1}^n(y_i-\hat y_i)^2\)。
在原假设下\(F \sim F(1,n-2)\)，当\(F \geq F_\alpha(1,n-2)\)时，拒绝原假设。
注意到，在一元线性回归中，F统计量与t统计量有如下关系式
\[ t^2=\begin{pmatrix}\frac{\hat \beta_1}{\sqrt{\hat \sigma^2/L_{xx}}}\end{pmatrix}^2=\frac{\hat \beta_1^2L_{xx}}{SSE/(n-2))}=\frac{SSR}{SSE/(n-2)}=F \tag{6.71} \]
其中
\[ \begin{aligned} SSR&=\sum_{i=1}^n (\hat y_i - \bar y)^2 \\ &= \sum_{i=1}^n (\hat \beta_0 + \hat \beta_1x_i-\bar y)^2 \\ &= \sum_{i=1}^n (\bar y - \hat \beta_1 \bar x + \hat \beta_1x_i-\bar y)^2 \\ &= \sum_{i=1}^n \hat \beta_1^2(x_i-\bar x)^2 \\ &= \hat \beta_1^2 L_{xx} \end{aligned} \tag{6.72} \]
| 平方和分解式 |
| \[ \begin{aligned} SST&=\sum_{i=1}^n(y_i-\bar y)^2 \\ &= \sum_{i=1}^n(y_i-\hat y_i+\hat y_i-\bar y)^2 \\ &=\sum_{i=1}^n(\hat y_i - \bar y)^ + \sum_{i=1}^n (y_i-\hat y_i)^2 + 2\sum_{i=1}^n(y_i-\hat y_i)(\hat y_i - \bar y) \\ &= SSR+SSE+2\sum_{i=1}^n(y_i-\hat y_i)\hat y_i - 2\bar y \sum_{i=1}^n (y_i-\hat y_i) \\ &= SSR+SSE+2\sum_{i=1}^n e_i(\hat \beta_0+\hat \beta_1x_i)-2\bar y \sum_{i=1}^n e_i \\ &= SSR+SSE +2\hat \beta_0 \sum_{i=1}^n e_i+2\hat \beta_1 \sum_{i=1}^n e_ix_i \\ &= SSR+SSE \end{aligned} \tag{6.73} \] |
| 注意式(6.12)表明\(\sum_{i=1}^n e_i=0, \; \sum_{i=1}^n e_ix_i=0\)。 |
| 关于式(6.70)的原理，可参考1999年王松桂《线性统计模型：线性回归与方差分析》中的定理4.1.1，该定理包括 |
| (a) \(RSS/\sigma^2 \sim \chi^2_{n-p}\) |
| (b) 若约束条件\(A\beta=b\)成立，则\((RSS_H-RSS/\sigma^2) \sim \chi^2_m\) |
| (c) \(RSS\)与\(RSS_H-RSS\)相互独立 |
| (d) 当约束条件\(A\beta=b\)成立，则 |
| \[ F_H = \frac{(RSS_H-RSS)/m}{RSS/(n-p)} \sim F_{m,n-p} \] |
| 其中\(RSS_H\)表示受约束的最小二乘估计对应的残差平方和。 |
6.6.3.2 多元场合
整个回归方程的显著性检验同样采用F检验进行。
对于假设检验问题
\[ H_0: \beta_1=...=\beta_p=0 \quad vs \quad H_1: \exists \beta_i \neq 0, \; i\in \{1,...,p\} \]
构造F统计量
\[ F=\frac{SSR/p}{SSE/(n-p-1)} \tag{6.74} \]
在原假设下，\(F\sim F(p,n-p-1)\)，当\(F \geq F_\alpha(p,n-p-1)\)时即可拒绝原假设。
下面对F检验进行推广。
考虑部分回归系数的显著性检验问题，不妨令\(\beta_2\)为\(\beta\)中假设系数为0的那部分系数，对应的自变量有\(p^*\)个，记为\(X_2\)。剩余的系数和自变量个数为\(\beta_1\)和\(p-p^*\)个，自变量记为\(X_1\)。
更一般的线性假设问题及证明可参考1999年王松桂《线性统计模型：线性回归与方差分析》中的4.1节，其中的线性假设为\(A\beta=b\)
对于假设检验问题
\[ H_0:\beta_2=0 \quad vs \quad H_1:\beta_2 \neq 0 \]
对于同一样本，无约束回归与有约束回归对应的\(SST\)都是一致的。而在约束条件\(\beta_2=0\)下，对应的残差平方和\(SSE^*\)必定大于等于无约束条件下的残差平方和\(SSE\)，即\(SSE^* \geq SSE\)。注意到有\(SSR-SSR^*=SSE^*-SSE\)，结合式(6.63)，在原假设下有
\[ F=\frac{(SSE^*-SSE)/(p-p^*)}{SSE/(n-p-1)} \sim F(p-p^*,n-p-1) \tag{6.75} \]
\(SSE^{\ast} / \sigma^2 \sim \chi^2(n-p^{\ast}-1)\)
\(SSE/\sigma^2 \sim \chi^2(n-p-1)\)
\((SSE^\ast-SSE) / \sigma^2 \sim \chi^2(p-p^\ast)\)
因此，该检验统计量通过度量\(SSE^*-SSE\)的差异大小来检验约束条件是否显著存在。若约束条件真的存在，则\(SSE^*-SSE\)之间的差异自然就小；若约束条件不存在，则\(SSE^*-SSE\)之间的差异自然就大。
多元场合的平方和分解式的表达
\[ \begin{gather} SST=\sum_{i=1}^n(y_i-\bar y)^2=\sum_{i=1}^n [(1-\frac{1}{n})y_i -\frac{1}{n}\sum_{j \neq i}y_j]^2=Y'(I-\frac{1}{n}1_n1_n')Y \\ SSE=\sum_{i=1}^n(y_i-\hat y_i)^2=Y'(I-H)Y \\ SSR=SST-SSE=Y'(H-\frac{1}{n}1_n1_n')Y \end{gather} \tag{6.76} \]
其中\(1_n\)表示长度为n且元素均为1的向量。
6.6.4 偏F检验
在多元场合中，根据式(6.75)的启示，可以假设某一自变量对应的回归系数为0，根据约束前后残差平方和的差异大小来判断该自变量的重要性，称此检验为偏F检验。
假设检验问题为
\(H_0:\beta_j=0 \quad vs \quad H_1:\beta_j \neq 0\)
则检验统计量为
\[ F_j=\frac{(SSE_{(-j)}-SSE)/1}{SSE/(n-p-1)} \tag{6.77} \]
\(SSE_{(-j)}=Y'(I-H_0)Y, \; H_0=X_0(X_0'X_0)^{-1}X_0'\)，其中\(X_0\)表示剔除变量\(x_j\)后的设计矩阵
其中\(SSE_{(-i)}\)表示去掉第\(i\)个自变量后所拟合模型的残差平方和。在原假设下，由\(F_i \sim F(1,n-p-1)\)。当\(F \geq F_\alpha(1,n-p-1)\)时拒绝原假设。
若约束前后残差平方和变化过大，说明该自变量较为重要，此时\(F_i\)的值会较大，倾向于拒绝原假设。
\(\beta_j\)的t检验统计量与偏F检验统计量有如下关系
\[ t_j^2=F_j \tag{6.78} \]
证：挖坑
6.6.5 样本决定系数
样本决定系数定义如下
\[ R^2=\frac{SSR}{SST}=\frac{\sum_{i=1}^n (\hat y_i-\bar y)^2}{\sum_{i=1}^n (y_i-\bar y)^2} \tag{6.79} \]
也称拟合优度、判定系数、确定系数。
\(R^2\)反映了因变量的变异(SST)中可以由自变量解释(SSR)的比例.
关于\(R^2\)这里推荐阅读统计之都的文章《为什么我不是R方的粉丝》
6.6.5.1 一元场合
在一元线性回归中，\(R^2\)与样本相关系数具有如下关系
\[ R^2=\frac{SSR}{SST}=\frac{\hat \beta_1^2 L_{xx}}{L_{yy}}=\frac{L_{xy}^2}{L_{xx}L_{yy}}=r^2 \tag{6.80} \]
6.6.5.2 多元场合
在多元场合中，样本决定系数\(R^2\)与\(Cor(\hat Y, Y)\)具有如下关系
\[ \begin{aligned} Cor(\hat Y, Y)&=\frac{(\hat Y - 1_n\bar y)'(Y-1_n\bar y)}{\sqrt{SSR \times SST}} \\ &= \frac{(\hat Y - 1_n\bar y)'(\hat Y + e -1_n\bar y)}{\sqrt{SSR \times SST}} \\ &= \frac{(\hat Y - 1_n\bar y)'(\hat Y-1_n\bar y)+(\hat Y - 1_n\bar y)'e}{\sqrt{SSR \times SST}} \\ &= \frac{SSR+0}{\sqrt{SSR \times SST}} \\ &= \sqrt{\frac{SSR}{SST}} \\ &= \sqrt{R^2} \end{aligned} \tag{6.81} \]
\(e\)与\(\hat Y\)正交，且\(\sum_{i=1}^n e_i=0\)
定义样本复相关系数为
\[ R=\sqrt{R^2}=\sqrt{\frac{SSR}{SST}} \tag{6.82} \]
反映了因变量与一组自变量间的相关性
定义调整的\(R^2\)为
\[ R_{adj}^2 = 1-\frac{SSE/(n-p-1)}{SST/(n-1)}=1-\frac{n-1}{n-p-1}(1-R^2) \tag{6.82} \]
普通\(R^2\)会随着自变量的增加而单调增加，而调整的\(R^2\)相较于普通\(R^2\)多了对自变量个数的惩罚，因此可用于不同自变量个数下不同模型之间拟合效果的比较。