第二章 简单线性回归第一节 概述一 两个变量之间的关系 让我们在给定一个变量的条件下， 研究另一个变量与给定变量的关系。 在给定变量条件下，变量 Y 与给定变量 X 的关系主要有两种关系： 一种是变量 Y 与变量 X 由方程 Y ? f ( X ) 所决定的确定性函数关系。 对于变量 X 的定义域中的任一给定值， 在变量 Y 的值域中都有一个唯一确 定的值与给定值相对
应。 这种关系是我们在数学中早已研究过的函数关系， 而且我们在宏观经济学和微观经济学中的研究的变量之间的关系在形式上 往往以函数关系的形式出现。 另一种关系是在变量 X 的值给定的条件下， 变量 Y 的值并不是完全确 定的，而是以某个值为中心的一个完整的概率分布，而这个中心与给定变 量 X 的关系则是完全确定的。我们称这种关系为随机性关系。 显然，这两种关系是全然不同的。为了明确这两种关系的区别我们通 过一个假想的例子来说明。假设我们在课堂上进行一系列实验以决定某种 玩具在不同价格的需求量。用 p t 表示该种玩具在时刻 t 的价格，q t 表示该 种玩具在时刻 t 的需求量. 首先，我们假设经过实验得到如下结果。pt qt25 20 15 10 51 3 5 7 9上述结果表示在价格为 25 的任何时刻，需求量都为 1，在价格为 20 的任何时刻，需求量都为 3，在价格为 15 的任何时刻，需求量都为 5，等 等。这些结果所表明的需求量与价格之间的关系就是确定性关系。这种关 系可用下列线性方程表示：q t ? 11 ? 0 . 4 p t15(2.1)其次，我们假设经过实验得到下列结果。 表 2.1pt qt? 0 实验中有 25% 的时刻 ? ?1 实验中有 5 0 % 的时刻 ? ? 2 实验中有 25% 的时刻 ?2 ? ?3 ? ?4 实验中有 25% 的时刻 实验中有 5 0 % 的时刻 实验中有 25% 的时刻2520??? 8 实验中有 25% 的时刻 ? ? 9 实验中有 5 0 % 的时刻 ? ?10 实验中有 25% 的时刻5上述结果表示在价格为 25 的时刻中，有 25%的需求量为 0，50%的需 求量为 1，25%的需求量为 2；在价格为 20 的时刻中，有 25%的需求量为 2，50%的需求量为 3，25%的需求量为 4；??；在价格为 5 的时刻中， 有 25%的需求量为 8，50%的需求量为 9，25%的需求量为 10。这些结果所 表明的需求量与价格之间的关系就是随机性关系。这种关系可用下列含随 机变量的方程表示：q t ? 11 ? 0 . 4 p t ? u t（2.2）其中 u t 是一个随机变量，它有如下概率分布：ut f (u t )-1 0 10.25 0.50 0.25 1称 u t 为随机扰动项，而 f ( u t ) 则是随机扰动项 u t 的概率密度函数。而对于16p t 的一个给定值， q t 也是一个随机变量，它的分布中心即数学期望是 E ( q t | p t ) ? 11 ? 0 . 4 p t 。上述两种实验结果所代表的两个变量间确定性关系和随机性关系可用 下图表示。qtqt10 8 6 4 2 0? ? ?1510 8 6 4?20?25pt2 0 5 10 15 20 25pt510图 2.1 确定性关系与随机性关系在宏观与微观经济学中，变量之间的关系都是以确定性关系的形式来 陈述的，但这并不意味着经济变量之间的关系确是如此。事实上，经济变 量之间的关系往往是随机性关系，但这些随机性关系往往可以分成两个部 分：一部分是非随机的部分如(2.2)式中的 11 ? 0 . 4 p t 就是 q t 的非随机部分 可称之为系统部分，而另一部分是均值为零的随机部分即随机扰动项 u t 。 宏观与微观经济学中之所以用形式上的确定性关系来陈述经济变量之间的 关系，是因为经济学家相信他们所陈述的经济变量中的相互关系的随机扰 动项部分满足一些较为良好的性质如其均值为零，方差较小等，以至于在 经济变量间相互关系中取决定性作用的是其中的系统性关系。那么事实究 竟为何？这就需要计量经济学来证实或证伪。 二 简单线性回归模型的基本假定 在计量经济学中，我们专门研究变量间的随机性关系。在非随机变量17X 一定的条件下，随机变量 Y 的系统性部分为 X 的线性函数，而其随机部 分是均值为零的随机扰动项，这样随机变量 Y 的系统性部分实际上就是随 机变量 Y 的在非随机变量 X 一定的条件下的数学期望即条件数学期望。 最 为简单的随机性关系是在两个变量之间的线性回归模型。当随机变量 Y 的 系统性部分或 Y 的条件数学期望是非随机变量 X 的线性函数， 并且其随机 扰动项部分满足下面将要陈述的经济假设时， 我们称这时的 Y 与 X 的关系模型为简单线性回归模型。 设随机变量 Y 与给定变量 X 2 之间的关系如下：Yi ? ? 1 ? ? 2 X2i? ui( i ? 1, 2 , ? , n )(2.3)其中 Y i 为当给定变量 X 2 取值 X2i时随机变量 Y 的可能值。 我们称 Y 或 Y i为应变量或被解释变量，给定变量 X 2 称为解释变量， ? 1 , ? 2 称为线性回 归模型(2.3)的回归系数(它们也是总体参数)， u i 当解释变量取值为 X 的随机扰动项。回归模型(2.3)满足如下经典假设： 假设 1 随机扰动项 u i 的数学期望(均值)为零。即E (u i ) ? 0 ( i ? 1, 2 , ? , n )2i时(2.4)假设 1 的意思是说当解释变量取值 X 于 ?1 ? ? 2 X 即E (Y | X2i2i时，应变量的值可能大于或小 相等的，2i，但平均来看，它还是与其系统部分 ? 1 ? ? 2 X2i) ? ?1 ? ? 2 X2i(2.4’)假设 2 随机扰动项 u i 的方差相等。即var( u i | X2i) ? E [u i ? E (u i ) | X2i] ? E (u i | X222i)??2( i ? 1, 2 , ? , n )(2.5)假设 2 的意思是说无论当解释变量 X 2 在其可行范围内取何值，随机 扰动项的方差都是相同的，或者更实际地说，对所有的观测随机扰动项的18方差都是相同的。我们把这个假设称为随机扰动项的同方差性假设。 假设 3 不同的扰动项(即当解释变量取不同值时的扰动项)之间不存 在相关关系。即cov( u i , u j | X2i,X2 j) )| X2 j 2i? E [( u i ? E ( u i | X ? E (u i | X ? 02i2i] E [( u j ? E ( u j | X2 j)| X2 j])( u j | X)(2.6)( i ? j i , j ? 1, 2 , ? , n .)假设 3 的意思是说不同观测点的扰动项之间不存在相关关系。往往称 之为不存在序列相关。 假设 4 随机扰动项 u i 和解释变量 X 为零，用数学式子可表示为cov( u i , X2i 2i不相关，即 u i 和 X2i的协方差) ? E (u i X2i)? 0( i ? 1, 2 , ? , n )(2.7)在 X 2 是非随机变量的情况下，(2.7)式是自动成立的，但为了一般起 见，即使 X 2 为随机变量，只要(2.7)式成立，那么对 X 2 为非随机变量情 况下的结论，可以直接推广到 X 2 为随机变量的情形。假设 4 是一个非常 重要的假设，它说明，随机变量 Y 中能够用 X 2 解释的部分完全从随机扰 动项中分离了出来，因而，在随机扰动项中不再包括与解释变量 X 2 有任 何相关的因素了。 假设 5 随机扰动项 u i 为服从正态分布的随机变量，即u i ~ N (0,? )2(2.8)在样本容量足够大时，由数理统计学中的中心极限定理，假设 5 是近 似成立的，此外，如果我们只是为为估计回归系数的值，假设 5 就是一个 不必要的假设。 上述 5 个假设是针对作为总体的简单线性回归模型(2.3)而言的。但是 在对实际经济变量的观测中，在解释变量的取值为某一个具体的值时或者19在解释变量的值控制在一个水平时，我们往往只能观测到应变量或者说解 释变量的一个或几个取值，而不可能观测到应变量的一个完整的分布，这 就是说，在解释变量给定时，我们只能观测到应变量的少量的样本值，这 就要求我们在理解经济变量的计量经济学模型时，有必要区别总体回归模 型与样本回归模型。 三 总体回归模型与样本回归模型对于给定的解释变量的值，应变量的条件均值是解释变量的函数，用 符号表示为：E (Y | X i ) ? f ( X i )(2.9)其中 f ( X i ) 表示解释变量 X i 的某个函数。方程 E (Y | X i ) ? f ( X i ) 称为 总体回归函数(PRF)或简称总体回归(PR)。它表明在给定 X i 下 Y 的条件分 布的(总体)均值与 X i 有函数关系。换句话说，它说出 Y 的均值或平均响应 是怎样地随 X 而变的。 对于简单线性回归模型而言函数 f ( X i ) 采取线性形式。即假定 PRF E (Y | X i ) 是 X i 的线性函数，其形式是： E (Y | X i ) ? ? 1 ? ? 2 X i 。但 为了在形式上与后文的多元线性回归模型相一致，所以对于简单线性回归 模型中的解释变量，我们用符号 X2i(i=1,2,?,n)表示，所以简单线性回归模型的总体回归函数(也称总体回归线)可以表示为E (Y | X2i) ? ?1 ? ? 2 X2i(2.4’)其中 ? 1 和 ? 2 为未知然而固定的参数，如前所述，称为回归系数(regression coefficients)； ? 1 和 ? 2 也分别称为截距和斜率系数。相应地，模型Yi ? ? 1 ? ? 2 X2i? ui( i ? 1, 2 , ? , n )(2.3)称为总体回归模型。 由于在给定解释变量的值的条件下，应变量所取的值，从总体上看，20其个数在一般是无穷大，即使从理论下看是有限个，但从实际上讲，我们 是不可能全部获得的， 尤其对经济变量， 在给定解释变量一个值的条件下， 应变量的值往往只能被研究者获得一个或少量几个值，所以作为经济变量 的应变量的真实条件均值是不可能确切知道的，从而总体参数 ? 1 和 ? 2 的 真实值是不可能确切知道的，我们所能做的工作就是根据有限个样本点的 值对总体参数进行估计，为了区别起见，我们表达总体参数的字母的上面? 打上符号^， 以表示相应参数的估计值， 如用 ? 1 表示总体参数 ? 1 的估计值，用 ?? 2 表示总体参数 ? 2 的估计值。这样应变量 Y i 的条件均值可用其估计值? ? ? Yi ? ? 1 ? ? 2 X2i(2.10)来估计，我们也称由(2.10)决定的值 Y?i 为 Y i 的预测值，而称(2.10)所表示 的方程为样本回归方程或样本回归函数或样本回归线。如果我们定义应变? 量 Y i 的样本观测值与其观测值 Y?i 的差为残差，并用符号 u i 来表示，即? ? ? ? u i ? Yi ? Yi ? Yi ? ( ? 1 ? ? 2 X2i)(2.11)那么，我们可得如下式子：? ? Yi ? ? 1 ? ? 2 X2i? ? ui(2.12)称(2.12)式为样本回归模型。计量经济学的首要任务之一就是要估计总体? 参数 ? 1 和 ? 2 的值，或者说，计算样本回归模型中的系数 ? 1 和 ?? 2 的值。为了使样本回归系数的值能够被计算出来， 我们还必须补充一条假设， 即 假设 6 解释变量 X 2 必须有足够的变异。 也就是说解释变量的不同观 测值的个数必须足够大，从而使我们能够用一定的方法计算出回归系数的 估计值。 显然假设 6 纯属于对样本性质的假设，它与前面的 5 条基本假设是不 同的，假设 1――假设 5 是属于总体范畴的。21第二节一 最小二乘估计简单线性回归模型的参数估计在简单线性样本回归模型中，使残差平方和最小的回归系数的估计称 为最小二乘估计(LSE 或 OLS)。即使?n? ui2?i ?1?n? 2 (Y i ? Y i ) ?i ?1? [Yi ?1ni? ? ? (?1 ? ? 2 X2i)]2(2.13)? 最小的 ? 1 和 ?? 2 。其中，在(2.13)中的各个符号的意义与第一节相同。下面推导最小二乘估计的表达式或计算公式。? ? ? 为求使(2.13)式最小的 ? 1 和 ?? 2 ，可将 ? u i 看成是 ? 1 和 ?? 2 的函数，2 i ?1 n? 则其关于 ? 1 和 ?? 2 的一阶偏导数必须为零，即? n 2 ? ??? ui n ? ? ? i ?1 ? ? 2 ? [Y i ? ( ? 1 ? ? 2 X ? ? ?? 1 i ?1 ? n 2 ?? ? u n ? ? i i ?1 ? ? ? ? 2 ? [Y i ? ( ? 1 ? ? 2 X ? ? ?? 2 i ?1 ?2i)] ? 0(2.14))] X ? 02i2i即? n ? ? ? ? [Y i ? ( ? 1 ? ? 2 X ? i ?1 ? n ? [Y ? ( ? ? ? X ? ? 1 2 ?? i ? i ?12i)] ? 0(2.15)2i)] X2i? 0化简，得22n ? n ? Y i ? n ??1 ? ?? 2 ( ? X 2 i ) ? ? i ?1 i ?1 ? n n n ? ? ? X 2iYi ? ? 1 (? X 2i ) ? ? 2 (? X ?? i ?1 i ?1 ? i ?1(2.16)2 2i)一般称方程组(2.16)中的每一个方程为最小二乘正规方程，而称方程 组(2.15)为最小二乘正规方程组。 方程组(2.15)在形式上也可以看成由残差与模型中的解释变量的乘积 和为零而得到，在这里可把原回归方程的截距项看成是仅取值 1 的解释变 量。1? ? ? X 1i u i ? 0 ? , ? ? ?? X 2i u i ? 0 ? X 1i ? 1(2.15’)解正规方程组(2.16)，得? ?2 ?(? Xn (? X 2iYi ) ? (? X n (? X22i)( ? Y i )2i2 2i) ? (? X)2(2.17)? ?1 ?2i)( ? Y i ) ? ( ? X 2 i Y i )( ? X n? X2 2i2i)? (? X) 2i2? ? Y ? ?2X(2.18)其中， X , Y 分别表示解释变量和应变量的样本均值。 用样本观测值的离差形式表示公式(2.17)将是很有用的。由于n? ( X2i? X )( Y i ? Y ) ? n ( ? X 2 i Y i ) ? ( ? X? X)22i)( ? Y i )(2.19) (2.20)n? ( X2i? n (? X2 2i) ? (? X2i)2所以? ?2 ?? (X ? ? (X2iX )( Y i ? Y )2i? X)2令 x 2 i ? X 2 i ? X , y i ? Y i ? Y ，则? ?2 ??x ?x2iyi2(2.21)2i1这条件规则可应用于多元线性回归系数的最小二乘估计。 23在后面的叙述中，如无特别声明，我们将用小写字母代表相应变量的离差 形式。 例 2.1 表 2.2 是某超市某种苹果的价格(元/千克)与每天销量在过去 12 天的记录，用 X 表示价格，Y 表示需求量(千克)，设在任意价格水平上 超市有满足任意需求的能力。那么，这 12 天的数据就是需求函数的表现。 若假设需求量平均来看是价格的线性函数。试估计该需求函数。 表 2.2 价格(元/千克) 10 9 8 7 7 7 7 6.5 6 6 5.5 5 解 归模型为Yi ? ? 1 ? ? 2 X i ? u i ( i ? 1, 2 , ? ,12 )销售量 55 70 90 100 90 105 80 110 125 115 130 130设需求量 Y i ( i ? 1, 2 , ? ,12 ) 关于价格 X i ( i ? 1, 2 , ? ,12 ) 的线性回根据表 2.2 的样本资料，计算得X ? 7 , Y ? 100 , ? x i y i ? ? 355 , ? x i2? 22 . 5所以参数 ? 2 的估计值为? ?2 ??xy ?xi ii2?? 355 22 . 5? ? 15 . 778参数 ? 1 的估计值为24? ? ? 1 ? Y ? ? 2 X ? 100 ? ( ? 15 . 778 ) ? 7 ? 210 . 44所以样本回归线为? Y i ? 210 . 44 ? 15 . 778 X i上式即为需求函数的线性估计式，据此，可计算出苹果在其样本平均价格 处的需求价格弹性为?XI?X? ( ? 15 . 778 ) ?7 100? ? 1 . 104 ，这表明：根据估计，在价格 X i ? 7 的需求是微富有弹性的。 二 最优线性无偏估计下面我们推导出简单线性回归模型 (2.3)的回归系数的最优线性无偏 估计(BLUE)。 设 ? 2 是回归方程的截距项系数 ? 2 的最优线性无偏估计量，则 1 ? 2 满足线性性要求。所谓线性性是指，估计量 ? 2 是应变量的样本 观测值 Y i ( i ? 1, 2 , ? , n ) 的线性函数，即存在确定性常数 a i ( i ? 1, 2 , ? , n ) 使?2 ?~~~~~?aYi ii(2.22)~2 ? 2 满足无偏性要求。所谓无偏性是指，估计量 ? 2 的数学期望与总 体参数 ? 2 的真值相等。即~ E (? 2 ) ? ? 2 ~(2.23)3 ? 2 满足最优线性无偏性要求。所谓最优线性无偏是指，在所有 ? 2的线性无偏估计量中， ? 2 的方差最小。 可见求 ? 2 最优线性无偏估计量，就是求出满足(2.22)式和(2.23)式的~ ~ ? 2 ，并且使方差 var( ? 2 ) 最小。 ~25对(2.22)式两边取数学期望得~ E (? 2 ) ??aiiE (Y i ) ??ai 2iiE (?1 ? ? 2 X2i? ui )? ? 1 (? a i ) ? ? 2 (? a i Xi i)??ai(2.24)iE (u i )根据线性回归模型的基本假设 1， E ( u i ) ? 0 ( i ? 1, 2 , ? , n ) ，所以(2.24) 式右边第三项为零。根据(2.23)式和(2.24)式， ? 2 是无偏的当且仅当如下 的(2.25) 式和(2.26)式同时成立。~?aii? 0 ?1(2.25) (2.26)?aiiX2i于是，求 ? 2 最优线性无偏估计量的问题也就是在约束条件(2.25) 式 和 (2.26) 式 下 求 ? 2 ， 使 方 差 v ar ( ? 2 ) 最 小 。 这 可 用 拉 格 朗 日 乘 数 法 (Lagrange multiplier method.)求解。 注意到~ var( ? 2 ) ? var( ?~ ~?aYii)2 i?a22 ivar( Y i ) ?2 i?a?2(2.27)???a(2.27)式中的第二个等号之所以成立，是因为线性回归模型的经典假设 3；而第三个等号成立是因为给定解释变量条件下应变量作为一个随机变量， 其方差取决于其随机部分即取决于随机扰动项的方差，由线性回归模型的 经典假设 2 知随机扰动项是同方差的且为 ? 。2故，求 ? 2 的最优线性无偏估计量的问题最终转化为如下的极值问题：min ?2?ai2 ist?ai? 026(? a i Xi2i) ?1 ? 0作拉格朗日函数H ??2?a2 i? ? 1 ( ? a i ) ? ? 2 [( ? a i X2i) ? 1]求 H 关于 a i ( i ? 1, 2 , ? , n ) 的一阶偏导数，并令其为零。即? ?H 2 ? 2 a i ? ? ? 1 ? ? 2 X 2 i ? 0 , i ? 1, 2 , ? , n . ? ?a ? i ? ?H ? ?? ai ? 0 ? ??1 ? ? ?H ? ? (? a i X 2i ) ? 1 ? 0 ? ? ?? 2(2.28)可从上述 n ? 2 个方程中求出 a i ( i ? 1, 2 , ? , n )ai ? 1 2?2(?1 ? ? 2 X2i), i ? 1, 2 , ? n .(2.29)将(2.29)式中的 n 个方程相加?ai?1 2?2(?1 n ? ? 2 ? X2i)(2.30)将(2.29)式中的第 i(i=1,2,?,n)个方程乘以 X2i后相加2 2i?aiX2i?1 2?2[?1 (? X2i) ? ? 2 (? X)](2.31)由(2.28)式的最后两个方程，得1 2? 1 2?2 2(?1 n ? ? 2 ? X ) ? ? 2 (? X2i)? 0 )] ? ? 1[?1 (? X2 2i2i解之，得27?1 ? ?2 ?? 2? n (? X n (? X2 2i2?2X2i) ? (? X ) ? (? X2i)22n?2 2i2i)2将上述两式代入(2.29)中，得ai ? ? (? X n (? X2 2i 2i) ? nX2i) ? (? X2i)2?(X2i 2i? X) ? X)2? (X?x 2i?x 2i2(2.32)( i ? 1, 2 , ? , n )由于方差必有下界，而且满足一阶条件的解是唯一的，所以，从数学 的观点来看(2.32)式所表示的点就是最小值点，将它代入到方差的表达式 中，得线性无偏估计量的最小方差为~ var( ? 2 ) ? ?2?ai2??2 2?(2.33)x 2i将(2.32)式代入(2.22)式中，得 ? 2 的最优线性无偏估计量为?2 ?~?aYi ii??x ?x2iYi2?2i?x ?x2iyi2(2.34)2i用同样的方法， 可得线性回归方程中的截距项 ? 1 的最优线性无偏估计 量为?1 ?~ (? X2 2i)( ? Y i ) ? ( ? X 2 i Y i )( ? X n? X2 2i2i)? (? X2i)2(2.35)而其线性无偏估计量的最小方差为~ 2 1 var( ? 1 ) ? ? ( ? n X2 2?~)(2.36)x 2i比较一下(2.34)式与(2.21)式，以及(2.35)式与(2.18)式，可知? ? ? 2 ? ? 2 , ?1 ? ?1 ~(2.37)这就是说， 在满足经典假设 1―4 的条件下， 线性回归系数的最小二乘 估计就是最优线性无偏估计，这个结论就是箸名的高斯―马尔可夫定理28(Gauss-Markov theorem)。? 此外，还可以计算出 ? 1 和 ?? 2 的协方差：? ? ? ? cov( ? 1 , ? 2 ) ? E ( ? 1 ? ? 1 )( ? 2 ? ? 2 ) ? ? X 2 (?2 2 2i?x)三最大似然估计(Maximum Likelihood Estimation)由于最大概率密度的点，(与其它点比较)在观测中出现的可能性最大, 所以,一个合理的原则就是在观测中实际出现的点是使其概率密度最大的 点。按照这个原则对未知参数所进行的估计就是最大似然估计。 如果已知所要研究的随机变量服从某种类型的分布，但不知道其中的 某些参数，为了进一步减少有关该随机变量的不确定性，我们有必要对这 些参数的值进行估计，当然经过了若干独立的试验或观测，我们获得了有 关该随机变量的一些样本值，这些值是我们进一步了解该随机变量的重要 信息也正是我们估计未知参数的依据。假设这些值的个数为 n，这些个值 是我们进行 n 次独立试验或观测所得到的。如果我们以所研究的随机变量 的分布(其中的某些参数还不知道)为基础， 构造出一个 n 元联合概率分布， 那么，我们以通过试验或观测已获得的 n 个值为分量，就可以得到 n 维空 间的一个点，它可以看成是所构造的 n 元联合概率分布的一个样本点，既 然这个点在试验或观测中出现了，根据最大似然估计的原则，这个点就是 使联合概率分布的密度函数值达到最大的点，如果把这个点代入到所得联 合概率分布的密度函数中，我们就得到了一个以未知参数为未知数的一个 函数，这个函数就叫似然函数。 这样，估计未知参数的问题就成为了求未知参数的值，使似然函数达 到最大。 下面我们把这个原则运用到简单线性回归模型中的参数估计中。 设线性回归模型(2.3)满足经典假设 1、假设 2 和假设 5，则应变量Y i ( i ? 1, 2 , ? n ) 服从以 ? 1 ? ? 2 X2i为均值，以 ? 为方差的正态分布，所2以， Y i ( i ? 1, 2 , ? n ) 的密度函数为f (Y i ) ? 1 2? ? exp{ ? [Y i ? ( ? 1 ? ? 2 X 2?22i)]2}(2.38)根据经典假设 3，可推出 Y i , Y j ( i ? j , i , j ? 1, 2 , ? n ) 不相关，而对正29态分布而言，不相关就意味着独立，所以，由 (2.38) 式知，随机变量Y i ( i ? 1, 2 , ? n ) 的联合概率分布即 n 维随机向量 (Y1 , Y 2 ? , Y n ) 的密度函数为f ( Y 1 , Y 2 , ? , Y n ) ? ( 2 ??2 ? n 2)exp{ ?1 2?2? [Yi ?1ni? (?1 ? ? 2 X2i)] }2(2.39)如果对给定解释变量 X 2 i ( i ? 1, 2 , ? , n ) 的值(我们仍用 X2i表示)，随机变量 Y 的实验值或观测值为 Y i ( i ? 1, 2 , ? n ) ，或者说，在(2.39)式中， 我们把 Y i ( i ? 1, 2 , ? n ) 理解为在给定解释变量 X 2 i ( i ? 1, 2 , ? , n ) 条件下 的样本值，则 (Y1 , Y 2 ? , Y n ) 就是 n 维空间的一个点，代入到(2.39)式中， 可得随机变量 Y 的似然函数为L ( ? 1 , ? 2 ; ? ) ? ( 2 ??2 2 ? n 2)exp{ ?1 2?2? [Yi ?1ni? (?1 ? ? 2 X2i)] }2(2.40)注意： 虽然(2.39)式和(2.40)式的左边在形式上是相同的， 但是意义却 不同，前者是以 Y i ( i ? 1, 2 , ? n ) 为自变量的一个密度函数，后者则是基于 样本观测值的以未知参数 ? 1 , ? 2 ; ? 为“自变量”的似然函数。2参数 ? 1 , ? 2 ; ? 的最大似然估计就是求在样本点已经是 (Y1 , Y 2 ? , Y n )2的前提下使似然函数 L ( ? 1 , ? 2 ; ? ) 达到最大的“自变量” ? 1 , ? 2 ; ? 的值2 2? 1 , ? 2 , ? ，即求似然函数的最大值点。???2为了求最大值点的方便(不仅仅如是)， 对似然函数(2.40)式取对数， 所 得到的函数称为对数似然函数，用 l 表示：30l (? 1 , ? 2 ;? ) ? ?2n 2ln( 2 ??2)?1 2?2? [Yi ?1ni? (?1 ? ? 2 X2i)]2(2.41)显然似然函数与其相应的对数似然函数有相同的最大值点，下面让我 们来求之。 分别求由(2.41)式所表示的对数似然函数关于 ? 1 , ? 2 ; ? 的一阶偏导2数并令其为零，得? ?l 1 n ? 2 ? [ Y i ? ( ? 1 ? ? 2 X 2 i )] ? 0 ? ?? 1 ? i ?1 ? ? 1 n ? ?l ? 2 ? {[ Y i ? ( ? 1 ? ? 2 X 2 i )] X 2 i } ? 0 ? ? i ?1 ? ?? 2 n ? ?l n 1 ? ? ? [Y i ? ( ? 1 ? ? 2 X ? 2 2 2 ? ? ?? 2 2? 2 (? ) i ? 1 ?? ? ?22(2.42))]22i? 0若 ? 1 , ? 2 , ? 是参数 ? 1 , ? 2 ; ? 的相应最大似然估计值， 由对数似然函 数的函数特性，它们必然满足方程组(2.42)，为了避免理解上的误会，用 估计值的代表符号 ? 1 , ? 2 , ? 代替(2.42)式中的参数符号 ? 1 , ? 2 ; ? ，得2???2? ? ? 1 n ? ? 2 ? [Y i ? ( ? 1 ? ? 2 X 2 i )] ? 0 ? i ?1 ? ? ? ? 1 n ? ? 2 ? {[ Y i ? ( ? 1 ? ? 2 X 2 i )] X 2 i } ? 0 ? ? i ?1 n ? ? ? n 1 2 ?? ? 2 ? ? 2 2 ? [Y i ? ( ? 1 ? ? 2 X 2 i )] ? 0 2 (? ) i ? 1 ? 2?(2.43)解方程组(2.43)，得?1 ??? (? X2 2i)( ? Y i ) ? ( ? X 2 i Y i )( ? X n? X2 2i2i)? (? X2i2i)2(2.44)?2 ?n (? X 2iYi ) ? (? X n (? X2 2i)( ? Y i )2i) ? (? X)2(2.45)31??2??n? ? [Y i ? ( ? 1 ? ? 2 X n)] 2i2i ?1?u?i ?1n?i2n2(2.46)可以证明由(2.44)式、(2.45)和(2.46)所表示的 ? 1 , ? 2 ; ? 的一组估计值， 确实是对数似然函数 l ( ? 1 , ? 2 ; ? ) 的唯一极大值点，从而也是最大值点。2因对数似然函数与其相应的似然函数有相同的最大值点，所以 ? 1 , ? 2 , ? 是参数 ? 1 , ? 2 ; ? 的最大似然估计。2???2由(2.44)式和(2.45)的表达形式可知， 回归系数的最大似然估计(MLE) 与最小二乘估计(LSE)完全相同，它们都是最优线性无偏估计。所以? ? u i ? u i ( i ? 1, 2 , ? , n ) ，从而随机扰动项的方差 ?2的最大似然估计为平均平方残差，即??2??n? ? [Y i ? ( ? 1 ? ? 2 X n)] 2i2i ?1? u??i ?1n2 in(2.46’)但是，上述方差的估计是有偏的。事实上，n?2 ? E (? ) ? ? n2(2.47)为了证明(2.47)，我们先引入下列两个式子：? ?2 ??x ?x2iyi2?2i?x ?x2iYi2? ?2 ?2i? (x ?x2iui )2(2.48)2i? ? ? ?1 ? Y ? ? 2 X ? ?1 ? (? 2 ? ? 2 ) X ??uni(2.49)由上面两个式子可知：? ?2 ? ?2 ?? (x ?x2iui )2(2.50)2i32? ? ?1 ? ?1 ? (? 2 ? ? 2 ) X ? ? ?X?uni? (x ?x2iui )2??un(2.51)i2i由(2.50) 式和(2.51)式，得?n? ? [Y i ? ( ? 1 ? ? 2 X)] 2i2?i ?1? [( ?i ?1n1? ? ? ? 1 ) ? (? 2 ? ? 2) X2i? ui ]2?? [Xi ?1 nn?? [ui ?1i? (x u ) ? ? u ? ? (x n ?x ?x ? u ? ? (x u ) x ] ? n ?x2i i i 2 2i i 2i i 2 2 2i 2i22iui )2X2i? ui ]22i将上式展开为：? {ui ?1n2 i?(? u i ) n2?[? ( x 2iu i )]2?? x ?2 2i2x 2i ?22u i ? u i n?2u i ? ( x 2iu i )? ?2x 2i2x 2i ?22(? u i )? ( x 2iu i ) n ? x 2i [? ( x 2iu i )]2x 2i }?ui ?(? u i ) n22??x 2i2?2(? u i )? ( x 2iu i ) n ? x 2i2?x2i在上式中，第一项的数学期望为 n ? ，第二项与第三项的数学期望均为为2??2，第四项的数学期望为 0。 故残差平方和的数学期望为2 ? ? ? E (? u i ) ? E [? Yi ? ( ? 1 ? ? 2 X 2i)]2? ( n ? 2 )?2(2.52)由此可得，随机扰动项的方差的最大似然估计的数学期望为? ? ? ui ) ? 1 E ( u 2 ) ? n ? 2 ? E (u i ) ? E ( ? ?i n n n2 2??2(2.53)可见，随机扰动项的方差的最大似然估计是有偏的，但它是渐进无偏的。33由上面的推导过程可知随机扰动项的方差的下列估计量是无偏估计量。?? ?2n? ? [Y i ? ( ? 1 ? ? 2 X n?2)] 2i2?i ?1? u??i ?1n2 in?2(2.54)从以上叙述中得知：在满足经典假设前提下，对简单线性回归模型 的回归系数而言，其最小二乘估计与最大似然估计是一样的，它们都是 最优线性无偏估计。这种最优是在线性无偏估计中的最优，那么，在所 有无偏估计中它们是不是最优的呢？换言之，回归系数的最小二乘估计 或最大似然估计是不是最优无偏估计呢？运用如下所述的信息不等式可 得到此问题的答案，回答是肯定的。 四 信息不等式 为了简单起见，先研究在对数似然函数中只有一个未知参数的情形。 设 随 机 变 量 Y 基 于 其 样 本 Y ? (Y1 , Y 2 , ? , Y n ) 的 对 数 似 然 函 数 为l ? ln L (? ; Y ) ，称其关于未知参数 ? 的一阶导数为 ? 基于样本的有效得分简称得分(为了叙述方便，我们在这里用同一字母 Y 表示随机变量，与 来自该随机变量的样本；当它代表随机变量时，我们在字母前冠以随机 变量，当它代表样本时，在字母前冠以样本)。即， ? 得分为U (? ; Y ) ? ?l ?? ? 1 L (? ; Y ) ? L (? ; Y ) ??易证，得分的数学期望为零，从而方差与得分的平方的数学期望相 等。即有如下两式成立。? L (? ; Y ) ?? ? ? L (? ; Y ) dY L (? ; Y ) dY ??E [U (? ; Y )] ??? L (? ; Y )1??? 0(2.55)var[ U (? ; Y )] ? E [U (? ; Y )]2(2.56)其中 ? 为样本空间，(2.55)式成立的原因是联合密度函数在样本空间上 的关于样本点的积分为常数 1。 定义：称有效得分的方差 var[ U (? ; Y )] 为参数 ? 的基于样本 Y 的信34息量，记为 I (? ) 。 关于信息量 I (? ) ，有如下等式成立：? l2I (? ) ? ? E [??2)(2.57)对(2.55)式关于参数 ? 求导可证(2.57)式。 为了得到信息不等式(Cramer-Rao 定理)，先介绍一个引理。? ? 引理：若 ?? 基于样本 Y 是 ? 的无偏估计量，则 ?? 与 ? 的基于样本 Y的得分 U (? ; Y ) 的协方差为 1。即? cov[ ??(Y ), U (? ; Y )] ? 1(2.58)事实上，? ? ? cov[ ??(Y ), U (? ; Y )] ? E {[ ?? ? ? ][ U ? E (U )]} ? E (??U )?? ?? ? ln L LdY ? ?? ?? ? L dY ????? ? UL (? ; Y ) dYd d??????????? ? LdY???d? ? E (??) ? ?1 d? d? d有了上述准备后，便可引入如下的信息不等式或 Cramer-Rao 定理。? Cramer-Rao定理：设 ? ? 是 ? 的一个基于样本的无偏估计量，则它的方差不小于 ? 的信息量的倒数。即? var( ??) ? I?1(? )(2.59)? 证明：设 ?? 与 ? 的得分 U (? ; Y ) 的相关系数为 ? ，则?2?? [cov( ??, U )] 1 ? (由引理) ??) var( U ) ??) var( U ) var( ? var( ?2由于相关系数总介于-1与1之间，即 ? 1 ? ? ? 1 。所以 ?2?135故1 ?1 ??) var( U ) var( ?即1 var( U ) ? ? var( ??)亦? var( ??) ? 1 var( U ) ? 1 I (? )得证。 Cramer-Rao定理可以推广到在似然函数中有多个参数的情形。 对于在在似然函数中有多个参数的情形，有关有效得分的定义与在似 然函数中只有一个参数的情形完全一样，而关于信息量与信息不等式的表 述会有所不同。 定义：称得分 U i ??l ?? i与Uj??l ??j( i , j ? 1, 2 , ? k ) 的协方差矩阵? E (U 1 2 ) ? E (U 2 U 1 ) I (? 1 , ? 2 , ? , ? Y1 , Y 2 , ? Y n ) ? ? ? ? ? ? E (U k U 1 ) ?E (U 1U 2 ) E (U ? E (U k U 2 )2 2? ? ? ?)? E (U 2 U k ) ? ? ? ? 2 E (U k ) ? ?E ?U 1Uk??(2.60)为参数向量 θ ? (? 1 , ? 2 , ? , ? k ) 基于样本 Y ? (Y1 , Y 2 , ? , Y n ) 的信息矩阵。? ? ? ? Cramer-Rao 定 理 ： 设 ?? ? (??1 , ??2 , ? , ??k ) 是 基 于 样 本Y ? (Y1 , Y 2 , ? , Y n ) 的关于参数向量 θ ? (? 1 , ? 2 , ? , ? k ) 的无偏估计量，则?? ? (?? , ?? , ? , ?? ) 的 协 方 差矩 阵 与 信息 矩阵 的 逆 矩阵 (简 称 逆 信息矩 ? ? ? θ 1 2 k阵) I?1( θ ) 之差将是一个半正定矩阵。36? ? ? θ 推论：设 ?? ? (??1 , ??2 , ? , ??k ) 是参数向量 θ ? (? 1 , ? 2 , ? , ? k ) 的无偏估计量，而 I?1( θ ) 的 主 对 角 线 上 的 元 素 为 c ii ( i ? 1, 2 , ? , n ) ， 则?? v a r?(i ) ? c ii ( i ? 1, 2 , ? , k ) 。Cramer-Rao定理有重要意义：如果参数的某种无偏估计量的方差与参 数的逆信息矩阵中主对角线上相应位置的量相等，那么参数的这种无偏估 计量就是最优无偏估计量。可以验证，在满足经典假设(含随机扰动项的正 态假设)的线性回归模型中， 回归系数的最小二乘估计量是的方差与逆信息 矩阵相就位置的元素是相等的。这就说，最小二乘估计量是最优无偏估计 量。第三节置信区间与显著性检验一 抽样分布 1 引言 在第二节中， 我们得到了简单线性回归模型的回归系数的估 计值，这个估计值是会随样本的变化而变化的，所以根据一组样本所得到 的估计值与真值一般来说是不相等的，估计值与真值之间有误差，但这这 误差是不可能知道的，那么，我们能否构造出一个以估计值为中心的一个 区间，使这个区间在一定的可靠性下包含真值呢？这个问题就是求回归系 数的置信区间的问题，而要解决这一问题，则需要知道当样本在其可能的 范围内变化时，估计值的分布。 在满足正态经典假设的线性回归模型Yi ? ? 1 ? ? 2 X2i? ui( i ? 1, 2 , ? , n ) 中，若回归系数 ? 2 的最小乘估计为?? 2 ， 则由于 ?? 2 是 Y i ( i ? 1, 2 , ? , n ) 的线性函数， 所以当 Y i 服从正态分布时， ?? 2 也服从正态分布； 又由于 ?? 2 的均值为 ? 2 ， 方差为 var( ?? 2 ) ??2 2?(由x 2i2.33式)。所以 ?? 2 服从以 ? 2 为均值，以??2 2?2 2为方差的正态分布。即x 2i??2~N( ? 2 ,?)(2.61)x 2i于是，有37?? 2 ? ? 2 ?2 2~ N ( 0 ,1)(2.62)?x 2i故上式左边的绝对值小于一个给定正数 z ? / 2 的概率可表为：P [| ? ?2 ? ?2 |? z ? / 2 ] ? 2 ? ( z ? / 2 ) ? 1?2 2(2.63)?x 2i(2.63)式中 ? ( z ) 是标准正态分布的分布函数， 给定正数 z ? / 2 的下标是为了以后叙述方便而设置的。 由(2.63)式可知， 区间 ( ?? 2 ? z ? / 2?2 2?x 2i? , ? 2 ? z? / 2?2 2?) 将以x 2i2 ? ( z ? / 2 ) ? 1 的概率的可靠程度包含回归系数的真值 ? 2 。但是，这个区间是不可知的，因为其中含有总体参数 ? 。所以要根据样本求出这个区间，2? u?就必须用 ? 的估计值 ??2n2 i2?i ?1n?2来代替(2.63)式中的 ? ，但是我们这2样做时，? ?2 ? ?2就不再服从标准正态分布了！我们根据标准正态分布??2 2?x 2i的分布特征所做的区间推断也就不成立了。? u?注意到 ??2n2 i?i ?1n?2? 中所包含的式子 ? u i 它是残差平方和，而我们2 i ?1n? ? ? ? ? 可证残差是服从正态分布的(因为 u i ? Y i ? ( ? 1 ? ? 2 X 2 i ) ，而 Y i , ? 1 , ? 2 都? 服从正态分布， 所以残差 u i 也服从正态分布)。 所以我们要研究若干个服从38正态分布的随机变量的平方和的分布特性。在此基础上，我们还要研究两 个正态分布的平方和的比值(这是为了假设检验的需要)以及? ?2 ? ?2的??2 2?2x 2i分布特性，这与下面要叙述的 ? 分布、F分布、t分布是息息相关的。 2? 分布2定义：设 u 1 , u 2 , ? , u m 是m个相互独立而且服从标准正2态分布的随机变量，则称 ? ( m ) ??ui ?1m2 i所服从的分布为自由度为m的? 分布。2自由度为m的 ? 分布的密度函数为2x m ? ?1 ? 1 e 2x2 , x ? 0 ? m ? m f (x) ? ? 2 2 ?( ) 2 ? ?0 , x?0 ?其中 ? (2m 2) 是伽玛函数，当自变量取m 2时的值。? 分布的密度函数曲线如图2.2所示。我们需要说明的是，我们不必要记住 ? 分布的密度函数的解析形式，而且，对一般学习计量经济学的2学生和读者来说，只要了解 ? 分布的密度函数的图形的大概形状也就够2了。39f (? )2m ?4m ? 10m ? 20?2图 2.2 ? 分布的密度函数2与简单线性回归模型相关，源自正态随机扰动项的抽样分布，我们首 先有如下定理：? u?定理：设 ??2n2 i?i ?1n?2是随机扰动项 u i 的方差 ? 的估计值，那么随22 2机变量? ( n ? 2 )?2?2???i ?1n? ui服从自由度为 ( n ? 2 ) 的 ? 分布，而且它与2u i ( i ? 1, 2 ? , n ) 还是相互独立的。关于这个定理的证明参见第三章第二节。 为了研究置信区间和显著性检验的方便，我们定义两个名词。第一， 称回归系数的估计量的方差的算术平方根为回归系数估计量的标准差，用S ?? 表示； 第二， 称回归系数的估计量的方差的估计值的算术平方根为相应? 估计量的标准误，用 S ?? 表示。这样便有：40S ?? ?2?2 2?? ?(2.64)x 2i2 2? S ?? ?2?(2.65)? ?2 2 2ix 2i? 根据上述抽样分布的定理可知： ?? 2 的方差的估计值 S ??(n ? 2)? x 2i22??x2与式子?2的乘积服从自由度为 ( n ? 2 ) 的 ? 分布。23F分布 定义：设 ? 12 ( m 1 ) 为自由度是 m 1 的 ? 2 分布， ? 22 ( m 2 ) 为2 2 2自由度是 m 2 的 ? 分布，而且 ? 1 ( m 1 ) 与 ? 2 ( m 2 ) 是相互独立的，则称F ?? 1 / m12?2 / m22为服从第一个自由度(或分子自由度)为 m 1 ， 第二个自由度(或分母自由度)为 m 2 的 F 分布，有时称为自由度为 ( m 1 , m 2 ) 的 F 分布，用F ( m 1 , m 2 ) 表示。自由度为 ( m 1 , m 2 ) 的F分布的密度函数为m1 ? m 2 ? ) m1 m ?m2 ? ?( ?1 ? 1 m m m 2 ? 1 ( 1 x ) 2 (1 ? 1 x ) 2 , x ? 0 ? m m f ( x) ? ? m2 m2 m2 ? ( 1 )? ( 2 ) ? 2 2 ? x?0 ?0 ,式子中的 ? 仍指伽玛函数。F分布的密度函数的图形如图2.3所示。41f (F )m 1 ? 10 , m 2 ? ?m 1 ? 10 , m 2 ? 10m 1 ? 10 , m 2 ? 4F图 2.3 F 分布的密度函数同样地，在对F的理解上和 ? 分布一样，我们不必要记住F分布的密2度函数的解析形式，F分布的密度函数的图形的大概形状也就够了。 关于F分布的应用。我们在以后的学习中将大量运用。 4t分布 定义：设Z为服从标准正态分布的随机变量， ? 2 为服从自2 2由度为m的 ? 分布的随机变量，而且Z和 ? 是相互独立的，则称随机变 量t ?Z? /m2为服从自由度为m的t分布，用 t ( m ) 表示。t分布的密度函数为：f ( m ) ? ? [( m ? 1) / 2 ] ? (m / 2) (1 ? t2 ? m ?1 2)m其中 ? 还是指伽玛函数。 t分布的密度函数的图形如图2.4所示。42f (t )0 图 2.4 t 分布的密度函数示意图tt分布与 ? 2 分布和F分布不同，? 2 分布和F分布都是分布在实数轴的正半轴，而t分布则对称地分布于实数轴的两侧。t分布的图形粗略地看， 很像正态分布，实际上，当样本容量或者说自由度趋于无穷大时，t分布就 是数学期望为零的正态分布。 根据t分布的定义，易知? ?2 ? ?2??服从自由度为 ( n ? 2 ) 的t分布。2 2?事实上，? ?2 ? ?2 ? ?2 2 2ix 2i?( ? x 2 i u i ) /( ? x 2 i )21 ??(? x 2iu i ) / 1 ? ?2?x2 2i)? ?2 2 2in?2 n?2?x(? ??xx 2i ?2?ui??2x 2i )?)?2 ( n ? 2 )?/( n ? 2 )上式的分子是服从标准正态分布的，而分母正是一个服从自由度为43( n ? 2 ) 的 ? 分布的随机变量除以自由度后的算术平方根，由本小节中的2定理和t分布的定义即知? ?2 ? ?2??服从自由度为 ( n ? 2 ) 的t分布。这就为2 2?x 2i下面的置信区间和显著性检验的讨论打下一个良好的基础。 二 1 回归系数的置信区间? 2 的置信区间所谓 ? 2 的置信区间是指，在可靠性条件下，以 ? 2 的估计值 ?? 2 为依据 找出一个尽可能短的区间， 使该区间包含回归系数的真值 ? 2 的可靠性满足 给定的要求。 在这里的可靠性就是指所寻找的区间包含回归系数的真值 ? 2 的概率等于给定的值(比如95%，99%等)。由于? ?2 ? ?2服从自由度为??2 2?x 2i( n ? 2 ) 的t分布，所以可以用t分布来构造 ? 2 的置信区间。设所要寻找的区间包含回归系数的真值 ? 2 的概率应等于 (1 ? ? ) ，这 里，大于零小于1的正数 ? 的值越小，则对可靠边性的要求就越高，在教 科书中往往称这个 ? 为显著性水平。 ? 越小意味着显著性水平越高。 由于? ?2 ? ?2??服从自由度为 ( n ? 2 ) 的t分布， 所以找置信区间的问题2 2?x 2i就成为找两个临界点(之所以称所找的点为临界点， 是因为这样的点把随机 变量所有可能的值分成了两个部分，其中的一部分就是置信区间，也就是 说临界点是置信区间与其它部分的交界点)，使?? 2 ? ? 2 ??2 2界于两个临界点?44x 2i之间的概率等于 (1 ? ? ) 。由于t分布关于原点的对称性，所以对t分布而言 这两个临界点应该是关于原点对称的，设这两个点分别为 ? t ? 和 t ? ，则22? ?2 ? ?2??2 2大于 ? t ? 并小于 t ? 的概率应等于 (1 ? ? ) ，即22?x 2iPr( ? t ? ?2? ?2 ? ?2 ? S ??2? t? ) ? 1 ? ?2(2.66)? (2.66)式中 S ?? ?2? ?2 2?x 2i为 ?? 2 的标准误。由(2.66)式得? ? ? ? Pr[ ? 2 ? t ? S ?? ? ? 2 ? ? 2 ? t ? S ?? ] ? 1 ? ?2 2(2.67)22方程(2.67)给出 ? 2 的一个 100( 1 ? ? )%置信区间，可以更简捷地写成：? ? ? 2 ? t ? S ??2(2.68)2对这个置信区间的解释是：给定置信系数为 100( 1 ? ? )%，从长远看，? ? ? 在类似于 ? 2 ? t ? S ?? ( ? 2 ) 的每 100 个区间中，将有 100( 1 ? ? )个包含着真22实的 ? 2 值。但要注意，我们不能说，某个特定的区间有 100( 1 ? ? )%的概 率包含着真实 ? 2 值， 因为这个区间已经固定而不再是随机的了， 那么 ? 2 要 么落入其中，要么落在其外。因此，这个给定区间包含真实 ? 2 的概率不是 1 就是 0。 2? 1 的置信区间仿照 ? 2 的置信区间的构造方法可得 ? 1 的 100( 1 ? ? )%置信区间：? ? ? ? Pr[ ? 1 ? t ? S ?? ) ? ? 1 ? ? 1 ? t ? S ?? )] ? 1 ? ?1 1(2.69)2245或更简捷地写成：? ? ? 1 ? t ? S ??2(2.70)1其中? ? S ?? ? ?1?X n? x2 2i 2 2i(2.71)? 表示估计量 ? 1 的标准误。对 (2.70) 式 所 表 示 的 这 个 置 信 区 间 的 解 释 是 ： 给 定 置 信 系 数 为? ? ? 100( 1 ? ? )%，从长远看，在类似于 ? 1 ? t ? s e ( ? 1 ) 的每 100 个区间中，将2有 100( 1 ? ? )个包含着真实的 ? 1 值。 3?2的置信区间由于在 u i 的正态性假设下，变量?? ?2 22? (n ? 2)?2(2.72)2服从自由度为 n ? 2 的 ? 分布。 故可利用 ? 分布来建立 ? 的置信区间：2Pr( ? 1 ? ? / 2 ? ?22? ?? /2 ) ? 1? ?2(2.73)2其中居于双重不等式中间的 ? 值由(2.72)给出，而 ? 1 ? ? / 2 和 ? ? / 2 是得自22? 数值表中自由度为 n ? 2 的两个 ? 值(临界 ? 值),使得它们各切去 ?2 2 22分布的 100 (? / 2 )% 尾部面积。 将(2.72)代入(2.73)，并加整理得，P r [ n ? 2) ( ? ?2 2?? /2??2? (n ? 2)? ?22? 1? ? / 2] ?1??(2.74)这就给出了 ? 的置信区间。246三显著性检验( i ? 1, 2 , ? , n ) 而言，显著性对总体回归模型 Y i ? ? 1 ? ? 2 X 2 i ? u i检验是指： 根据样本来判断解释变量对被解释变量是否有显著影响。 显然， 这意味着： 如果有显著性影响则 ? 2 ? 0 ， 如果没有显著性影响， ? 2 ? 0 。 则 可见显著性检验的问题对简单线性回归模型而言就是对总体回归系数 ? 2 是否为零进行检验。如果不为零，则解释变量对应变量的影响是显著的， 也称回归系数 ? 2 是显著(异于零)的；如果为零，则解释变量对应变量的影 响就是不显著的，也称回归系数 ? 2 不显著(异于零)的。所以对回归系数进 行显著性检验也就等同于对回归系数 ? 2 做假设检验。 而假设检验的依据有 两个方面： 一方面是样本数据； 另一方面是仅包含所要检验的参数 ? 2 和样 本数据的抽样分布的分布特性。 由于，本章所研究的是简单线性回归模型，因而只需要进行t检验。 t 检验的程序： 1 设置原假设与对立假设：原假设 H 0 : ? ? ???和对立假设H1 : ? ? ? ；2作统计量t ? ? ?2 ? ?2 ? S ??2*?* ? (? 2 ? ? 2 )?xi2? ?(2.75)其中 ? 2 ? ? 2 是虚似假设；*3 4根据样本数据和原假设计量统计量 t 的值； 根据统计量 t 的值进行显著性判断：*如果统计量 t 的值落入了以 ? 2 ? ? 2 为中心的其概率度为 1 ? ? (称 ? 为显著性水平，一般其值较小的正数通常小于 0.1)的区间内，即 t 的绝对 值小于某个临界值，则我们认为没有理由拒绝假设，从而 ? 2 不显著异于47? 2 ，当 ? 2 为零的时，表明根据观测样本来看，解释变量对应变量的影响* *是不显著的； 如果统计量 t 的值落在以 ? 2 ? ? 2 为中心的其概率度为 1 ? ? 的区间*之外，即 t 的绝对值大于某个临界值则说明小概率事件发生了，由于在概 率论中，通常认为，在一次试验中小概率事件一般不会发生，但现在小概 率事件发生了， 这说明我们的假设可能有误， 所以要拒绝假设， 这就是说 ? 2 显著异于 ? 2 ，当 ? 2 为零的时，表明根据观测样本来看，解释变量对应变* *量的影响是显著的。 例 2.2 假设李先生消费函数可用模型 C i ? ? 1 ? ? 2 Y i ? u i 表示，其中 C i 表示李先生第 i 期的消费， Y i 表示李先生第 i 期的收入。根据李先 生 19 个月的观测资料进行回归分析得到下列结果：? C i ? 15 ? 0 . 81 Y i (3.1) ( 18.7)括号里的数字表示相应参数的 t 值，请回答以下问题： （1）利用 t 值进行假设检验： ? 2 ＝0（取显著水平为 5％） （2）确定参数估计量的标准误； （3）构造 ? 2 的 95％的置信区间。 解：(1) 因 t 统计量t ? ? ?2 ? 0 ? S ??2? 18 . 7自由度为 17(=19-2)且显著性水平为 5％的 t 统计量的临界值为 2.11，所 以t ? ? ?2 ? 0 ? S ??2? 18 . 7&2.1148这就是说如果统计量 t 的值落在以 ? 2 ? 0 为中心的其概率度为 1 ? 5 % 的 区间之外 所以根据样本和 5%的显著性水平判断回归系数 ? 2 显著； 同样回归系数 ? 1 显著。(2)根 据 t?? ?2 ? 0 ? S ??2? 18 . 7， 得 ?? 2的 标 准 误 为? ? 0 . 81 ? S ?? ? 2 ? ? 0 . 0433 2 t 18 . 7根据 t ??? 1 ? 0? S ??1? ? 15 ? ? ? 3 . 1 ，得 ? 1 的标准误为 S ?? ? 1 ? ? 4 . 84 。 1 t 3 .1(3) 由于显著水平为 5％，样本容量为 17 的 t 临界值为 2.11，故所求置信区间为? ? ? ? ( ? 2 ? t ? S ?? , ? 2 ? t ? S ?? )2 222= ( 0 . 81 ? 0 . 0433 ? 2 . 11 , 0 . 81 ? 0 . 433 ? 2 . 11 ) ? ( 0 . 71 , 0 . 90 ) 。第四节一 方差分解方差分析与拟合优度在简单线性回归模型中，对于作为应变量的随机变量 Y ，其样本观测 值为 Y i , ( i ? 1, 2 , ? , n ) (相应的解释变量取值为 X 乘法求出一条样本回归线以反映 X2i 2i)。尽管我们根据最小二对应变量 Y i , ( i ? 1, 2 , ? , n ) 的解释。 但是，这并没有反映 Y 的变化在多大程度上可以用 X 的变化来解释。只有对 此有了一定的了解，我们才能回答样本回归线在多大程度上与样本似合的 问题。要注意的是，这里所研究的问题是样本问题。 可以通过方差分析来研究 Y 的变差(相对于样本均值)中可以用 X 或? ? ? 者样本回归线( Y ? ? 1 ? ? 2 X 2 i )来说明的部分和不能由 X 或者样本回归49线来说明的部分。 注意到：? ? ? ? Y ? Y ? (Y ? u ) ? Y ? (Y ? Y ) ? u两边平方：2 2 2 ? ? ? ? ? 2 ?2 ? ? (Y ? Y ) ? [( Y ? u ) ? Y ] ? [( Y ? Y ) ? u ] ? (Y ? Y ) ? u ? 2 u (Y ? Y )求和：? (Y故：?Y ) ?2? (Y? ? Y )2?? ?u2? ? ? 2 ? u (Y ? Y ) ?? (Y? ? Y )2?? ?u2? (Y?Y ) ?2? (Y? ? Y )2?? ?u2(2.76)上式中左边表示应变量的样本值相对于其平均数的离差的平方和，它 说明了应变量的样本值的变异程度，称之为总变差或总平方和，用SST表 示。 式子中右边的第一项是应变量的预测值(或者说更准确地说在样本回归 线上与应变量相应的值)相对于其平均数(应变量的样本平均数与其预测值 的平均数相等)的离差的平方和，它说明了预测值的变异程度，由于这此值 都在样本回归线上故称之为回归平方和，用SSR表示。式子右边的第二项 是残差的平方和，用SSE表示。所以(2.76)表示总变差可以分解为由回归 方程解释的变差和不能由回归方程解释的变差，即总平方和等于回归平方 和加上残差平方和。(2.76)式可以写成：SST=SSR+SSE对于回归平方和，有下式成立：(2.76’)? ? ) ? (?1 ? ? 2 X )]2SSR ??? (Y? ? Y )12?? [( ??1? ? ?2X2i2i? [( ??? ? ?2X2i? ? ) ? (?1 ? ? 2 X2i2 2 ? 2 )] ? ? 2 ? x 2 i可见，2 2 SSR ? ?? 2 ? x 2 i 2 2 2 ? SST ? ?? 2 ? x 2 i ? ? u i(2.77) (2.78)上述对总变差的分解可用一个示意图表示，如图2.5。50Y?( X ,Y )? uy ?Y ?YY?? ?2xYXX y 的分解图 2.5二拟合优度在应变量的样本总平方和中，一部分为回归平方和，另一部分为残差 平方和。这就意味着从已得的样本观测值来看，应变量的变差一部分可以 用解释变量来解释，而另一部分则不能用解释变量来解释。显然能够用解 释变量来解释的部分占应变量的总变差的比例就是表示样本回归线对应变 量的样本值拟合程度的一个量度，我们称这个量度为判定系数或决定系 数，用 R 表示。即? ?2 ?22R2?SSR SST?xi ?1n2 2i? ?u ?1?i ?1 nn2 i?n?1? yi2SSE SST(2.79)yi2i ?1?i ?1拟合优度与相关系数是有联系的。变量X与变量Y的相关系数r定义为? (Xr ?ii? X )( Y i ? Y )2? (Xii? X)? (Yi?i? ?xi2xi yi?Y )2?yi2(2.80)? ? 对于我们的简单线性回归模型而言， y i ? ? 2 x 2 i ? u i ，将此式代入(2.80)中，得51r ??? ? x 2i ( ? 2 x 2i ? u i ) x 2i2???? ? 2 ? x 2i2yi2?x 2i2?? r2? yi2? ?2?x ?yi2 2i 2(2.81)由(2.81)式易得拟合优度与相关系数的关系：R2(2.82)2显然，判定系数的值在0和1之间。当 R ? 1 时，残差平方和为零， 从而必有残差为零。这时，应变量的变差可完全由解释变量解释，此时， 从已得样本来看，样本点全部落在样本回归线上。当 R ? 0 时，应变量的22 变差完全不能由解释变量解释。一般情况下，0 ? R ? 1 。而 R 越接近1，2回归模型的拟合状态就越好。 三F检验解释变量对应变量的解释程度还可以从对回归平方和与残差平方和的 对比中说明。对简单线性回归模型而言，我们可以构造一个F统计量F ? SSR/1 SSE / ( n- 2 ) ? ? ?22?2x 2i2?? u i /( n ? 2 )(2.83)当F统计量的值较大时，我们就可以认为样本回归方程对应变量的解释是 显著的。在假设斜率系数为零的条件下，上述F统计量服从第一个自由度 为1，第二个自由度为 ( n ? 2 ) 的F分布。我们可以构造一个F检验程序，用 以说明回归方程对应变量的影响是显著的。 在假设斜率系数为零的条件下，(2.83)式所表示的统计量为什么会服 从第一个自由度为1，第二个自由度为 ( n ? 2 ) 的F分布呢？这可以从以下 事实中推出。 第一，F ? ? ?22?x22 2i? u?i/( n ? 2 )?? (? 2?x2 i2 2i)2? u?/( n ? 2 )52( ??x y ?x ? ?u2i 2i ii2?x 2i )22( ??x?? ui22iyi2 2i?x?2)22/( n ? 2 )(?) /( n ? 2 )第二， 在假设斜率系数为零的条件下， ? 这是因为??x 2i y i?服从标准正态分布，2x 2i?x 2i y i??2?(x 2ix 2i??x 2i2) Y i 是正态分布的线性函数， 所以它本身也服从正态分布，又因为它的数学期望为0，方差为1：E [? ( x 2i y i??2 2i)] ?2?(x 2i E ( y i )x 2i?x 2i?2 2i)?x 2i22?(x 2i ( ? 2 x 2i )???)?0x 2i2var[?(x 2i y i??x)] ??(??x) var( y i ) ??(x 2i?x) ?2 2 2i2?1第三，由本章第三节的定理知 ? 布。 由 F 分布的定义即知 F ? 布。SSR/1? ui2?2服从自由度为 ( n ? 2 ) 的 ? 分2SSE / ( n- 2 )服从自由度为 (1, n ? 2 ) 的 F 分现在，我们可以构造F检验的程序了。 1 设置原假设与对立假设：原假设 H 0 : ? 2 ? 0 (即回归方程不显著)和对立假设 H 1 : ? 2 ? 0 (即回归方程显著)； 2 作统计量F ? SSR/1 SSE / ( n- 2 ) ? ? ?22?2x 2i2? u?i/( n ? 2 )3根据样本数据和原假设计算统计量 F 的值；534根据统计量 F 的值进行显著性判断：如 果 统 计 量 F 的 值 小 于 某 个 临 界 值 F? ( F? 是 使 得P r F ? F? ) ? 1 ? ? 的 F 分布的值)。不拒绝回归方程不显著的假设。 (如果统计量F的值大于某个临界值 F ? 拒绝回归方程不显著的假设， 即 回归方程显著。在这里 ? 表示显著性水平。 对于简单线性回归模型来说，F检验与t检验是等价的。事实上，F (1, n ? 2 ) ? t ( n ? 2 )2由于在这里F统计量是通过方差分析得到的。所以它必定与判定系数 有某种联系，这种联系就是：SSR/1 SSE / ( n- 2 ) (n ? 2) ? SSE SST SSR SST ? (n ? 2) R 1? R2 2F ?(2.83)四方差分析表把方差分解、判定系数和F统计量列在一个如下表所示的表格中就形 成了一个方差分析表。 表2.3 方差分析表 变差来源 回归 残差 总 变差 自由度2 2i均方SSR 1 SSE n -2 SST n -1SSR= ?? 22?x21 n-2 n-1F ?? SSE= ? u iSST=SSR+SSESSR SSTSSR/1 SSE/( n ? 2 )R2?例2.3 以15个家庭某月的收入和消费数据， 进行回归分析得样本回归 线为54? C i ? 347 ? 0 . 63 Y i (3.16) (16.8)C i 表示第 i 个家庭的消费， Y i 表示第 i 个家庭的收入，括号里的数字表示相应参数的t值。 经计算，其残差平方和为2059，根据这些资料，填写该回归模型的方差分 析表。 解? 根据 S ?? ?2? ?2 2?及t ?? ?2 ? S ??2得，回归平方和为x 2iSSR= ?? 22?2?2 2 ? 2 ? x 2i ? ? 2 ? 2 S ??2?t?ui2 i/( n ? 2 )? 16 . 8 ? 2059 /( 15 ? 2 ) ? 44702 . 52由此填写方差分析表如下 表2.4 方差分析表 变差来源 回归 残差 总R变差自由度均方9 46761.521 13 14.4 3340F ? 282? 0 . 956第五节均值预测与个值预测所谓预测在这里是指在解释变量控制在某一水平下，对被解释变量的 取值所进行的估计。当总体是简单线性回归模型时，利用样本资料可得相 应的样本回归模型，在解释变量控制在某一水平时，我们将这一水平值代 入到样本回归方程，所得到的应变量的值称为应变量的预测值。由于总体 回归函数所表示的是当解释变量取某一个值时应变量的均值，所以利用样 本回归方程所得到的预测值，可以作为应变量的均值的预测值。又由于作 为总体回归模型中的应变量在某一次观测或实验中的值是以均值为基础随55机波动的，而其波动大小又是不可观测的，所以应变量的预测值也只好用 均值的预测值来代替了。 一 均值预测 1 点预测 考虑满足正态经典假设条件的简单线性回归模型Yi ? ? 1 ? ? 2 X2i? ui( i ? 1, 2 , ? , n )(2.3)其样本回归函数为? ? ? Yi ? ? 1 ? ? 2 X2i(2.10)当 解 释 变 量 控 制 在 X 2 i ? X 20 时 ， 应 变 量 的 均 值 为E (Y 0 | X 20 ) ? ? 1 ? ? 2 X 20，称? ? ? Y0 ? ? 1 ? ? 2 X20为均值E (Y 0 | X 20 ) ? ? 1 ? ? 2 X 20 的点预测。易知，均值的点预测是无偏的。? ? ? 事实上， E (Y 0 ) ? E ( ? 1 ) ? E ( ? 2 ) X 20 ? ? 1 ? ? 2 X 20 ? E (Y 0 | X 20 ) 。 ? Y 0 的方差为 ? ? ? var( Y 0 ) ? E [( ? 1 ? ? 1 ) ? ( ? 2 ? ? 2 ) X2 ? ? E (?1 ? ?1 ) ? X 2 2020]22 ? E (? 2 ? ? 2 ) ? 2 X20? ? E [( ? 1 ? ? 1 )( ? 2 ? ? 2 )]? ? var( ? 1 ) ? X?? (22 20? var( ? 2 ) ? 2 X)? X2 2020? ? cov( ? 1 , ? 2 )? 2X (? X 201 n?X2 2 2?2 2 2?2 2?x 2i?x 2i?)（2.84）x 2i2区间预测 由于 Y?0 是正态分布的线性函数，所以它也服从正态分布，故有? Y0 ~ N ( ? 1 ? ? 2 X ,? [21 n20?(X2? X2i20 2)2?x])(2.85)56? 若用 S Y? ?0? ? [21 n?(X2? X x 2i20 2)2?? ? Y ? E (Y 0 ) ? ] 表示 Y 0 的标准误，则易证 0 ? S Y?0服从自由度为 ( n ? 2 ) 的t分布。故当解释变量的值为 X 20 时，应变量的均 值的置信度为 (1 ? ? ) 的置信区间为? ? ? ? ( Y 0 ? t ? S Y? , Y 0 ? t ? S Y? )0 0(2.86)22其中， t ? 为当显著性水平为 ? 时的自由度为 ( n ? 2 ) 的 t 分布的双侧临界2值。当样本容量较大时，比如大于30，则可用服从标准正态分布的Z统计 量代替t统计量。 二 个值预测对简单线性回归模型(2.3)，若样本回归方程为(2.10)，则当解释变量? ? ? 的值为 X 20 时，我们把由样本回归方程(2.10)所决定的值 Y 0 ? ? 1 ? ? 2 X 20也称为当解释变量取值为 X 20 时应变量的点预测。 可见无论是应变量的个值还是其均值，它们的预测值就其表达式而言 是一样的，但是含义却不太相同。 首先，对均值的预测可以归结为总体参数的估计问题，而对个值的预 测则不能。这是因为当把解释变量的值控制在某一水平时，应变量的均值 从总体来看就是一个常数，它不是随机变量，所以对它的估计实际上就是 一个参数估计问题。但是，对个值的估计则并非如此，当解释变量控制在 某一水平时，应变量的值为多少，在我们的模型中，它是随机的，因而， 变个值而言，它是一个随机变量，所以对个值的估计是对随机变量的取值 所进行的估计，不是参数估计。 其次，因为在解释变量给定时，应变量的个值是围绕其总体均值而上 下波动的，当我们用样本回归函数所决的应变量的值(这个值取决于样本， 所以当样本不同时，其值也不同)来估计总体均值和个值时，其相对个值的 偏差的方差必定大于其于均值的方差，而大于的程度度就是个值围绕均值 波动的程度，由于个值围绕均值的波动正是模型中的随机扰动，所以这个 波动程度正好可用随机扰动项的方差表示，故预测值相对于总体个值的方 差等于预测值的方差(因为均值的点预测是无偏的， 所以其相对于均值的方57差等于预测值的方差)加上随机扰动项的方差。 事实上，? ? ? var( Y 0 ? Y 0 ) ? var( Y 0 ) ? var( Y 0 ) ? 2 cov( Y 0 , Y 0 )? ? [1 ?21 n?(X2? X x 2i20 2)2?](2.87)注意到， Y?0 决定于样本和非随机变量 X 2 的取值，所以 Y?0 的随机性决 定于样本观测点的随机扰动项 u i , ( i ? 1, 2 , ? , n ) ，根据经典假设，它们与 随机扰动项中另外一点 u 0 是无关的，而应变量在预测点的随机值 Y 0 中的 随机性决定于扰动项 u 0 ，所以 Y?0 和 Y 0 是无关的，因此? cov( Y 0 , Y 0 ) ? 0(2.88)故有(2.87)成立。 第三，预测值相对于均值而言是无偏的，但预测值相对于个值而言， 则不存在这个问题，这也是因为均值是一个参数，而个值则是一个随机变 量。 在经典正态假设下，个值预测的置信度为 (1 ? ? ) 的置信区间为? ? (Y 0 ? t ? S Y?2 ? Y00? ? , Y 0 ? t ? S Y?20? Y0)(2.89)? 其中 S Y?0? Y0??2 ? [1 ?1 n?(X2? X x 2i20 2)2?? ] 为 ( Y 0 ? Y 0 ) 的标准误。例2.4 试根据例2.1中的模型和样本对当价格为7.5时的销售量均值和 个值进行点预测和区间预测。 为方便计，先将例2.1中有关数据复述如下： 表 2.2 是某超市某种苹果的价格(元/千克)与每天销量在过去 12 天的记 录，用 X 表示价格，Y 表示需求量(千克)。58表2.2 价格(元/千克) 10 9 8 7 7 7 7 6.5 6 6 5.5 5 解 模型为Yi ? ? 1 ? ? 2 X i ? u i ( i ? 1, 2 , ? ,12 )销售量 55 70 90 100 90 105 80 110 125 115 130 130设需求量 Y i ( i ? 1, 2 , ? ,12 ) 关于价格 X i ( i ? 1, 2 , ? ,12 ) 的线性回归根据表 2.2 的样本资料，得样本回归函数为? Y i ? 210 . 44 ? 15 . 778 X i根据样本回归函数计算样本点的样本回归值(或称预测值)和相应的残差列 表并计算如表 2.5。? X x 2i? S Y? ?0? ? [21 n?(X220 2)2?(X]=69 . 9 [1 12?( 7 ? 7 .5 ) 22 . 52] ? 2 . 57? S Y? ?0? ? [1 ?21 n?2? X x 2i20 2)2?]=69 . 9 [1 ?1 12?( 7 ? 7 .5 ) 22 . 52] ? 8 .759表 2.5XixiYiY?i? ui10 9 8 7 7 7 7 6.5 6 6 5.5 53 2 1 0 0 0 0 -0.5 -1 -1 -1.5 -255 70 90 100 90 105 80 110 125 115 130 130Y ?52.66 68.438 84.216 99.994 99.994 99.994 99.994 107.883 115.772 115.772 123.661 131.55i2.34 1.562 5.784 0.006 -9.994 5.006 -19.994 2.117 9.228 -0.772 6.339 2.34??2X ??nXi?84 12? 7?x2 i?Yn? 22 . 5?? u?102 i? 100? 69 . 9又 t 0 .025 (10 ) ? 2 . 228 ，所以当价格为 7.5 时，销量的均值的点估计值为? Y 0 ? 210 . 44 ? 15 . 778 ? 7 . 5 ? 92 . 1区间估计为( 92 . 1 ? 2 . 228 ? 2 . 57 , 92 . 1 ? 2 . 228 ? 2 . 57 ) ? ( 86 . 4 , 9 7.8 )而销量(的个值)的点估计值为? Y 0 ? 210 . 44 ? 15 . 778 ? 7 . 5 ? 92 . 1区间估计为( 92 . 1 ? 2 . 228 ? 8 . 7 , 92 . 1 ? 2 . 228 ? 8 . 7 ) ? ( 72 . 7 , 111 . 5 ) 。60习题二以下所有问题都是针对简单线性回归模型Yi ? ? 1 ? ? 2 X2i? ui( i ? 1, 2 , ? , n ) 而言，且满足经典假设 1-5。一 名词解释 1．解释变量和应变量 2．总体回归函数和样本回归函数 3．普通最小二乘法 4．最大似然估计 5． ? 2 分布 6．F 分布 7．t 分布 8．自由度 9．Var( ? 1 ) 10．Var( ? 2 ) 11．Cov( ? 1 , ? 2 ) 12． ? 1 的置信区间 13． ? 2 的置信区间 14．总变差 15．回归平方和 16．判定系数 17．标准差与标准误 18．方差分析表 二 问答题1．令 C 表示某家庭某月的消费，Y 表示该家庭同期的收入，消费对 收入的简单线性回归模型为 C ? ? 1 ? ? 2 Y ? u ，其中 u 为随机扰动项。 (1) u 中可能包含哪些因素？它们可能与收入水平相关吗？ (2) 简单回归分析能够揭示在其它条件不变下的影响吗？为什么？ 2． 用最大似然估计法对简单线性回归模型的扰动项方差进行估计， 其 表达形式是什么？它是无偏的吗？如果不是，试举出一无偏估计量。 3．在某简单线性回归分析中，斜率系数的置信度为 95%的置信区间 为(0.67,0.73)，则下列判断正确吗？为什么？61(1) 斜率系数的真值以 95%的概率落在置信区间(0.67,0.73)中。 (2) 斜率系数的真值落在置信区间 (0.67,0.73) 中的概率不是零就是 1。 (3) 判断“斜率系数的真值落在置信区间(0.67,0.73)中”的可信度为 95%。 4．在假设检验中，在显著性水平为 ? 的前提下，如果拒绝了正确的 假设，则称这种情况为犯第一类错误。试问犯第一类错误的概率是多少？ 5．根据经典假设，随机扰动项 u t 和 u s ( s ? t ) 是不相关的。同样的结? ? 论适合于残差项 u t 和 u s ( s ? t ) 吗？6．简述均值预测与个值预测的区别。 三 计算题 1 ． 考 虑 截 距 项 为 零 的 简 单 线 性 回 归 模 型Yi ? ? X i ? u i ( i ? 1, 2 , ? , n ) 。找出 ? 的最优线性无偏估计量。2．设一样本回归模型为 Y t ? ? 0 . 4 ? 1 . 0 X t ? e t ( t ? 1, 2 , ? ,52 ) ，其中e t 代表残差，斜率系数的标准误为 0.1,求决定系数 R 。23．两个研究者独立地考虑满足经典假设的同一回归模型Yi ? ? 1 ? ? 2 X2i? u i 。但他们的研究所依据的样本资料不同，根据他们不同的样本得到如下结果 样本 In ? 20 n ? 20 ? 1002 2i样本 II?X2i?X2i 2 2i? 200 ? 2400?X ?Y? 600i? 500?X ?Yi? 700? ? 2? ? 2? ? 2 ?? ? 2 . 5当这两个研究者相互知道对方的研究结果后，他们决定把他们的研究结果 合并起来， 第一个研究者建议按两个估计值的平均数作为 ? 2 的估计值， 即62? ?2 ?1 2? ? ( ? 2 ? ? ? 2 ?? ) 。第二个研究者则声称 ?? 2 不是有效的估计量，他能给出一个有效的无偏估计量。 (1) 试给出第二个研究者的估计量。 (2) 第二个研究者的估计量的方差与第一个研究者的建议相比降低 了百分之几？ 4．假设解释变量只取值 0 和 1。对应于解释变量 X 2 i ? 0 有 n 1 个应变 量的观测值，其平均值为 Y 1 ；对应于解释变量 X 2 i ? 1 有 n 2 个应变量的观 测值，其平均值为 Y 2 。求样本回归系数及其方差。 5．用 22 对观测值得样本回归模型为Y i ? 10 ? 5 X2i? ? ui ,R2? 0 .8分别用 t 检验和 F 检验对解释变量或回归方程进行显著性检验。 6． 设某种庄稼的产量 Y i 和施肥量 X 简单线性回归模型表示。即Yi ? ? 1 ? ? 2 X2i 2i之间的关系可用满足经典假设的? ui( i ? 1, 2 , ? , n )试说明在下列两种情况下，研究者 A 与研究者 B 关于样本回归系数 ?? ，t? 统计量 ?? / S ?? 以及判定系数 R 有何不同？2(1)研究者 A 用千克来表示 Y i 和 X 示Yi 和 X2i2i的单位，而研究者 B 用吨来表的单位。 的单位，而研究者 B 用吨来表(2) 研究者 A 用千克来表示 Y i 和 X 示 Y i 的单位用千克来表示 X2i2i的单位。7．设 Y 和 X 之间的真实关系由如下模型表出Yi ? 2 ? 3 X2i? ui假定在 10 次试验中 X 的取值分别为 1,2,??，10，而相应扰动项的值63从以零为均值的正态分布中随机产生，设为：u 1 ? 0 . 464 u 2 ? 0 . 137 u 3 ? 2 . 455 u 4 ? ? 0 . 323 u 5 ? ? 0 . 068 u 6 ? 0 . 296 u 7 ? ? 0 . 288 u 8 ? 1 . 298 u 9 ? 0 . 241 u 10 ? ? 0 . 957(1) 表出 Y 和 X 的观测值。 (2) 用最小二乘法估计回归系数和其标准误，并与真实值进行比较。 (3) 根据回归结果进行显著性检验。 (4) 当 X ? 12 时，给出 Y 的预测值和 Y 置信度为 95%的置信区间。64
简单线性回归模型―汇集和整理大量word文档,专业文献,应用文书,考试资料,教学教材,办公文档,教程攻略,文档搜索下载下载,拥有海量中文文档库,关注高价值的实用信息,我们一直在努力,争取提供更多下载资源。