多元回归分析概述

一、多元回归分析概述

在处理测量数据时，经常要研究变量与变量之间的关系。变量之间的关系一般分为两种。一种是完全确定关系，即函数关系；一种是相关关系，即变量之间既存在着密切联系，但又不能由一个或多个变量的值求出另一个变量的值。例如，学生对于高等数学、概率与统计、普通物理的学习，会对统计物理的学习产生影响，它们虽然存在着密切的关系，但很难从前几门功课的学习成绩来精确地求出统计物理的学习成绩。但是，对于彼此联系比较紧密的变量，人们总希望建立一定的公式，以便变量之间互相推测。回归分析的任务就是用数学表达式来描述相关变量之间的关系。

回归分析基本原理:

（一） 回归分析的数学模型

相关变量之间的关系可以是线性的，也可以是非线性的。这里只讨论多元线性回归。设x1,x2,…,xp是p个可以精确测量或可控制的变量。如果变量y与x1，x2，…,xp之间的内在联系是线性的，那么进行n次试验，则可得n组数据：(yi, xi1 ,xi2 , … , xip), i= 1,2,…,n

它们之间的关系可表示为：

y1 = b0 + b1x11 + b2x12 + … + bpx1p +ε1

y2 = b0 + b1x21 + b2x22 + … + bpx2p +ε2

…… …… ……

yn = b0 + b1xn1 + b2xn2 + … + bpxnp +εn

其中，b0，b1，b2，…，bp是p＋l个待估参数，εi表示第i次试验中的随机因素对yi 的影响。为简便起见，将此n个方程表示成矩阵形式：

Y = XB+ε

其中

Y=(y1,y2, …,yn)'

B=(b0,b1, …,bp)'

ε=(ε1,ε2, …,εn)'

上式便是p元线性回归的数学模型。

（二） 参数B的最小M乘估计

为了求出多元线性回归模型中的参数b0，b1，b2，…，bp,可采用最小二乘法，即在其数学模型所属的函数类中找一个近似的函数，使得这个近似函数在已知的对应数据上尽可能和真实函数接近。

设c0，c1，c2，…，cp分别是b0，b1，b2，…，bp的最小二乘估计，则多元回归方程（即近似函数）为:

y=c0+c1x1+c1x2+ … +cpxp

其中c0，c1，c2，…，cp叫做回归方程的回归系数。对每一组(xi1,xi2,…,xip),由回归方程可以确定一个回归值yi。这个回归值yi与实际观测值yi之差，反映了yi与回归直线

y=c0+c1x1+c1x2+ … +cpxp的偏离程度。若对所有的观测数据，yi与yi (I=1, 2, …,n)的偏离越小，则认为回归直线与所有试验点拟合得越好。全部观测值yi与回归值yi的偏差平方和为：

根据微分学中的极值原理c0，c1，c2，…，cp应是下列方程组的解：

通过整理可将上述方程组写成如下形式：

即

上式也可以用矩阵表示为：

(X'X)C= X'Y

其中，c=(c0，c1，c2，…，cp)'，称为回归方程的系数矩阵，X'是X的转置矩阵。当X'X满秩时，逆矩阵(X'X)-1存在，系数矩阵C可以表示为：

C= (X'X)-1X'Y

上式即为回归模型中参数B的最小二乘估计。至此，我们就得到了p元线性回归方程。

建立回归方程的目的是要利用它来进行预报与控制。在实际问题中，事先并不能断定随机变量y与x1,x2,…,xp之间确有线性关系，在求解回归方程前，线性回归模型只是一种假设，所以在求出线性回归方程之后，还需对其进行统计检验，给以肯定或否定的结论。有关回归方程及回归系数的显著性检验问题，这里就不介绍了。

（三） 一些非线性回归方程的线性处理简介

由于线性回归方程比较简单，所以在遇到非线性模型时，最好将其转换为线性模型。

（1）多项式模型

多项式模型为y = β0+β1x +β2x2+ … +βkxk+ ε，

对方程中的变量作如下变换x1==x, x2= x2, ……, xk= xk,

则原方程变为y=β0+β1x1 +β2x2+ … +βkxk +ε，

就可用线性模型的方法处理。

（2）指数模型指数模型为：

y=aebxε

方程两边取对数得：lny = lna +bx +lnε

令 y* =lny, β0=lna, β1=b, ε* =lnε

则可得线性方程

y* =β0+β1x+ε*

（3）幂函数模型幂函数模型为：

y =ax1 b1x2b2ε

方程两边取对数得

lny = lna +b1lnx1 +b21nx2 + lnε

令 y* = lny, b0 =lna,

xl* =lnxl，x2* =lnx2, ε* =lnε

则幂函数模型就变为线性模型

y* =b0+b1x1* +b2x2* +ε*

（4）成长曲线模型

成长曲线模型在经济、教育和心理研究中都非常有用，其数学表达式为：

y =1/(β0+β1e-x+ε)

令 y* =1/y x*=e-x,

它就转化为线性模型： y* =β0+β1x*+ε