其实,我是个演员!

基于最小二乘法的线性回归拟合

Python keguang 121℃ 0评论

阅读本文需要的知识储备:

  • 高等数学
  • 概率论与数理统计
  • Python基础

线性回归,其实生活中有很多这样的例子,比如:票价与行车距离、服务质量之间的关系,买房时房价与面积、地域等的关系。给我们一组这样的数据,我们想找出一个数学关系来描述这个问题,从而得到自己想要的结论。那么,怎么样才能使得你确定出的关系是一个好的线性关系呢。最著名的当数最小二乘法了。

最小二乘法原理

众所周知,最小二乘法原理就是利用,拟合直线上面的因变量值与实际值的残差平方和最小作为优化目标。从而确定出我们需要找出的的系数。给定一组数据X = (X1,X2,…,Xn),Y = (Y1,Y2,…,Yn),一般方法通过画散点图观察我们发现,X、Y之间有可能存在很强的线性关系,当然也可能有其它关系(更高次也是有可能的)。我们的任务就是,通过线性拟合找到合适的线性系数,能最好反应X、Y之间的相关关系。

假设线性方程为:

这里的eps就是指的实际值与直线拟合值的残差,它们肯定会有差值的,一般而言。

目标函数就是因变量值与实际值的残差平方和,定义如下:

其中,红色Yi表示实际给定的数据,蓝色表达式表示根据拟合直线表达式计算的近似代替值,我们的目标是使其达到最小。

数学分析(工科会学高等数学)告诉我们:这是一个二元函数,我们需要找到其极小值点(alpha,beta);可以对目标函数关于alpha,beta分别求偏导数,偏导数如果有零点,这个零点两边函数值为正负,必然存在一个驻点对应目标函数值先下降后增长)。那么,这个点就是我们要求的最优极小值点对应线性拟合系数alpha,beta。

求偏导函数如下:

求偏导数函数零点,理论上可以求出,alpha,beta的值。大家不喜欢公式,我也不喜欢编辑公式(编辑好麻烦),虽然我比较喜欢公式。我觉得实际问题被抽象成数学模型去刻画才是最美的。

经过细心的计算,大家可以算出:

只要算出了beta,利用回归直线过点(x_bar,y_bar),X,Y平均值点,算出alpha即可。

编程实现

Win10环境下用Python3.写的实现程序。
(1)、用的数据:由于暂时没有数据生成线性数据,然后加的噪声;
(2)、用到的函数:
向量内积(点乘)函数、平均值、协方差
(3)、代码如下:

(4)、结果

拟合图如下

结果分析

可以看出我定义的线性方程系数a1 = 1.5,a2 = 2.5,大约就是Y = 1.5+2.5X,最终结果是Y = 2.6786542252575067+2.538861110659364X,因为中间增加了2.5倍的噪声,使得alpha从1.5—>2.68。当然了,这只是我们的感觉,线性拟合效果怎么样,还得看官方标准。

这里用R方(值越大拟合得越好)。

 

转载请注明:不负此生 » 基于最小二乘法的线性回归拟合

喜欢 (0)or分享 (0)
头像
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址