线性回归粗理解：房价?最小二乘法

线性回归背景

现在这个数据爆炸的时代，何种数据充斥这我们的生活，我们可以在这些数据中后的有用的信息，比如：我们想买个房子之前会参考相同类型小区房屋面积，位置，楼层，户型等多个因素，以此估计一个心理价位。这是我们人脑的活动，同样可以把这个过程用电脑转化为一个模型（函数或者关系）以此来预测房价。
与此相似，有很多应用：股价，天气等。

构建关系式

线性回归在我看来就是通过大量数据拟合（猜、预测）的一个函数，
比如说哈，我们可以通过一个小区的大量房屋数据，拟合出一个房价与面积，位置，楼层，户型等多个因素之间的关系函数，房价就是因变量y，面积是自变量x1，位置是自变量x2，楼层是自变量x3，户型是自变量x4。而每个自变量对价格的影响又各不相同，所以在x前边得加上各自的权重θ。所以由此公式

而房价y可能与x不是一次方的关系，可能是多阶。所以可以得到

这样便推导出了房价关于各自变量的关系函数，是一个矩阵的形式，

只要求出权重θ也就求出了这个模型。

权重θ是模型构建的关键，优秀的权重θ才可以正确的作出预测
求解权重θ的方式就是最小二乘法

最小二乘法

现在不管矩阵，这就是一个一次函数的形式，结果就是我们预测的房价。如果预测的房价和真实的房价差值越小，这个模型也就越真实。所以我们可以这样来看

Y为真实房价，差值就可以代表估计的误差。
但这样如果两套房子的差值一个为+5，一个为-5，加起来看整体就是误差为0。显然这样是不科学的。所以进行处理，得到损失函数：

有同学会进行绝对值处理，但绝对值会有很尖锐的拐点，不符合我们自然界规律。所以还得是用类似欧拉距离的处理

到了这儿呢，我们会发现损失函数是一个二阶函数的形式，而且开口向上。所以会有最小值也就是极小值。我们可以用高数的方法求出。
但是呢，现在背景是求预测房价的准确程度，也就是类似概率的形式，所以这儿更好的思想是概率论中的最大似然估计：

1. 先对损失函数进行矩阵处理

第一步是线代中知识，有不懂得可以评论里讨论哈

2. 接着就是对大似然估计的求导，并赋值为0

矩阵求导公式可以百度，此处仅提供此处所用公式

结束

此时我们的权重θ也就求出了，我们的模型构建也就完成。这只是我们构建模型思想中的一个小原理，以后我会继续分享多种构建模型的方法。