多变量线性回归(Linear Regression with Multiple Variables)

1 多维特征

在上一篇文章中，探讨了单变量/特征的回归模型。现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为(x₁,x₂,…,x_n)。

增添更多特征后，我们引入一系列新的注释：

n 代表特征的数量

x⁽ⁱ⁾代表第 i 个训练实例，是特征矩阵中的第 i 行，是一个向量（vector）。

比方说，上图的

x_j⁽ⁱ⁾代表特征矩阵中第 i 行的第 j 个特征，也就是第 i 个训练实例的第 j 个特征。

如上图的x₂⁽³⁾=3，x₃⁽²⁾=2；

支持多变量的假设 h 表示为：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_n{x}_n$，这个公式中有 n+1 个参数和 n 个变量，为了使得公式能够简化一些，引入$x_0$，则公式转化为：$h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_n{x}_n$

此时模型中的参数是一个 n+1 维的向量，任何一个训练实例也都是 n+1 维的向量，特征矩阵 X 的维度是$m?(n+1)$，因此公式可以简化为：$h_{\theta }(x)={\theta }^{T}X$，其中上标 T 代表矩阵转置。

多变量梯度下降

与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，则这个代价函数是建模误差的平方和，即：$$J\left({\theta }_0,{\theta }_1\dots {\theta }_n\right)=\frac{1}{2m}\sum _{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)?y^{(i)}\right)}^2$$
其中：$h_{\theta }(x)={\theta }^{T}X={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_n{x}_n$

我们的目标和单变量线性回归问题中一样，是要找出使得代价函数最小的一系列参数。 多变量线性回归的批量梯度下降算法为：

求导数后得到：

当$n\ge 1$时，${\theta }_0:={\theta }_0?a\frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)?y^{(i)}\right)x_0^{(i)}$

${\theta }_1:={\theta }_1?a\frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)?y^{(i)}\right)x_1^{(i)}$

${\theta }_2:={\theta }_2?a\frac{1}{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)?y^{(i)}\right)x_2^{(i)}$
… …
我们开始随机选择一系列的参数值，计算所有的预测结果后，再给所有的参数一个新的值，如此循环直到收敛。

3 梯度下降法实践——特征缩放

在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。

以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-2000平方英尺，而房间数量的值则是0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图能，看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。

解决的方法是尝试将所有特征的尺度都尽量缩放到-1到1之间。

最简单的方法是令：$x_n=\frac{x_n?{\mu }_n}{s_n}$，其中${\mu }_n$是平均值，$s_n$是标准差。

4 梯度下降法实践——学习率

梯度下降算法的每次迭代受到学习率的影响

如果学习率过小，则达到收敛所需的迭代次数会非常高；如果学习率过大，每次迭代可能不会减小代价函数，可能会越过局部最小值导致无法收敛。

通常可以考虑尝试些学习率：

$\alpha =0.01,0.03,0.1,0.3,1,3,10$








以上是对吴恩达老师课程的知识总结