模型表示
具有一个变量的线性回归也称为“单变量线性回归”。
当您想要从单个输入x预测单个输出yshi时，使用单变量线性回归。进行监督学习，这意味着我们已经知道输入/输出的结果了。
假设函数
我们假设函数具有一般形式：
?^=Hθ（x ）=θ0+θ1X
我们将尝试各种theta0和theta2值，找到提供最佳“拟合”或最具代表性的“直线”的值。
成本函数
我们可以使用成本函数来衡量我们的假设函数的准确性。
J(θ0?,θ1?)=1/2m ?i=1∑m?(y^?i??yi?)2=1/2m i=1∑m?(hθ?(xi?)?yi?)2
这表示了预测值与实际值之间的差异。此函数也称作“平方误差函数”或者“均方误差”。平均值减半（/2）是为了便于计算梯度下降，平方函数求导项将抵消1/2.
为了使成本函数降到最小，我们要获得最佳线路，找到合适的theta0,theta1。
梯度下降算法
我们有假设函数，使用一种方法可以衡量它与数据的匹配程度，我们需要估计假设函数中的参数，梯度下降的过程，就是寻找最佳变量的过程。
当参数大于2个的时候，可以通过画轮廓图，当我们成本函数位于途中凹坑的最底部时，成本函数值最小。
我们这样做的方法是用我们的成本函数的导数。切线的斜率是该点的导数，它将为我们提供一个朝向的方向。我们在最陡xia下降的方向上降低成本函数，并且每个步骤的大小由参数α确定，其被称为学习率。
梯度下降的算法是：
重复到收敛
同时更新 （有多少个参数就同时更新几次）
θj?:=θj??α? ??J(θ0?,θ1?)/?θj
对于一元线性回归
θ0：=θ0?α1/m∑i=1/m(hθ(xi)?yi )
θ1：=θ1?α1/m∑i=1/m(hθ(xi)?yi )xi
m是训练集的大小
这样一直进行下去当导数为0时，就到达最低点，此时的参数为成本函数最低时的参数。
局部可能没有最优解，但是全局一定有一个最优解
矩阵的基本运算
加减乘除 逆 转置