1.1.7.最小角度回归
最小角度回归(LARS)是高位数据回归的算法之一,由Bradley Efron,Trevor Hastie,Iain Johnstone和Robert Tibshirani开发。LARS类似于前向逐步回归。在每一的中,它找到与预测值最相关的值。当多个变量具有相同的线性相关时,不是沿着相同的预测变量继续,而是沿着预测变量之间的等角方向前进。
LARS的优点:
*当p>>n的情况下(即当维度明显大于样本点时),在数值上是有效的。
*它的计算速度与前向选择一样快,并且也普通的最小二乘具有相同的复杂度。
*它会生成完整的分段解决线性方案,这对于交叉验证或者调整模型的类型很有用。
*如果两个变量机会一样,那么它们额系数应该以大致相同的速率增加。因此,该算法的行为与直接相同,并且更加的稳定。
*它很容易被修改为其他估计器提供相应的解决方案,如套索。
LARS的缺点:
*由于LARS基于残差的迭代重新编制,似乎对噪声的影响特别敏感。在Weisberg和Efron等人的讨论部分详细讨论了这个问题。 (2004)统计年鉴文章。
LARS模型可以使用估计器Lars或者更低级的lars_path来使用。