集成学习：GBDT

0 简介

Boosting的一种 构造样本标签值 通过弱学习器学习新的样本标签
一般用于回归 弱学习器用回归决策树 CART

关键思想:

• 用负梯度构造新的样本标签
• 弱学习器来学习新的标签

1 流程

(1)初始化强学习器$$
(2)对于弱学习器 m=1,2,3…M

• 计算梯度 修改样本标签值为负梯度
  $$y\prime =?[\frac{?L(y,f(x_i))}{?F(x_i)}{]}_F(x)=F_{m?1}(x)$$
• 训练若学习器
  $$a_m=arg?min\sum _{i=1}^N(y_i\prime ?\beta h(x;a){)}^2$$
• 确定系数
  $${\beta }_m=arg?min\sum _{i=1}^{N}L(y_i,F_{m?1}(x_i)+\beta h(x_i;a_m))$$
  (3)更新强学习器
  $$F_m(x)=F_{m?1}(x)+\beta h(x;a_m)$$

2 回归

大多回归问题使用
以回归来说 损失函数用平方损失
$$L(y,f(x_i))=\frac{1}{2}(y?f(x_i){)}^2$$
$$梯度=?(y?f(x_i))$$

h(x)是弱学习器 β是系数 $a_m$是h的参数

$$F_m(x)=F_{m?1}(x)+\beta h(x;a_m)$$
$$F_m(x)\approx F_{m?1}(x)?梯度$$
所以
$$min(?梯度?\beta h(x;a_m){)}^2$$
即
$$min(y?f(x_i)?\beta h(x;a_m){)}^2$$
负梯度正好等于残差
也就是说每个弱学习器来拟合之前的残差

3 分类