机器学习_高偏差(High bias)与高方差(High vars)

笔者之前写过篇有关学习曲线和过拟合的，里面表述不是非常清晰。最近刚刚刷完吴恩达老师2017的机器学习课程，又看到吴恩达老师的深度学习中1.5节。 所以，就来了兴致，准备把高偏差和高方差梳理下记录下来。

一、高偏差和高方差是什么

这里直接用吴恩达老师的机器学习课程的图来做解释
非常直观

高偏差（High bias）

对于高偏差的模型增加训练数据并不会改善模型的效果

高方差（High vars）

对于高方差的模型增加训练数据会在一定程度上改善模型的效果

二、改善策略

我们将在下面的数据集上演示

x = np.array(list(range(2000)) + list(range(50)) + list(range(20)) + list(range(10))) + 1
y = 2 * np.log(x * x) + np.random.rand(len(x)) * 3 + np.cos(x)
plt.scatter(x, y, s=5, alpha=0.6)
plt.show()

模型简单训练和绘制学习曲线如下

def sklearn_plot_learning_curves(model_in, x_in, y_in, ax=None):x_train, x_test, y_train, y_test = train_test_split(x_in, y_in, test_size=0.25)y_train = y_train.reshape((-1, 1))y_test = y_test.reshape((-1, 1))train_errors, test_errors = [], []for m in tqdm(range(1, len(x_train), 20)):model_t = model_in.fit(x_train, y_train)y_train_pre = model_t.predict(x_train[:m])y_test_pre = model_t.predict(x_test)train_errors.append(mean_squared_error(y_train[:m], y_train_pre))test_errors.append(mean_squared_error(y_test, y_test_pre))print('y_test_pre.shape:', y_test_pre.shape)ax.plot(train_errors, 'r-+', lw=2, label='train', alpha=0.6)ax.plot(test_errors, 'b-', lw=2, label='test', alpha=0.6)ax.legend(loc='upper right')ax.set_title(f"total sample: {x_in.shape[0]}")return model_tdef sklearn_simple_train(model_in, x, y, add_log=False):"""单一特征训练"""fig, axes = plt.subplots(1, 2, figsize=(16, 6))if add_log:reg_ = sklearn_plot_learning_curves(model_in, np.c_[x, np.log1p(x)], y, ax=axes[0])else:reg_ = sklearn_plot_learning_curves(model_in, x, y, ax=axes[0])x_p = np.linspace(0, x.shape[0], 100)if add_log:y_p = reg_.predict(np.c_[x_p.reshape((-1, 1)), np.log1p(x_p.reshape((-1, 1)))])else:y_p = reg_.predict(x_p.reshape((-1, 1)))axes[1].scatter(x, y, s=5, alpha=0.6)axes[1].scatter(x_p, y_p, s=5, alpha=0.6)axes[1].set_title(f'add_log: {add_log}')plt.show()

改善高偏差（High bias）

lr = LinearRegression()
sklearn_simple_train(lr, x, y)

对于单一维度简单模型拟合，出现高偏差，增加数据并不会改善模型。

• 增加训练特征
• 增加多项式特征
  • 增加了特征，显然从原先的cost大于8， 到现在的1.3左右，从拟合线上看，也是显著好转。

• 减少正则
• 在不增加数据和特征的情况下，还可以采用复杂的模型
  • 如 xgb的树回归

xgb_lr = XGBRegressor()
sklearn_simple_train(xgb_lr, x, y)

改善高方差（High vars）

• 增加更多的训练样本
  • 从我们采用xgb树回归的时候，我们发现存在较大的方差，所以，我们可以考虑增加数据量
  • 增加训练数据果然达到了我们所需要的效果
    
• 减少训练特征
• 增加正则