python3 快速上手AdaBoost(Adaptive Boosting)_综合

python3 快速上手AdaBoost(Adaptive Boosting)

Adaptive Boosting简介
核心概念：
一种分类算法的组装方法，即将弱分类器组装成强分类器的方法。
算法逻辑：
(1)每次产生一个弱的分类器，把本轮分类错误的样本增加权重丢入下一轮；
(2)下一轮对上一轮分错的样本增加权重再次学习，获得另一个弱分类器；
(3)进过N轮之后，获得了N个弱分类器，再将这些分类器组合再一起，形成一个强分类器。
Sklearn之AdaBoost

参数说明如下：

base_estimator：可选参数，默认为DecisionTreeClassifier。理论上可以选择任何一个分类或者回归学习器，不过需要支持样本权重。我们常用的一般是CART决策树或者神经网络MLP。默认是决策树，即AdaBoostClassifier默认使用CART分类树DecisionTreeClassifier，而AdaBoostRegressor默认使用CART回归树DecisionTreeRegressor。另外有一个要注意的点是，如果我们选择的AdaBoostClassifier算法是SAMME.R，则我们的弱分类学习器还需要支持概率预测，也就是在scikit-learn中弱分类学习器对应的预测方法除了predict还需要有predict_proba。
algorithm：可选参数，默认为SAMME.R。scikit-learn实现了两种Adaboost分类算法，SAMME和SAMME.R。两者的主要区别是弱学习器权重的度量，SAMME使用对样本集分类效果作为弱学习器权重，而SAMME.R使用了对样本集分类的预测概率大小来作为弱学习器权重。由于SAMME.R使用了概率度量的连续值，迭代一般比SAMME快，因此AdaBoostClassifier的默认算法algorithm的值也是SAMME.R。我们一般使用默认的SAMME.R就够了，但是要注意的是使用了SAMME.R，则弱分类学习器参数base_estimator必须限制使用支持概率预测的分类器。SAMME算法则没有这个限制。
n_estimators：整数型，可选参数，默认为50。弱学习器的最大迭代次数，或者说最大的弱学习器的个数。一般来说n_estimators太小，容易欠拟合，n_estimators太大，又容易过拟合，一般选择一个适中的数值。默认是50。在实际调参的过程中，我们常常将n_estimators和下面介绍的参数learning_rate一起考虑。
learning_rate：浮点型，可选参数，默认为1.0。每个弱学习器的权重缩减系数，取值范围为0到1，对于同样的训练集拟合效果，较小的v意味着我们需要更多的弱学习器的迭代次数。通常我们用步长和迭代最大次数一起来决定算法的拟合效果。所以这两个参数n_estimators和learning_rate要一起调参。一般来说，可以从一个小一点的v开始调参，默认是1。
random_state：整数型，可选参数，默认为None。如果RandomState的实例，random_state是随机数生成器;如果None，则随机数生成器是由np.random使用的RandomState实例。

3.接下来是使用python3调用AdaBoost对马疝病数据集进行训练，预测病马死亡率：

import numpy as np
from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier#读取数据集，返回数据与标签的方式
def loadDataSet(fileName):numFeat = len((open(fileName).readline().split('\t')))dataMat = []; labelMat = []fr = open(fileName)for line in fr.readlines():lineArr = []curLine = line.strip().split('\t')for i in range(numFeat - 1):lineArr.append(float(curLine[i]))dataMat.append(lineArr)labelMat.append(float(curLine[-1]))return dataMat, labelMatif __name__ == '__main__':dataArr, classLabels = loadDataSet('horseColicTraining2.txt')testArr, testLabelArr = loadDataSet('horseColicTest2.txt')bdt = AdaBoostClassifier(DecisionTreeClassifier(max_depth = 2), algorithm = "SAMME", n_estimators = 10)#调用AdaBoostbdt.fit(dataArr, classLabels)predictions = bdt.predict(dataArr)errArr = np.mat(np.ones((len(dataArr), 1)))print('训练集的错误率:%.3f%%' % float(errArr[predictions != classLabels].sum() / len(dataArr) * 100))predictions = bdt.predict(testArr)errArr = np.mat(np.ones((len(testArr), 1)))print('测试集的错误率:%.3f%%' % float(errArr[predictions != testLabelArr].sum() / len(testArr) * 100))

预测结果：
在这里插入图片描述

废话一句，这只是快速实战的方式，如果想了解该算法详细的推导过程，可转贴细看。