一、模型原理介绍
1、逻辑回归模型
逻辑回归是分类机器学习算法，它将数据拟合到一个logit函数(或者叫做logistic函数)中，从而能够完成对事件发生的概率进行预测。逻辑回归的本质是为解决线性回归的预测结果是一个连续值而存在的，它将线性回归无法限定的结果创造性地用sigmoid函数，映射到0-1之间，如此就能轻松解决二分类问题了。
2、 树模型
决策树(decision tree)：是一种基本的分类与回归方法，决策树构建3个步骤：特征选择、决策树的生成和决策树的修剪。而通常特征选择的标准是信息增益(information gain)或信息增益比。信息增益：即这个特征有更好的分类能力，信息增益越大，特征对最终的分类结果影响也就越大。
典型的决策树的算法：、ID3，C4.5和CART。
ID3: ID3算法的核心是在决策树各个结点上对应信息增益准则选择特征，递归地构建决策树。具体方法是：从根结点(root node)开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子节点；再对子结点递归地调用以上方法，构建决策树；直到所有特征的信息增益均很小或没有特征可以选择为止，最后得到一个决策树。ID3相当于用极大似然法进行概率模型的选择。
CART：树是一个决策树模型，与普通的ID3，C4.5相比，CART树的主要特征是，它是一颗二分树，每个节点特征取值为“是”和“不是”。举个例子，在ID3中如果天气是一个特征，那么基于此的节点特征取值为“晴天”、“阴天”、“雨天”，而CART树中就是“不是晴天”与“是晴天”。
3、集成模型
集成模型：通过组合多个学习器来完成学习任务，通过集成方法，可以将多个弱学习器组合成一个强分类器，因此集成学习的泛化能力一般比单一分类器要好。
集成方法主要包括Bagging和Boosting，Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最终得到不一样的效果。常见的基于Baggin思想的集成模型有：随机森林、基于Boosting思想的集成模型有：Adaboost、GBDT、XgBoost、LightGBM等。
这样的决策树递归的划分每个特征，并且在输入空间的每个划分单元中确定唯一的输出。
二、模型对比与性能评估
1、逻辑回归
优点
a. 训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；
b. 简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；
c. 适合二分类问题，不需要缩放输入特征；
d. 内存资源占用小，只需要存储各个维度的特征值；
缺点
a. 逻辑回归需要预先处理缺失值和异常值【可参考task3特征工程】；
b. 不能用Logistic回归去解决非线性问题，因为Logistic的决策面是线性的；
c. 对多重共线性数据较为敏感，且很难处理数据不平衡的问题；
d. 准确率并不是很高，因为形式非常简单，很难去拟合数据的真实分布；
2、决策树
优点
a. 简单直观，生成的决策树可以可视化展示
b. 数据不需要预处理，不需要归一化，不需要处理缺失数据
c. 既可以处理离散值，也可以处理连续值
缺点
a. 决策树算法非常容易过拟合，导致泛化能力不强（可进行适当的剪枝）
b. 采用的是贪心算法，容易得到局部最优解
3、集成模型
Baggin和Boosting的区别总结如下：
样本选择上： Bagging方法的训练集是从原始集中有放回的选取，所以从原始集中选出的各轮训练集之间是独立的；而Boosting方法需要每一轮的训练集不变，只是训练集中每个样本在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整
样例权重上： Bagging方法使用均匀取样，所以每个样本的权重相等；而Boosting方法根据错误率不断调整样本的权值，错误率越大则权重越大
预测函数上： Bagging方法中所有预测函数的权重相等；而Boosting方法中每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重
并行计算上： Bagging方法中各个预测函数可以并行生成；而Boosting方法各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。
GBDT是一个集成模型，可以看做是很多个基模型的线性相加，其中的基模型就是CART回归树。
4、模型评估方法
误差：在训练集上的误差叫训练误差或经验误差，在测试集上的误差在测试误差。实际上，我们希望通过对已有样本的学习掌握样本的内在规律，并且关心和需要的也是希望测试误差尽可能小，即模型对于新样本的泛化能力比较强。
因此我们通常将已有的数据集划分为训练集和测试集两部分，其中训练集用来训练模型，而测试集则是用来评估模型对于新样本的判别能力。
数据集划分原则：
训练集和测试集的分布要与样本真实分布一致，即训练集和测试集都要保证是从样本真实分布中独立同分布采样而得；
训练集和测试集要互斥。
数据集划分方法：
留出法：留出法是直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T。需要注意的是在划分的时候要尽可能保证数据分布的一致性，即避免因数据划分过程引入额外的偏差而对最终结果产生影响。为了保证数据分布的一致性，通常我们采用分层采样的方式来对数据进行采样。通常，会将数据集D中大约2/3~4/5的样本作为训练集，其余的作为测试集。
交叉验证法:k折交叉验证通常将数据集D分为k份，其中k-1份作为训练集，剩余的一份作为测试集，这样就可以获得k组训练/测试集，可以进行k次训练与测试，最终返回的是k个测试结果的均值。交叉验证中数据集的划分依然是依据分层采样的方式来进行。对于交叉验证法，其k值的选取往往决定了评估结果的稳定性和保真性，通常k值选取10。当k=1的时候，我们称之为留一法
自助法:我们每次从数据集D中取一个样本作为训练集中的元素，然后把该样本放回，重复该行为m次，这样我们就可以得到大小为m的训练集，在这里面有的样本重复出现，有的样本则没有出现过，我们把那些没有出现过的样本作为测试集。进行这样采样的原因是因为在D中约有36.8%的数据没有在训练集中出现过。留出法与交叉验证法都是使用分层采样的方式进行数据采样与划分，而自助法则是使用有放回重复采样的方式进行数据采样
数据集划分总结:
3. 对于数据量充足的时候，通常采用留出法或者k折交叉验证法来进行训练/测试集的划分；
4. 对于数据集小且难以有效划分训练/测试集时使用自助法；
5. 对于数据集小且可有效划分的时候最好使用留一法来进行划分，因为这种方法最为准确
5、模型评价标准
ROC曲线中的四个点：
点(0,1)：即FPR=0, TPR=1，意味着FN＝0且FP＝0，将所有的样本都正确分类；
点(1,0)：即FPR=1，TPR=0，最差分类器，避开了所有正确答案；
点(0,0)：即FPR=TPR=0，FP＝TP＝0，分类器把每个实例都预测为负类；
点(1,1)：分类器把每个实例都预测为正类
总之：ROC曲线越接近左上角，该分类器的性能越好，其泛化性能就越好。而且一般来说，如果ROC是光滑的，那么基本可以判断没有太大的overfitting。
但是如果要判断哪个模型的泛化能力更好，我们需要引入AUC，如果模型A的ROC曲线完全包住了模型B的ROC曲线，那么我们就认为模型A要优于模型B；如果两条曲线有交叉的话，我们就通过比较ROC与X，Y轴所围得曲线的面积来判断，面积越大，模型的性能就越优，这个面积我们称之为AUC(area
under ROC curve)
