EDA
数据总体了解
- 读取数据集并了解数据集大小，原始特征维度
- 读取数据的扩展知识 ：对于文件特别大的场景，通过nrows参数，来设置读取文件的前多少行；分块读取
- 通过info熟悉数据类型
- 粗略查看数据集中各特征基本统计量
缺失值和唯一值
- 查看数据缺失值
- 查看唯一值特征情况
深入数据-查看数据类型
- 类别型数据
- 数值型数据
- 离散数值型数据
- 连续数值型数据
特征分箱
- 数值型特征本是可以直接入模的，但往往风控人员要对其做分箱，转化为WOE编码进而做标准评分卡等操作。
- 从模型效果上来看，特征分箱主要是
- 为了降低变量的复杂性，分类模型中需要对连续变量离散化，可以降低模型过拟合的风险，更稳定。
- 离散特征的增加和减少都很容易，易于模型的快速迭代
- 稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展。
- 减少变量噪音对模型的影响，离散化后的特征对异常数据有很强的鲁棒性，比如一个特征年龄>1 是1，否则是0，如果特征没有离散化，一个异常数据300岁会给模型造成很大的干扰。
- 可以将缺失的作为独立的一类带入模型
- 逻辑回归属于广义线性模型，表达能力受限，单变量离散化为N 个后，每个变量有单独的权重，相当于为模型引入了非线性，能够提升模型表达能力，加大拟合。
- 离散化后可以进行特征交叉，由M+N 个变量变为M*N 个变量，进一步引入非线性，提升表达能力。？？？
- 提高自变量和因变量的相关度。从而使模型更加稳定。？？？
数据间相关关系
- 特征和特征之间关系
- 特征和目标变量之间关系
- 根绝y值不同可视化x某个特征的分布
- 首先查看类别型变量在不同y值上的分布
- 其次查看连续型变量在不同y值上的分布
- 时间格式数据处理及查看