Smartbi Mining平台是一个注重于实际生产应用的数据分析预测平台,它旨在为个人、团队和企业所做的决策提供预测。该平台不仅可为用户提供直观的流式建模、拖拽式操作和流程化、可视化的建模界面,还提供了大量的数据预处理操作。此外,它内置了多种实用的、经典的机器学习算法,并基于Smartbi对企业客户的长期经验,提供了大量实用的企业级平台特性。具体特性如下:
适应大型企业
1、分布式云计算,线性扩展,保证性能
2、与BI平台无缝整合,一键发布挖掘模型
3、模型库提高知识复用,减少重复投入
4、支持跨库查询,统一控制数据访问权限
5、训练自动化、模型自学习,提供企业级模型工厂
适应普通用户
1、直观易上手的流式建模,极简风格的节点配置界面
2、支持可视化探索,轻松理解数据质量和数据关联
3、流程节点在线帮助,随用随查
4、模型超参数自动调整,降低使用门槛
专业算法能力
1、内置5大类机器学习成熟算法
2、支持文本分析处理
3、支持使用Python扩展挖掘算法
4、支持使用SQL扩展数据处理能力
5、自动特征组合,实现有效的特征生成
从功能角度,它涵盖了主流数据挖掘产品的各种功能,且拥有自己的特色:
01一站式体验
业务用户可以在摒除技术层面的情况下,快速创建自己的工作流或模型,并且将这些工作流和模型应用于实际工作中:可以将处理后的数据基于Smartbi定制分析报告等。
应用实现的流程如下:
1、通过拖拽的方式定制工作流或模型。
2、保存工作流或模型。
3、利用Smartbi报表功能进行分析报告定制。
02快捷的学习导向
平台内置了12个具有代表性的应用案例,初学者可以基于对案例的学习,或者修改案例现有工作流部分节点的方式快速掌握Smartbi Mining的使用。
03强大的数据服务应用能力
将训练完成的模型或工作流以服务的形式发布,可以实现用户自助式地对新数据进行预测评估或处理。
1、 支持服务部署
服务部署的作用是将已经训练好的优化预测模型部署成为Web服务,提供API供实际业务使用。 用户可直接通过调用该API向其发送数据,获取优化模型的预测数据。它也支持实时或者以批处理模式发送数据。
基于已保存的训练模型,场景案例数据(服务输入),即可通过服务输出查看预测数据,点击部署服务,则自动保存到服务管理之中。
2、 服务查看和删除
对于部署好的服务可以进行统一的管理,可直接使用其API或者执行删除操作。如若需要删除,即点击服务对应地方的删除按钮即可。
在服务管理下的服务列表中点击对应模型的服务,可以查看服务API的信息,也可以直接在程序中通过调用该API,得到模型预测数据,此外也支持修改服务的配置信息,例如服务别名、服务描述。
在调用服务之前,可对服务API进行相应的测试,确保API能正常使用,返回数据是否达到需求。例如输入测试数据,服务会返回测试结果。
3、 已优化的训练模型的保存和应用
保持已优化的训练模型是指将用户自定义的模型持久化到平台下,方便后续的使用。
操作入口:在“训练”节点的右键菜单中,点击 保存模型,输入相关的模型名称及信息:
该模型即会保存到已训练模型文件夹下。 用户可直接拖拽已训练好的模型使用,无需再次训练,但是需要注意所使用的特征需要与训练模型时的特征保持一致。
04多样性的数据源库和目标库支持
1、 数据来源:支持读取多种数据源
Smartbi Mining平台支持五类数据来源:第一种是从hdfs读取文本数据源,第二种是内置案例的数据源,第三种是Smartbi关系型数据源,第四种是将本地数据(如Excel文件)上传到高速缓存库然后通过关系型数据源读取数据,第五种是来源于Smartbi的数据集。
2、数据目标源:支持Smartbi多种数据源
将实验过程中的数据,导出到关系数据源中,例如:ClickHouse、Oracle、HDFS。可提供给Smartbi使用。平台除了支持将数据导出到以上的关系数据库中,也支持将数据导出到Smartbi的数据库中,方便用户直接使用数据进行其它操作。目前支持Smartbi的数据库包含:Infobright、ClickHouse、Vertica、Oracle、Mysql、DB2、MSSQL。
05丰富的数据预处理方法
1、 支持拆分、过滤、增加序列号等多种数据预处理方法
目前平台可支持的常规预处理方法包含:随机采样、加权采样、分层采样、数据拆分、字段过滤与映射、列选择、过滤空值、合并列、合并行、JOIN、元数据编辑、行选择、去除重复值、排序、增加序列号、聚合、分列、派生列、类型转换。
2、 支持数据选择、转换、离散、主成分特征提取等操作
平台支持数据的特殊处理:将连续型数据进行离散化、将字符型数据转换成为离散型数据、对高维数据进行降维提取主成分特征等操作,它还支持根据需要预测的目标,为用户自动选取特征。
3、 支持自动调参
平台支持为所有算法自动最优调参。
这些特殊的处理操作可轻松帮助用户利用有效数据以及帮助用户从众多数据找出有价值的数据。
4、无缝集成SQL脚本语言
平台可支持SQL语言,满足高级分析需求,实现自定义算法的快速集成与新增。
06大量实用的机器学习算法
该平台支持多种高效实用的机器学习算法,包含了分类、聚类、回归等算法,其中包含了多种可训练的模型:逻辑回归、决策树、随机森林、朴素贝叶斯、支持向量机、线性回归、K均值、DBSCAN、高斯混合模型。
平台支持的分类预测算法:逻辑回归、朴素贝叶斯、支持向量机、决策树、随机森林。分类预测算法主要用于类别预测划分。使用场景:疾病预测、用电违约预测、种类划分、换机预测、银行理财产品定购预测、信用预测。
平台支持的回归预测算法:线性回归。回归预测方法主要用于走势预测。使用场景:天气预测、房价预测、股票预测。
平台支持的聚类算法:K均值、混合高斯模型、DBSCAN。 聚类算法主要用于特征分群。使用场景:企业信息聚类、葡萄酒种类识别。
这些经典的算法,高效易用,可满足用户不同的使用场景,帮助客户轻松实现数据挖掘。
07灵活的扩展接口
支持自定义Python或JAVA代码,灵活帮助用户扩展算法库及资源树节点。
08可视化效果
平台的可视化效果主要包含的内容有:工作流定制可视化、数据可视化、分析结果可视化。
1、工作流定制可视化:拖拽节点和连线,直观流式建模
2、数据可视化:预处理数据结果的可视化效果,通常以表格形式
3、分析结果可视化:支持相关性分析、平行坐标、散点图等多种统计分析和图表
09完美的备份机制
为了避免数据的意外受损,无论是Smartbi Mining平台还是Smartbi系统都支持对资源备份,用户可以根据自身的需要选择相应的方式。
1、工作流导出导入
工作流备份是指将工作流DAG资源单独导出到本地,文件后缀名为“.smartbim”命名。
2、资源导出导入
平台支持一个或者多个案例资源导入和导出。资源导入是指将本地的案例资源导入到系统知识库。该功能与资源导出配合使用,常用于开发机与生产机系统间资源文件的迁移。平台支持从本地导入一个或者多个案例资源到系统中。此外,平台也可以从系统中导出资源,它是指将系统知识库中的案例资源以“.xml”的格式导出到本地。当导出案例资源时,导出案例资源会包含其名称,描述信息以及参数信息等。
3、知识库备份恢复
知识库备份是指以“.zip”的格式将知识库中所有的资源文件存储到本地。
知识库备份可以用于知识库迁移,对知识库进行定期的备份可以帮助用户保护其数据免受意外的损失。
备份的知识库通过恢复操作实现知识库数据的还原。