当前位置: 代码迷 >> 综合 >> CDH技术向视频:PaaS、flink、kafka、Workload XM、Cloudera Machine Learning
  详细解决方案

CDH技术向视频:PaaS、flink、kafka、Workload XM、Cloudera Machine Learning

热度:70   发布时间:2024-02-28 23:05:33.0

CDP私有云上面的PaaS服务,也即是容器化的数据体验服务,一共有五类PaaS服务:CDW、CDE、CML、CDF、COD。本视频主要展示CDW和CML两类服务。
CDW封装了Hive LLAP和Impala服务,这些服务运行在K8S之上,让你可以快速部署计算集群、动态增加节点或者缩减节点。
CML封装了CDSW服务,也是运行在K8S之上。与CDSW不同的是,CML不再只是Spark客户端,而是独立管理Spark服务,不需要连接外部CDH/HDP集群。CML既可以实现不同用户之间的资源隔离,也可以实现多个团队之间的协同合作,在整个企业中提供一致性的用户体验。https://mp.weixin.qq.com/s/gKD-DEd-Q72nfxnJai4hCQ

Cloudera在2020年6月推出了最新的Flink 1.10版本,增加了和Atlas、Kudu的集成接口,并且优化了SQL/Table API和SQL客户端。使用Flink SQL可以极大降低代码开发工作量。本视频主要展示Flink SQL客户端查询功能。比较常见的流处理方式是连接kafka topic,创建一个Flink table,然后通过Flink SQL进行查询。然后将查询结果写入一个新的kafka topic。https://mp.weixin.qq.com/s/dIzAjooiToxLgnB_zD7I2w

Workload XM 能够实时提取CDH/HDP/CDP平台内的常用计算引擎(例如Impala,Spark,Hive等)运行日志,形成可视化的性能图表,使用户能够全面了解平台上各类应用的性能指标,从而进行自助式的问题诊断和性能优化。本视频主要展示Workload XM的六大特色功能。https://mp.weixin.qq.com/s/1lLWawp_dTNrsi-NpNumBQ

Cloudera解决方案工程师分享,内容包括:Workload XM介绍、Workload XM原理及架构,以及Demo演示。https://mp.weixin.qq.com/s/xY1BiNP3g_ym2_nHchgLJQ

Cloudera解决方案工程师分享,内容包括:Kafka项目能力演进、元数据管理、监控、运营、安全、容灾及多集群镜像等。https://mp.weixin.qq.com/s/cxqooAvLujpEV9p8fp2S8Q

Cloudera Machine Learning(CML)是云原生的机器学习平台,采用最新的Kubernetes + Docker 的技术架构,支持机器学习完整的生命周期,包括数据探索,模型开发和训练,模型部署以及交互式应用等。本次研讨会详细介绍CML的功能和技术架构,同时通过模型可解释性(Model Interpretability)演示使用CML开发一个完整机器学习应用的过程。https://mp.weixin.qq.com/s/UB_42SZOYwaOHtN4tBDbUQ

  相关解决方案