当前位置: 代码迷 >> 综合 >> Flink1.13优势一览
  详细解决方案

Flink1.13优势一览

热度:67   发布时间:2023-09-18 17:17:10.0

1.13包括一系列重要改动使用户可以更好的理解流作业的性能。当流作业的性能不及预期的时候,这些改动可以使用户可以更好的分析原因。这些改动包括用于识别瓶颈节点的负载和反压可视化、分析算子热点代码的 CPU 火焰图和分析 State Backend 状态的 State 访问性能指标

Flink1.13.1其中一些比较重要的修改包括:

  1. 被动扩缩容
  2. 分析应用的性能
    1. 瓶颈检测与反压监控
    2. Web UI 中的 CPU 火焰图
    3. State 访问延迟指标
  3. 通过Savepoint来切换Sate Backend。
  4. K8s部署时使用用户指定的Pod模式
  5. 生产可用的Unaligned Checkpoint
  6. 机器学习迁移到单独的仓库

SQL / Table API 进展

  1. 通过 Table-valued 函数来定义时间窗口
  2. 提高 DataStream API 与 Table API / SQL 的互操作能力
  3. SQL Client: 初始化脚本和语句集合 (Statement Sets)
  4. 配置简化和代码共享
  5. 通过语句集合来支持多查询
  6. Hive 查询语法兼容性
  7. 优化的 SQL 时间函数

PyFlink 核心优化

  1. Python DataStream API 中的有状态算子
  2. PyFlink DataStream API 中的用户自定义窗口
  3. PyFlink Table API 中基于行的操作
  4. PyFlink DataStream API 支持 Batch 执行模式

其它优化

  1. Web UI 支持历史异常
  2. 优化失败 Checkpoint 的异常和失败原因的汇报
  3. 提供『恰好一次』一致性的 JDBC Sink
  4. PyFlink Table API 在 Group 窗口上支持用户自定义的聚合函数
  5. Batch 执行模式下 Sort-merge Shuffle 优化
  6. HBase 连接器支持异步维表查询和查询缓存