当前位置: 代码迷 >> 综合 >> Flink1.13优势一览
  详细解决方案

Flink1.13优势一览

热度:67   发布时间:2023-09-18 17:17:10.0

1.13包括一系列重要改动使用户可以更好的理解流作业的性能。当流作业的性能不及预期的时候,这些改动可以使用户可以更好的分析原因。这些改动包括用于识别瓶颈节点的负载和反压可视化、分析算子热点代码的 CPU 火焰图和分析 State Backend 状态的 State 访问性能指标。

Flink1.13.1其中一些比较重要的修改包括:

  1. 被动扩缩容
  2. 分析应用的性能
    1. 瓶颈检测与反压监控
    2. Web UI 中的 CPU 火焰图
    3. State 访问延迟指标
  3. 通过Savepoint来切换Sate Backend。
  4. K8s部署时使用用户指定的Pod模式
  5. 生产可用的Unaligned Checkpoint
  6. 机器学习迁移到单独的仓库

SQL / Table API 进展:

  1. 通过 Table-valued 函数来定义时间窗口
  2. 提高 DataStream API 与 Table API / SQL 的互操作能力
  3. SQL Client: 初始化脚本和语句集合 (Statement Sets)
  4. 配置简化和代码共享
  5. 通过语句集合来支持多查询
  6. Hive 查询语法兼容性
  7. 优化的 SQL 时间函数

PyFlink 核心优化:

  1. Python DataStream API 中的有状态算子
  2. PyFlink DataStream API 中的用户自定义窗口
  3. PyFlink Table API 中基于行的操作
  4. PyFlink DataStream API 支持 Batch 执行模式

其它优化:

  1. Web UI 支持历史异常
  2. 优化失败 Checkpoint 的异常和失败原因的汇报
  3. 提供『恰好一次』一致性的 JDBC Sink
  4. PyFlink Table API 在 Group 窗口上支持用户自定义的聚合函数
  5. Batch 执行模式下 Sort-merge Shuffle 优化
  6. HBase 连接器支持异步维表查询和查询缓存