当前位置: 代码迷 >> 综合 >> Flink Interval Join源码理解
  详细解决方案

Flink Interval Join源码理解

热度:23   发布时间:2023-10-17 02:50:59.0

参考: https://www.jianshu.com/p/179beca9f307

interval join :两条数据流+between边界+过期数据清理

demo:

Flink Interval Join源码理解

 下面看下源码实现

intervalJoin 属于 KeyedStream,源码部分也在KeyedStream中

Flink Interval Join源码理解 

  • KeyedStream的intervalJoin创建并返回IntervalJoin
  • IntervalJoin提供了between操作,用于设置interval的lowerBound及upperBound,即between边界区间(默认闭区间),between操作创建并返回IntervalJoined
  • Flink Interval Join源码理解
  •  IntervalJoined提供了process操作,process操作里头创建了IntervalJoinOperator
  • Flink Interval Join源码理解

在这里return的是 left.connect(right).keyBy(keySelector1, keySelector2) , 因为left.connect(right)返回的是 ConnectedStreams, keySelector1/2是指demo中两个数据流的keyBy条件,类似与flinksql join中的 on

换类了,现在是IntervalJoinOperator类中了,重点也就在IntervalJoinOperator

Flink Interval Join源码理解

 

  • IntervalJoinOperator继承了AbstractUdfStreamOperator抽象类,实现了TwoInputStreamOperatorTriggerable接口
  • IntervalJoinOperator重写了AbstractUdfStreamOperator(StreamOperator定义)的open、initializeState方法,在initializeState中,创建了leftBuffer和rightBuffer两个MapState,key为Long表示时间时间戳,List<BufferEntry<T>>表示该时刻到来的数据记录,当左流和右流有数据到达时,会分别调用processElement1()和processElement2()方法,它们都调用了processElement()方法
  • processElement方法中实现了 (1)根据数据时间戳和watermark判断数据是否late,如果late就return,否则就添加到buffer中     (2)遍历otherBuffer,(也就是左右mapState,一个是buffer,另外个就是otherBuffer),判断时间是否满足要求,即判断有数据在边界内(ourTimestamp + relativeLowerBound <= timestamp <= ourTimestamp + relativeUpperBound),如果在就调用 collect方法   (3)collect方法也就是我们demo中定义的process方法,对两条流匹配上的数据进行数据  (4)计算这条数据的cleanupTime,调用internalTimerService.registerEventTimeTimer注册清理该数据的timer,到时候就把这条数据从state里清除

所有intervalJoin的很多功能都是在IntervalJoinOperator中实现的

整体总结下来就是 IntervalJoin 里设置上下边界,后在IntervalJoined中进行双流connect,然后在IntervalJoinOperator中实现数据的匹配以及设置数据的过期定时器timer等等。

https://blog.csdn.net/qq_34864753/article/details/111183556 在这篇博客里介绍了intervalJoin的watermark生成以及状态的清理机制,有兴趣的可以看看

 

 

 

  相关解决方案