这个问题有必要记录一下!!!!
报错信息如下
任务运行时,Task锯齿图
有人说加参数
"spark.streaming.kafka.consumer.poll.ms", 512
如果你尝试这个成功了那么恭喜你,可以关闭此博客了
!
我们项目遇到了这个问题,加了参数没得用,而且导致job失败,本来job虽然会慢一点,但是加了这个参数则会报上面截图的错误!
左思右想不知道怎么回事儿!
带宽问题?
Nope,局域网内带宽可以忽略不记
Topic问题?
其它的Topic是Ok的唯独这一个Topic有问题,那么我们去指定分区消费其数据!
kafka-console-consumer.sh --bootstrap-server 192.168.1.1:9092 --topic HW_LOCATION --partition 0
所有的Partition都去消费了一下 且都消费到了数据!
代码问题?
去除逻辑处理代码
我们将所有的逻辑代码去掉只跑拉数据并打印出来,发现问题依旧存在。
还有哪里有问题???
找不到了,去请教大佬,大佬给出的尝试参数
reconnect.backoff.ms" = 0
//尝试重新连接到主机之前等待的时间。
//避免了高频率反复的连接主机。
任务跑10分钟没有出现等待40秒的情况了,至此解决!
上面的参数一般不需要配置,感觉问题还是出现在集群不稳定的头上!