报错
消费单节点kafka
要么消费很缓慢
要么报错
Group coordinator ip:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery
重启节点也没用
分析
单节点情况下coordinator 压力太大了
__consumer_offsets这个元主题的历史消息量分配不均衡
有分区kb、M级别正常，有几个分区直接几十G，如果消费的主题在这些压力大的分区，就会消费阻塞
因为这个元主题的clean policy是compact不是正常的delete,所以会一直累积，并且单节点就会很容易出现这个问题
解决办法
线上生产慎用
删除__consumer_offsets历史文件
重启节点，待节点重启后recovery完毕，正常
担忧
因为这个是个测试开发集群，不用担心历史偏移量的问题，但是如果开发没有管理偏移量，那么我觉得会有丢数据风险，所以线上生产慎用