目录

1.5 Kafka

1.5.0 Kafka基本组成:（重点）

1.5.1 kafka工作流程:（重点）

1.5.2 Kafka压测

1.5.3 Kafka的机器数量

1.5.4 Kafka的日志保存时间

1.5.5 Kafka的硬盘大小

1.5.6 Kafka监控

1.5.7 Kakfa分区数

1.5.8 副本数设定

1.5.9 多少个Topic

1.5.13 Kafka中数据量计算

1.5.11  Kafka的ISR副本同步队列（重点）

1.5.12 Kafka分区分配策略（重点）

1.5.16 Kafka幂等性

1.5.18 Kafka数据重复（重点）

1.5.14 Kafka挂掉

1.5.10 Kafka丢不丢数据（重点）

1.5.15 Kafka消息数据积压，Kafka消费能力不足怎么处理？ 

1.5.19 Kafka参数优化

1.5.20 Kafka高效读写数据（重点）

1.5.17 Kafka事务（重点）

1.5.21 Kafka支持传输

1.5.22 Kafka过期数据清理

1.5.23 Kafka可以按照时间消费数据

1.5.24 Zookeeper中存储kafka哪些信息（重点）

1.5.25 kafka和RabbitMQ区别：

Zookeeper

角色及功能：（重点）

工作原理：

选举机制：（重点）

监听原理：（重点）

客户端命令行操作

为什么Zookeeper集群数一般为奇数：

Flume

1. 知道 Flume 的 Channel 是啥吗

2. 介绍?下 Memory Channel

3. 说说 File Channel

4. 说说 Kafka Channel

5. 介绍?下 Kafka ?种 Sink

6. 说说 Flume 的拦截器

7. 介绍?下什么是选择器

8. 了解 Flume 的负载均衡和故障转移吗

Hbase

1.7.2 RowKey设计原则

1.7.3 RowKey如何设计

1.HBase的操作数据的步骤

2.HDFS和HBase各?使?场景（重点）

3.热点现象及解决办法。（重点）

4.RowKey的设计原则？(重点)

5.hbase.hregion.max.filesize应该设置多少合适

6.autoflush=false的影响

7对于传统关系型数据库中的?张table，在业务转换到hbase上建模时，从性能的?度应该 如何设置family和qualifier呢？

8.Hbase?健/列族的概念，物理模型，表的设计原则？

9.HBase存储单元Cell？(重点)

10.说说HBase物理模型？（重点）

11.HBase的客户端Client？

12.介绍HBase?级索引？

13.每天百亿数据存?HBase，如何保证数据的存储正确和在规定的时间?全部录?完毕，不残留数据?

14.你知道哪些HBase优化?法（重点）

15.HRegionServer宕机如何处理？

16.HBase简单读写流程

17.HBase和Hive的对?（重点）

18.HBase与传统关系型数据库(如MySQL)的区别（重点）

19.什么时候适合使?HBase（应?场景）？（重点）

20.Client会缓存.META.的数据,该数据更新了怎么办？

21.请描述如何解决Hbase中region太?和region太?带来的冲突？

22.解释下 hbase 实时查询的原理(重点)

23.HBase 宕机如何处理？

---

1.5 Kafka

---

1.5.0 Kafka基本组成:（重点）

producer、comsumer、broker、zookeeper

1.5.1 kafka工作流程:（重点）

kafka中消息以topic分类，生产者生产消息，消费者消费消息，都是面向topic的

topic是逻辑的概念，而partition是物理的概念，每个partition对应于一个log文件，

该log文件中存储的就是producer生产的数据，Producer生产的数据会不断的追加到该log的末端，且每条数据都有自己的offset，

消息者组中每个消费者，都会实时记录自己消费到哪个offset，以便出错时，从上次的位置继续消费。

1.5.2 Kafka压测

Kafka官方自带压力测试脚本（kafka-consumer-perf-test.sh、kafka-producer-perf-test.sh）。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。

1.5.3 Kafka的机器数量

Kafka机器数量=2*（峰值生产速度*副本数/100）+1

1.5.4 Kafka的日志保存时间

3天(默认7天，生产环境下通常3天)

1.5.5 Kafka的硬盘大小

每天的数据量*3天/70%

1.5.6 Kafka监控

公司自己开发的监控器；

开源的监控器：KafkaManager、KafkaMonitor、KafkaEagle

1.5.7 Kakfa分区数

1）创建一个只有1个分区的topic

2）测试这个topic的producer吞吐量和consumer吞吐量。

3）假设他们的值分别是Tp和Tc，单位可以是MB/s。

4）然后假设总的目标吞吐量是Tt，那么分区数=Tt / min（Tp，Tc）

例如：producer吞吐量=20m/s；consumer吞吐量=50m/s，期望吞吐量100m/s；

分区数=100 / 20 =5分区

https://blog.csdn.net/weixin_42641909/article/details/89294698

分区数一般设置为：3-10个

1.5.8 副本数设定

一般我们设置成2个或3个，很多企业设置为2个。

1.5.9 多少个Topic

   通常情况：多少个日志类型就多少个Topic。也有对日志类型进行合并的。

1.5.13 Kafka中数据量计算

每天总数据量100g，每天产生1亿条日志， 10000万/24/60/60=1150条/每秒钟

平均每秒钟：1150条

低谷每秒钟：50条

高峰每秒钟：1150条*（2-20倍）=2300条-23000条

每条日志大小：0.5k-2k（取1k）

每秒多少数据量：2.0M-20MB

1.5.11  Kafka的ISR副本同步队列（重点）

ISR（In-Sync Replicas），副本同步队列。ISR中包括Leader和Follower。如果Leader进程挂掉，会在ISR队列中选择一个服务作为新的Leader。有replica.lag.max.messages（延迟条数）和replica.lag.time.max.ms（延迟时间）两个参数决定一台服务是否可以加入ISR副本队列，在0.10版本移除了replica.lag.max.messages参数，防止服务频繁的进去队列。

任意一个维度超过阈值都会把Follower剔除出ISR，存入OSR（Outof-Sync Replicas）列表，新加入的Follower也会先存放在OSR中。

1.5.12 Kafka分区分配策略（重点）

在 Kafka内部存在两种默认的分区分配策略：Range和 RoundRobin。

Range是默认策略。Range是对每个Topic而言的（即一个Topic一个Topic分），首先对同一个Topic里面的分区按照序号进行排序，并对消费者按照字母顺序进行排序。然后用Partitions分区的个数除以消费者线程的总数来决定每个消费者线程消费几个分区。如果除不尽，那么前面几个消费者线程将会多消费一个分区。

例如：我们有10个分区，两个消费者（C1，C2），3个消费者线程，10 / 3 = 3而且除不尽。

C1-0 将消费 0, 1, 2, 3 分区

C2-0 将消费 4, 5, 6 分区

C2-1 将消费 7, 8, 9 分区

第一步：将所有主题分区组成TopicAndPartition列表，然后对TopicAndPartition列表按照hashCode进行排序，最后按照轮询的方式发给每一个消费线程。

1.5.16 Kafka幂等性

Producer的幂等性指的是当发送同一条消息时，数据在Server端只会被持久化一次，数据不丟不重，但是这里的幂等性是有条件的：

1）只能保证Producer在单个会话内不丟不重，如果Producer出现意外挂掉再重启是无法保证的（幂等性情况下，是无法获取之前的状态信息，因此是无法做到跨会话级别的不丢不重）。

2）幂等性不能跨多个Topic-Partition，只能保证单个Partition内的幂等性，当涉及多个 Topic-Partition时，这中间的状态并没有同步。

1.5.18 Kafka数据重复（重点）

幂等性+ack-1+事务

Kafka数据重复，可以再下一级：SparkStreaming、redis或者hive中dwd层去重，去重的手段：分组、按照id开窗只取第一个值；

1.5.14 Kafka挂掉

1）Flume记录

2）日志有记录

3）短期没事

重启即可

1.5.10 Kafka丢不丢数据（重点）

Ack=0，相当于异步发送，消息发送完毕即offset增加，继续生产。

Ack=1，leader收到leader replica 对一个消息的接受ack才增加offset，然后继续生产。

Ack=-1，leader收到所有replica 对一个消息的接受ack才增加offset，然后继续生产。

默认ack=1

1.5.15 Kafka消息数据积压，Kafka消费能力不足怎么处理？ 

1）如果是Kafka消费能力不足，则可以考虑增加Topic的分区数，并且同时提升消费组的消费者数量，消费者数=分区数。（两者缺一不可）

2）如果是下游的数据处理不及时：提高每批次拉取的数量。批次拉取数据过少（拉取数据/处理时间<生产速度），使处理的数据小于生产的数据，也会造成数据积压。

1.5.19 Kafka参数优化

 1）Broker参数配置（server.properties）

1、网络和io操作线程配置优化

# broker处理消息的最大线程数（默认为3）

num.network.threads=cpu核数+1

# broker处理磁盘IO的线程数

num.io.threads=cpu核数*2

2、log数据文件刷盘策略

# 每当producer写入10000条消息时，刷数据到磁盘

log.flush.interval.messages=10000

# 每间隔1秒钟时间，刷数据到磁盘

log.flush.interval.ms=1000

3、日志保留策略配置

# 保留三天，也可以更短 （log.cleaner.delete.retention.ms）

log.retention.hours=72

4、Replica相关配置

offsets.topic.replication.factor:3

# 这个参数指新创建一个topic时，默认的Replica数量,Replica过少会影响数据的可用性，太多则会白白浪费存储资源，一般建议在2~3为宜。

2）Producer优化（producer.properties）

buffer.memory:33554432 (32m)

#在Producer端用来存放尚未发送出去的Message的缓冲区大小。缓冲区满了之后可以选择阻塞发送或抛出异常，由block.on.buffer.full的配置来决定。

compression.type:none

#默认发送不进行压缩，推荐配置一种适合的压缩算法，可以大幅度的减缓网络压力和Broker的存储压力。

4）Kafka内存调整（kafka-server-start.sh）

默认内存1个G，生产环境尽量不要超过6个G。

export KAFKA_HEAP_OPTS="-Xms4g -Xmx4g"

1.5.20 Kafka高效读写数据（重点）

1）Kafka本身是分布式集群，同时采用分区技术，并发度高。

2）顺序写磁盘

Kafka的producer生产数据，要写入到log文件中，写的过程是一直追加到文件末端，为顺序写。官网有数据表明，同样的磁盘，顺序写能到600M/s，而随机写只有100K/s。这与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁头寻址的时间。

3）零复制技术

要拷贝的数据直接走内核，不经过应用层了。

1.5.17 Kafka事务（重点）

Kafka从0.11版本开始引入了事务支持。事务可以保证Kafka在Exactly Once语义的基础上，生产和消费可以跨分区和会话，要么全部成功，要么全部失败。

1）Producer事务

为了实现跨分区跨会话的事务，需要引入一个全局唯一的Transaction ID，并将Producer获得的PID和Transaction ID绑定。这样当Producer重启后就可以通过正在进行的Transaction ID获得原来的PID。

为了管理Transaction，Kafka引入了一个新的组件Transaction Coordinator。Producer就是通过和Transaction Coordinator交互获得Transaction ID对应的任务状态。Transaction Coordinator还负责将事务所有写入Kafka的一个内部Topic，这样即使整个服务重启，由于事务状态得到保存，进行中的事务状态可以得到恢复，从而继续进行。

2）Consumer事务

上述事务机制主要是从Producer方面考虑，对于Consumer而言，事务的保证就会相对较弱，尤其时无法保证Commit的信息被精确消费。这是由于Consumer可以通过offset访问任意信息，而且不同的Segment File生命周期不同，同一事务的消息可能会出现重启后被删除的情况。

1.5.21 Kafka支持传输

kafka对于消息体的大小默认为单条最大值是1M但是在我们应用场景中, 常常会出现一条消息大于1M，如果不对kafka进行配置。则会出现生产者无法将消息推送到kafka或消费者无法去消费kafka里面的数据, 这时我们就要对kafka进行以下配置：server.properties

 所以如果传输的日志文件是2M，那么kafka就会卡死。需要重新配置参数。

1.5.22 Kafka过期数据清理

保证数据没有被引用（没人消费他）

日志清理保存的策略只有delete和compact两种

log.cleanup.policy=delete启用删除策略

log.cleanup.policy=compact启用压缩策略

1.5.23 Kafka可以按照时间消费数据

Map<TopicPartition, OffsetAndTimestamp> startOffsetMap = KafkaUtil.fetchOffsetsWithTimestamp(topic, sTime, kafkaProp);

1.5.24 Zookeeper中存储kafka哪些信息（重点）

Kafka的broker的brokerid，comsumer，topics，partitions，副本信息

注意，zookeeper里唯独不存kafka的生产者的信息

1.5.25 kafka和RabbitMQ区别：

1、RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语?开发，用在实时的对可靠性要求比较高的消息传递上(有消息确认机制)。
2、kafka是Linkedin于2010年12月份开源的消息发布订阅系统,它主要用于处理活跃的流式数据,大数据量的数据处理上(无消息确认机制，但吞吐量高)，kafka用zk做集群负载均衡。

 

Zookeeper

---

角色及功能：（重点）

Leader+Learner(Follower+observer)

Leader:发起投票和决议，更新系统状态

Follower:接收客户端请求饼返回响应，参与投票

Observer:接受客户端连接，将写操作转发给L饿啊的人，不参与投票，只同步Leader

工作原理：

zookeeper=文件系统+通知机制

核心是原子广播  ---->  zab协议（恢复模式和广播模式）

恢复模式：当服务启动或Leader崩溃时进入恢复模式

广播模式：进行选举，当有了Leader且大多数server与leader同步时进入广播模式。若此时再加入一个节点，会在恢复模式下启动。广播模式需要proposal被按顺序处理——递增的事务id（zxid）+paxos算法（Master编写了个全局写队列，所有写操作必须放入到该队列编号，一旦发现编号执行顺序错乱，立即自动停止并重启同步过程）

选举机制：（重点）

半数通过原则

每个server启动后都询问其他server投给谁

每个server都回复投给自己饼附上自己最大的zxid

每个server计算出收到的最大的zxid并将其附带的server信息设为下一次要投票的对象

票数最多且已过半的server设为leader

监听原理：（重点）

客户端命令行操作

命令基本语法	功能描述
help	显示所有操作命令
ls path [watch]	使用 ls 命令来查看当前znode中所包含的内容
ls2 path [watch]	查看当前节点数据并能看到更新次数等数据
create	普通创建 -s  含有序列 -e  临时（重启或者超时消失）
get path [watch]	获得节点的值
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
rmr	递归删除节点

为什么Zookeeper集群数一般为奇数：

3台和4台的容灾能力一样。zookeeper集群最少3台。

Flume

---

应用场景：将日志数据信息手机并移交到Hadoop/Kafka平台上去分析

构成：source 、Channel、Sink

事件Agent是 Flume内部传输的基本单元

1. 知道 Flume 的 Channel 是啥吗

2. 介绍?下 Memory Channel

3. 说说 File Channel

4. 说说 Kafka Channel

5. 介绍?下 Kafka ?种 Sink

6. 说说 Flume 的拦截器

7. 介绍?下什么是选择器

8. 了解 Flume 的负载均衡和故障转移吗

Hbase

---

1.7.2 RowKey设计原则

1）rowkey长度原则

2）rowkey散列原则

3）rowkey唯一原则

1.7.3 RowKey如何设计

1）生成随机数、hash、散列值

2）字符串反转 

1.HBase的操作数据的步骤

2.HDFS和HBase各?使?场景（重点）

3.热点现象及解决办法。（重点）

4.RowKey的设计原则？(重点)

5.hbase.hregion.max.filesize应该设置多少合适

6.autoflush=false的影响

7对于传统关系型数据库中的?张table，在业务转换到hbase上建模时，从性能的?度应该 如何设置family和qualifier呢？

8.Hbase?健/列族的概念，物理模型，表的设计原则？

9.HBase存储单元Cell？(重点)

10.说说HBase物理模型？（重点）

11.HBase的客户端Client？

12.介绍HBase?级索引？

13.每天百亿数据存?HBase，如何保证数据的存储正确和在规定的时间?全部录?完毕，不残留数据?

14.你知道哪些HBase优化?法（重点）

15.HRegionServer宕机如何处理？

16.HBase简单读写流程

17.HBase和Hive的对?（重点）

18.HBase与传统关系型数据库(如MySQL)的区别（重点）

19.什么时候适合使?HBase（应?场景）？（重点）

20.Client会缓存.META.的数据,该数据更新了怎么办？

21.请描述如何解决Hbase中region太?和region太?带来的冲突？

22.解释下 hbase 实时查询的原理(重点)

23.HBase 宕机如何处理？