当前位置: 代码迷 >> 综合 >> Spark RDD 缓存,持久化 cache(),persist()
  详细解决方案

Spark RDD 缓存,持久化 cache(),persist()

热度:89   发布时间:2024-02-06 00:30:53.0

1、memory_only(仅在内存中)

spark会将RDD作为未序列化的java对象存于内存,如果spark估算不是所有的分区能在内存中容纳,那么Spark不会将RDD缓存,以后用到该RDD,会根据血统重新计算

userRDD.cache()
userRDD.persist()
userRDD.persist(StorageLevel.MEMORY_ONLY)

劣势:占用大量内存,如果缓存过多对象,将对垃圾回收产生压力

2、memory_only_ser(仅在内存中,但是经过序列化)

userRDD.persist(StorageLevel.MEMORY_ONLY_SER)

劣势:数据被序列化,再使用的时候需要反序列化,属于CPU密集型操作

3、memory_and_disk(在内存和磁盘)

spark会将RDD作为未序列化的java对象存于内存,如果spark估算不是所有的分区能在内存中容纳,那么Spark会将放不下的对象写入磁盘

userRDD.persist(StorageLevel.MEMORY_AND_DISK)

劣势:读取数据会有IO的负载

4、memory_and_disk_ser(序列化后存于内存和磁盘)

userRDD.persist(StorageLevel.MEMORY_AND_DISK_SER)

5、disk_only(序列化后存于磁盘)

userRDD.persist(StorageLevel.DISK_ONLY)

劣势:需要反序列化,CPU密集,读取磁盘是IO,比较耗性能

6、OFF_HEAP(堆外存储)

userRDD.persist(StorageLevel.OFF_HEAP)
  相关解决方案