1、memory_only(仅在内存中)
spark会将RDD作为未序列化的java对象存于内存,如果spark估算不是所有的分区能在内存中容纳,那么Spark不会将RDD缓存,以后用到该RDD,会根据血统重新计算
userRDD.cache() userRDD.persist() userRDD.persist(StorageLevel.MEMORY_ONLY)
劣势:占用大量内存,如果缓存过多对象,将对垃圾回收产生压力
2、memory_only_ser(仅在内存中,但是经过序列化)
userRDD.persist(StorageLevel.MEMORY_ONLY_SER)
劣势:数据被序列化,再使用的时候需要反序列化,属于CPU密集型操作
3、memory_and_disk(在内存和磁盘)
spark会将RDD作为未序列化的java对象存于内存,如果spark估算不是所有的分区能在内存中容纳,那么Spark会将放不下的对象写入磁盘
userRDD.persist(StorageLevel.MEMORY_AND_DISK)
劣势:读取数据会有IO的负载
4、memory_and_disk_ser(序列化后存于内存和磁盘)
userRDD.persist(StorageLevel.MEMORY_AND_DISK_SER)
5、disk_only(序列化后存于磁盘)
userRDD.persist(StorageLevel.DISK_ONLY)
劣势:需要反序列化,CPU密集,读取磁盘是IO,比较耗性能
6、OFF_HEAP(堆外存储)
userRDD.persist(StorageLevel.OFF_HEAP)