当前位置: 代码迷 >> 综合 >> spark-shell --master yarn模式下 com.hadoop.compression.lzo.LzoCodec not found.
  详细解决方案

spark-shell --master yarn模式下 com.hadoop.compression.lzo.LzoCodec not found.

热度:100   发布时间:2023-11-22 16:10:26.0

错误原因

在这里插入图片描述笔者在hadoop中配置了编解码器lzo,所以当使用yarn模式时,spark自身没有lzo的jar包所以无法找到!

解决办法

将lzo的jar包路径给spark!

配置spark-default.conf文件!
在这里插入图片描述

注意

如果仍然不能找到,就将lzo的jar包放到spark的jars

  相关解决方案