错误原因
笔者在hadoop中配置了编解码器lzo,所以当使用yarn模式时,spark自身没有lzo的jar包所以无法找到!
解决办法
将lzo的jar包路径给spark!
配置spark-default.conf文件!
注意
如果仍然不能找到,就将lzo的jar包放到spark的jars中
笔者在hadoop中配置了编解码器lzo,所以当使用yarn模式时,spark自身没有lzo的jar包所以无法找到!
将lzo的jar包路径给spark!
配置spark-default.conf文件!
如果仍然不能找到,就将lzo的jar包放到spark的jars中