cdh6.3.2 spark Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2报错问题

将scala spark提交到yarn环境报错

找了半天没有找到是为什么通过报错信息找到报错的类ShimLoader找到报错的行数。

从这里看到他去拿了一个version-info.properties的文件
在第一个类里面它去case了 值这里对应的是3（3.0.0-cdh6.3.2）所以报错了

解决办法

网上有说加一个common-version-info.properties文件，里面手动改版本号的，尝试后无效果

还有的是注释掉

<!--        <dependency>-->
<!--            <groupId>org.apache.spark</groupId>-->
<!--            <artifactId>spark-hive_2.11</artifactId>-->
<!--            <version>2.4.0</version>-->
<!--        </dependency>-->

都无效果
然后我觉得就是把ShimLoader类的包都不引入了，用cdh自带的包去执行，然后就开始找包,发现这里有这个类里面包含ShimLoader，然后注释掉，在放到yarn环境就好了
解决办法就是注释有关ShimLoader的包或者排除掉

<!--        <dependency>-->
<!--            <groupId>org.apache.hive</groupId>-->
<!--            <artifactId>hive-exec</artifactId>-->
<!--        </dependency>-->