SparkContext是老版本的玩法,新版本都是用SparkSession
创建sparkContext,JavaSparkContext
SparkConf sparkConf = new SparkConf().setAppName("spark-sdfgsgsdgsdgsdgsdg").setMaster("local");
SparkContext sparkContext = SparkContext.getOrCreate(sparkConf);
sparkContext.setLogLevel("ERROR");
JavaSparkContext javaSparkContext = new JavaSparkContext(sparkContext);
创建SparkSession
//创建SparkSession方式1
SparkSession sparkSession = SparkSession.builder().sparkContext(sparkContext).getOrCreate();//创建SparkSession方式2
SparkSession sparkSession = SparkSession.builder().master("local").appName("Java Spark SQL").getOrCreate();