当前位置: 代码迷 >> 综合 >> SPARK 编程入口 SparkContext,SparkSession
  详细解决方案

SPARK 编程入口 SparkContext,SparkSession

热度:46   发布时间:2024-02-06 05:09:32.0

SparkContext是老版本的玩法,新版本都是用SparkSession

创建sparkContext,JavaSparkContext

SparkConf sparkConf = new SparkConf().setAppName("spark-sdfgsgsdgsdgsdgsdg").setMaster("local");
SparkContext sparkContext = SparkContext.getOrCreate(sparkConf);
sparkContext.setLogLevel("ERROR");
JavaSparkContext javaSparkContext = new JavaSparkContext(sparkContext);

创建SparkSession

//创建SparkSession方式1
SparkSession sparkSession = SparkSession.builder().sparkContext(sparkContext).getOrCreate();//创建SparkSession方式2
SparkSession sparkSession = SparkSession.builder().master("local").appName("Java Spark SQL").getOrCreate();

 

  相关解决方案