SparkSQL中 RDD、DateSet、??相互转化_综合

●注意:

1.SparkSQL开发特别灵活，到底使用RDD还是DF、DS得根据业务需要的操作，和个人的对于API的熟练程度进行选择，官方推荐使用DS，RDD后续可能不再更新，但是RDD的算子非常的灵活，且机器学习算法中使用较多，目前开发中还是可以继续使用的！

2.RDD、DF、DS之间的相互转换也有很多(6种)，但是我们实际操作就只有2类:

1)使用RDD算子操作

2)使用DSL/SQL对表操作

具体代码如下：


import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}/*** Author itcast* Date 2019/8/7 14:42* Desc 演示RDD、DataFrame、DataSet间的相互转换*/
object TransformDemo {def main(args: Array[String]): Unit = {//1.创建SparkSessionval spark: SparkSession = SparkSession.builder().master("local[*]").appName("SparkSQL").getOrCreate()val sc: SparkContext = spark.sparkContextsc.setLogLevel("WARN")//2.读取文件val fileRDD: RDD[String] = sc.textFile("D:\\授课\\190429\\资料\\data\\person.txt")val linesRDD: RDD[Array[String]] = fileRDD.map(_.split(" "))val personRDD: RDD[Person] = linesRDD.map(line =>Person(line(0).toInt,line(1),line(2).toInt))//3.将RDD转成DF//注意:RDD中原本没有toDF方法,新版本中要给它增加一个方法,可以使用隐式转换import spark.implicits._//注意:上面的rowRDD的泛型是Person,里面包含了Schema信息//所以SparkSQL可以通过反射自动获取到并添加给DF//=========================相互转换======================//1.RDD-->DFval personDF: DataFrame = personRDD.toDF//2.DF-->RDDval rdd: RDD[Row] = personDF.rdd//3.RDD-->DSval DS: Dataset[Person] = personRDD.toDS()//4.DS-->RDDval rdd2: RDD[Person] = DS.rdd//5.DF-->DSval DS2: Dataset[Person] = personDF.as[Person]//6.DS-->DFval DF: DataFrame = DS2.toDF()sc.stop()spark.stop()}case class Person(id:Int,name:String,age:Int)
}