Hive On Spark
Spark发行版本里自带了Hive,也就是说,使用Hive时,不需要单独的安装Hive?
?
?
scala> val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)scala> val dbs = hiveContext.sql("show databases");///没做操作前只有defaultscala> dbs.collect///枚举所有的数据表scala>hiveContext.sql("show tables").collect
?
?还可以使用hiveContext的hql语句
?
scala> import hiveContext._///创建表scala> hql("CREATE TABLE IF NOT EXISTS person(name STRING, age INT)")scala> hql("select * from person");scala> hql("show tables");///加载数据,加载数据时,默认的换行符和默认的列分隔符是什么?///列分隔的语法:row format delimited fields terminated by '/t'scala> hql("LOAD DATA LOCAL INPATH '/home/hadoop/software/spark-1.2.0-bin-hadoop2.4/data/person.txt' INTO TABLE person;");
?
?
?
问题:
1. 上面的操作,Hive关联的数据库是哪个?
2. 如果已经单独安装了Hive,是否让Spark去操作那个已经存在的Hive?
3.?
?
?
?
?
?
?
?
?
?
?未完待续
?
?
?
?
?
?