当前位置: 代码迷 >> 综合 >> 【SequoiaDB教程】SequoiaDB Spark Connector教程
  详细解决方案

【SequoiaDB教程】SequoiaDB Spark Connector教程

热度:26   发布时间:2024-01-19 09:37:46.0

1.SequoiaDB的下载安装

这部分内容在此不做赘述,可以前往SequoiaDB文档中心查看:http://www.sequoiadb.com/cn/index.php?a=index&m=Files

2.Spark的下载安装

此处我们将介绍Spark的安装和配置,其中配置部分需要符合SequoiaDB使用的需求,所以需要注意。

2.1 安装

用 SequoiaDB Administration Console 来安装 Apache Spark 是非常简单的。

首先,你需要获取最新版本的 Spark framework。打开以下链接获取最新版本:http://spark.apache.org/downloads.html.

以 Spark1.3+Hadoop 2.4为例,下载文件名为“spark-1.3.0-bin-hadoop2.4.tgz”Spark下载

安装包可以通过以下指令获取:

      $ tar –zxvf spark-1.3.0-bin-hadoop2.4.tgz –directory /opt/

当安装包文件获取后,你可以 cd 至他的目录下,使用 spark-shell 进行一个简单的试用:

 

$ cd /opt/spark-1.3.0-bin-hadoop2.4

 $ bin/spark-shell 2>/dev/null

Welcome to

      ____              __

      / __/__  ___ _____/ /__

    _ / _ / _ `/ __/  '_/

    /___/ .__/_,_/_/ /_/_   version 1.3.0

       /_/

 

 Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.6.0_35)

Type in expressions to have them evaluated.

 Type :help for more information.

 Spark context available as sc.

SQL context available as sqlContext.

  相关解决方案