当前位置: 代码迷 >> SQL >> 在Hadoop下运行SQL:软件工程师需知晓的13种数据工具
  详细解决方案

在Hadoop下运行SQL:软件工程师需知晓的13种数据工具

热度:77   发布时间:2016-05-05 12:22:05.0
在Hadoop上运行SQL:程序员需知晓的13种数据工具

HiveHadoopSQL开源MapReduceImpala大数据初创公司

?
对SQL支持并不是Hadoop最核心的技术理念,但这一特性确实能帮助很多传统企业,尤其是已经明白下一代分析的重要性但又不想迈向MapReduce的企业,迅速走向大数据分析。为此,本文特别列举了13种从Hadoop内部可以运行SQL查询的,高水...
?
摘要:对SQL支持并不是Hadoop最核心的技术理念,但这一特性确实能帮助很多传统企业,尤其是已经明白下一代分析的重要性但又不想迈向MapReduce的企业,迅速走向大数据分析。为此,本文特别列举了13种从Hadoop内部可以运行SQL查询的,高水平、可用性程度很高的工具。

在GigaOM安排Structure: Data的日程的时候,就意识到很有必要讨论在Hadoop上运行SQL查询,然而却未认识到Hadoop上运行SQL查询竟然变的这么重要。

本文是Gigaom的资深编辑Derrick Harris?撰写的一篇文章,其实,对SQL支持并不是Hadoop的最终目标,但是这一特性将会帮助Hadoop找寻自己的生存方式,让Hadoop在那些已经明白下一代分析的重要性但又不想迈向MapReduce专家之路的公司中取得一席之地。

当然,Facebook发起了整场运动 ——在2009年创造了Hive,它把类似数据库SQL查询功能引向了Hadoop 。Hive现在已经是Apache的一个开源项目,包括数据管理层以及类SQL的结构化查询语言HiveQL。在过去的数年里,Hive的确是非常有用而且很流行,但是由于Hive对MapReduce依赖,查询速度有着“先天性不足”,因为在查询的过程中,MapReduce需要扫描整个数据集,而且在Job的处理过程中还需要把大量的数据传输到网络。对主流用户而言,难以有很大的吸引力。

请记住,下一代的SQL-on-Hadoop工具并不仅仅只是商业智能,也不是仅仅只能读取存储在Hadoop上数据的数据库产品, EMC Greenplum, HP Vertica, IBM Netezza, ParAccel, Microsoft SQL Server以及Teradata/Aster Data全部都允许某些方式的Hadoop数据查询。而且这些是应用,框架以及可以让用户从内部进行Hadoop数据查询的引擎,有时候也会重构底层计算以及数据基础设施。这种方式的优点在于:可以利用已有存储形式的数据,从理论上讲,对数据的分析应用就不需要再访问两个独立的数据存储。

数据仓库和BI:The Structure: Data set

Apache DrillDrill是由MapR主导、基于Hadoop之上的类似于谷歌的Demel(或者说BigQuery)交互式查询引擎。首次公布在8月份,不过该项目正处在开发阶段,也是Apache的孵化器计划,根据其网站所言:“(Drill)明确的目标就是扩展到10000台服务器,而且能够在几秒钟之内处理PB级的数据和数万亿条的记录。”


MapR的产品管理总监Tomer Shiran表示:“Drill与MapReduce相辅相成。在谷歌,数以千计的工程师每天都在使用Dremel和MapReduce,未来也将有着更多的人来使用Drill与MapReduce。 ”


Hadapt:Hadapt实际上在2011年的Structure: Data大会上发布,它也是第一批SQL-on-Hadoop的厂商之一,其独特之处在于,在市场上已经有了真正的产品,而且已经培育了自己的客户群。其独一无二的架构包括先进的SQL分析工具,为MapReduce以及相关任务打造的split-execution引擎,也包含HDFS和相关的存储。

Hadapt提供了一体化的分析环境,旨在对Hadoop里面的数据执行分析操作,还能对SQL环境中传统的结构化数据进行分析。而Hadapt的平台设计成了可以在私有云或公共云环境上运行,提供了从一个环境就能访问所有数据的优点,所以除了MapReduce流程和大数据分析工具外,现有的基于SQL的工具也可以使用。Hadapt可以在Hadoop层和关系数据库层之间自动划分查询执行任务,提供了Hadapt所谓的优化环境,这种环境可以充分利用Hadoop的可扩展性和关系数据库技术的快速度。

Platfora:从技术来讲,这并不是一个SQL产品,Platfora现在是“红的发紫”,而且意图打造大数据商业智能(BI)的新蓝图。大家都知道,如何能够把冗杂的数据(不管是邮件、文档、音频等)进行有效处理、视觉化,让它变成普通的用户都能看得懂的东西,“数据”才能真正变得有价值。但是Hadpoop只有一小部分开发者(相对而言)在使用,而Platfora却想把它变成一个任何人都可以理解、使用的工具。虽然也有其他的创业者在做类似的事情,但是Platfora在数据处理速度上有明显的优势,同时非常直观,并且他们在用HTML5的canvas来做解决方案,既可以保证操作简便又能兼容不同设备上的数据,公司在10月份进行的产品发布。

Qubole:Qubole是一个建设云平台进行数据分析和处理的创业公司。联合创始人兼CEO是Ashishi Thusoo,在创办Qubole之前,Ashishi负责Facebook数据基础设施团队。在他的领导下,团队创造了世界上最大的数据分析与处理平台。他也是Apache Hive项目的联合创始人,并作为该项目的Apache软件基金会的创始副总裁。Qubole声称具有自动扩展能力,并且对Hadoop代码做过优化,高速的列数据缓存可以让其服务比单独运行Hive时要快很多。Qubole运行在AWS上,相对而言,这比维护一个物理集群要容易得多。

数据仓库和BI:续篇

Citus DataCitus Data的CitusDB并不仅仅只关注于Hadoop,而是想把其分布式的Postgres能力扩展到所有的数据类型中。其中的一项功能“foreign data wrappers”,它能够把多种数据类型(像CSV, log以及JSON files,而且这些数据类型在原生的Postgres上是并不匹配的)转化成数据库的原生类型,接下来在几秒钟之内就能使用其特有的分布式处理技术来完成查询。由于其Postgres的功能,CitusDB也能连接不同的数据源(比如Postgres-Hadoop),这样就不需要用户进行独立的查询,然后再手动地连接数据。

Cloudera Impala:Cloudera Impala可能是SQL-on-Hadoop上最重要的成果,这是一个大规模的并行处理引擎,成功避开了MapReduce进行交互式地查询部署在HDFS或者Hbase中的数据。不过,因为Cloudera并不构建应用程序,它依赖更高层次的BI和分析合作伙伴为用户提供接口。

在2012年纽约进行的大数据技术会议Strata Conference + Hadoop World上,Cloudera发布了实时查询开源项目Impala 1.0 beta版,称 比原来基于MapReduce的Hive SQL查询速度提升3~90倍,而且更加灵活易用。Impala不再使用缓慢的Hive+MapReduce批处理,而是通过与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分组成),可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据,从而大大降低了延迟。其架构如下图所示。

Impala的架构(来自ZDNet)

Karmasphere:就像Hive一样,Karmasphere也是依赖于MapReduce处理查询,这也就意味着其速度要慢于其他的新途径。与Hive不同的是,Karmasphere允许并行查询,而且其包含一个可视化的界面,可以用于编写查询以及过滤查询结果。

Karmasphere提供了直接访问Hadoop里面结构化和非结构化数据的优点,它还可以运用SQL及其他语言,用于即席查询和进一步的分析。使用SQL及其他语言,用户就能创建即席查询,然后处理结果。Karmasphere Studio为开发人员提供了一种图形化环境,可以在里面开发自定义算法,为应用程序和可重复的生产流程创建实用的数据集。

Lingual:Lingual是来自Concurrent的一个新的开源项目,其母公司从事Hadoop Cascading框架设计。Lingual运行在Cascading之上,(Cascading是一个架构在Hadoop上的API,用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用,而不用考虑背后的MapReduce),并提供给开发者和分析师一个真正的ANSI SQL接口,在其之上可以运行分析或者是构建应用。Lingual兼容传统的BI工具,JDBC以及Cascading系的API。

Phoenix:Phoenix是一个新的,相对来说并不为人知的一个开源项目,出自Salesforce.com,旨在打造一个更快的SQL查询,面向的对象有HBase或者是部署在HDFS之上的NoSQL数据库。用户通过JDBC接口与其进行交互。

Shark:Shark虽然不是技术上的Hadoop,但是它们也有很深的渊源。Shark,从一定意义上说代表了“Hive on Spark”,使用Hive也就意味着它与Hadoop也存在着密切的关系。使用Shark运行并行处理Job要比MapReduce快100倍,Shark宣称对比传统的Hive而言,这是一个巨大的提升。

Stinger Initiative:Stinger Initiative是由Hortonworks主导的 一个科研成果,可以让Hive的速度提升高达100倍,而且引入了更多的功能。Stinger为Hive添加了更多的SQL分析能力,但是最关键的方面在于底层基础设施的提升:一个优化的执行引擎,一个列式文件格式,能够避免MapReduce的运行瓶颈。

Operational SQL

Drawn to Scale:Drawn to Scale也是一家初创公司,它在HBase之上构建了一个 SQL数据库,这里的关键词是“数据库”。其产品称之为Spire,它仿照了谷歌的F1设计。Spire拥有一个分布式索引,所有的查询只发送给相关数据的存储节点,所以其读取和写入的速度都很快,系统还能够处理大量的并发用户。

Splice Machine:Splice Machine(数据库初创公司)也尝试通过在原生的HBase分布式数据库上建立其Splice SQL Engine来取得一席之地。Splice Machine关注的是事务完整性,这也是它区别于可扩展的NoSQL数据库和分析类SQL-on-Hadoop产品的特色所在。它依赖于HBase的auto-sharding功能,这也是为了让扩展变得更加容易