当前位置: 代码迷 >> 综合 >> sqoop 小问题集锦
  详细解决方案

sqoop 小问题集锦

热度:87   发布时间:2024-01-10 08:51:28.0
今天进行sqoop正式环境测试,结果碰上一大堆问题
1、测试库上运行好好的sqoop正式库上不可用。
查了下,测试库上使用的是2.0以上版本,正式库上则还是1.0.4版本。当年上线的时候两个还是一样的,后来测试库做了升级用于测试2.0的新特性。(补充下,2.0真心快啊)
去官网上下载,注意sqoop后面带的版本号。这边hadoop1.0.4就下载第三个sqoop包就可以了
 tag:2.0属于新一代hadoop架构,1.0还是老一代的,不过我记得1.0是从0.2基础上直接进化过来的,怎么sqoop还提供两个不同的版本下载。
2、配置文件的配置
这个版本的配置文件感觉好配很多了。
打开sqoop/bin/configure-sqoop文件,里面是一堆shell脚本。
基本上就是看看这个环境变量存在不,不存在就给它个默认值。我们这边只安装了hadoop和Hive,所以直接把hbase和zoo相关的目录注释掉。不过看了下代码,这个版本貌似没注释掉也只是报个警告,应该问题不大
 
运行时有个HCAT_HOME目录要配置。不知道这个啥用,随便配了个sqoop的根目录
还要把mysql的jar文件放到lib目录下以连接mysql。
貌似不用像测试库那样还得把jar文件传到hdfs里了(见前面某篇日志),测了下,可用了。


  相关解决方案