当前位置: 代码迷 >> 综合 >> datax-web在windows上环境搭建及同步数据测试
  详细解决方案

datax-web在windows上环境搭建及同步数据测试

热度:56   发布时间:2024-02-10 22:53:36.0

datax-web部署说明:

datax-web 是一个集成datax和xxljob定时任务优秀的同步数据库开源框架。data-web开源地址:https://github.com/WeiYe-Jing/datax-web

  1. DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

  2. 环境准备:
    JDK(1.8以上,推荐1.8)
    Python(推荐Python2.7.X)
    datax

  3. github下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

  4. 快速搭建datax,下载时使用

  5. 使用datax-web,做全量同步数据,增量同步数据。

环境搭建

  1、安装jdk  不做介绍,不会自行百度。

  2、安装Python,下载2.7.x版本安装。默认下一步安装,不做介绍,本文默认安装在:C:\Python27

  3、下载datax: 下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz,解压,本文解压到:E:\workspace\datax\datax

     测试是否安装成功:进入datax的bin目录:

      1、新建一个文件为:stream2stream.json,把下面的内容复制到,stream2stream.json文件内。

{
"job": {
"content": [
{
"reader": {
"name": "streamreader",
"parameter": {
"sliceRecordCount": 10,
"column": [
{
"type": "long",
"value": "10"
},
{
"type": "string",
"value": "hello,你好,世界-DataX"
}
]
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"encoding": "UTF-8",
"print": true
}
}
}
],
"setting": {
"speed": {
"channel": 5
}
}
}
}

2、在bin目录输入cmd,如下图,进入doc命令窗口

3、防止乱码先输入:CHCP 65001, 再输入:python datax.py ./stream2stream.json   按回车,出现如下结果,说明按照成功了。

  相关解决方案