当前位置: 代码迷 >> Eclipse >> 咀嚼kettle-(一)用eclipse 搭建源码
  详细解决方案

咀嚼kettle-(一)用eclipse 搭建源码

热度:63   发布时间:2016-04-23 00:12:07.0
品味kettle--(一)用eclipse 搭建源码

前话

   本系列文章,重点剖析PDI的工作原理并关注系统的代码处理,学习软件的编码能力和代码的设计模式。该系统为我们快速搭建集群应用又提供了一种思路。在开始这系列文章之前,我认可你是懂java语法的人,对脚本有一定的认识,在软件面前有渴望知道原理的求知欲。本系列文章采用最新的开源版本

pdi-ce-5.0.1.A-stable,我希望通过我的努力能为ETL方面贡献我微薄的力量。

 

 简介

Kettle是一个java编写的开源的ETLExtract-Transform-Load的缩写,即数据抽取、转换、装载的过程)项目。Kettle水壶的意思。按项目负责人Matt的说法:把各种数据放到一个壶里,然后呢,以一种你希望的格式流出。2006 Kettle 加入了开源的 BI 组织 Pentaho,正式命名为 PDI ( Pentaho Data Integeration )加入PentahoKettle 的发展越来越快了,并有越来越多的人开始关注它了。Kettle绿色无需安装,数据抽取高效稳定。

 

正文

 

PDI官网上去下载最新的版本包:

http://sourceforge.net/projects/pentaho/files/Data%20Integration/5.0.1-stable/pdi-ce-5.0.1.A-stable.zip/download

 

到如下源码站点,找到与之对应的源码:

https://github.com/pentaho/pentaho-kettle/releases

 

 

我们打开编译过的包,直接解压。如果设置了java环境变量,你就可以直接点击spoon脚本,打开PDI并看到他的操作界面了。首先,我们不着急打开,先看下你解压过后的文件,我们来大致了解下文件布局构造。



 
 

 

 

  • lib:项目依赖jar包。比较重要的是以kettlepentaho打头的jar包。支持整个工具的运行。如下,也是我们比较关注源码的地方。

     

 

 

  • libswtPDI采用了xul界面技术。所有界面的开发采用了swt组件。该目录,包含了所用到的jar包,并且根据操作系统平台做到了差异化加载jar包的控制。

 

  • Plugins:插件目录。系统开放插件接口,可以对平台插件做扩展。



 

 

 

  • Pwd:存放集群化的配置文件和访问授权文件kettle.pwd

 

  • Ui:系统所有的界面xul文件和引用的图片资源文件。

 

  • 脚本:各种启动脚本。重点有四个 spoot/ pen/ kitchen/ carte。这些脚本的作用,后面我们再详细阐述。

 

 

到这里,有人或许已经打开了PDI的工作页面,并根据教程,已经对脚本有了基本概念。但这些不是我们的目的,我们要把项目从eclipse上启动起来。

 

 

 

新建java项目,笔者以pentaho_kettle为项目名。

 

源码项目是用ivy来管理的,为了减(我)少(也)麻(不)烦(会),我们把项目的源码改成eclispe上的java工程项目。打开源码包里有几个比较重要的目录。

 



 

 

跟之前的lib的依赖包是一致的。好了我们在工程里建立相应的源码目录,把源码包相应模块下的src目录内容拷贝进来。拷贝进来后,代码会报错,到上面提到的lib包下,我们把需要引用的jar包都考进工程里,并构建到工程中。



 

注意:已经引入源码的jar包就不要再引入了。另外swt包没有了脚本对操作系统的判断,自己根据自己的系统的类型,手动选择引入吧。其他的目录文件,如docspwdsimple-jndi等虽然不会造成项目编译不了,但是作为资源,缺失会报错的,所以还是要拷贝进来的。



 

 

 

 到这里,你的源码搭建就OK了,如果你对脚本有了解的话,不难看出spoon启动脚本,对应的是Spoon.java.该类的main方法便是整个工具的入口。这里看到脚本对启动参数有了部分的设置,我们在启动配置时加入该参数。



 

 

VM参数 写道
-Xmx512m
-XX:MaxPermSize=256m
-Djava.library.path=libswt\win32
-DKETTLE_HOME=
-DKETTLE_REPOSITORY=
-DKETTLE_USER=
-DKETTLE_PASSWORD=
-DKETTLE_PLUGIN_PACKAGES=
-DKETTLE_LOG_SIZE_LIMIT=
-DKETTLE_JNDI_ROOT=

 

启动,OK

 

   

  • 大小: 126.7 KB
  • 大小: 134.9 KB
  • 大小: 129 KB
  • 大小: 136.1 KB
  • 大小: 161.1 KB
  • 大小: 412.5 KB
  • 大小: 295.8 KB
  • 查看图片附件
  相关解决方案