Linux下定时执行KettleJob

一、配置Linux的Java环境变量,参考本博客《Linux下配置Java环境变量》 二、部署Kettle (1)将Kettle安装文件上传至linux服务器,例:pdi-ce-4.1.0-stable.zip (2)解压安装文件至目录,例:/mnt/kettle:unzip pdi-ce-4.1.0-stable.zip -d “/mnt/kettle” (3)赋予解压目录下.sh文件的执行权力,chmod +x *.sh (4)进入解压目录,键入“./kitchen.sh”回车,如果有帮助信息则表示kettle环境部署成功 三、编写执行Kettle任务脚本 (1)创建执行脚本test.sh (2)vi test.sh 将以下内容复制粘贴到里面 (提示:若是通过windows编写后复制到Linux,请注意回车问题,尽量直接在Linux编写,不同操作系统对回车空格的解释不用) export JAVA_HOME=/usr/java/jre1.6.0_23 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar /mnt/kettle/data-integration/kitchen.sh -file=/mnt/kettle/test.kjb > /mnt/kettle/display.txt…

Continue Reading →

Posted in: ETL

Kettle的Spoon转换入门

基本知识 一、Kettle 几个子程序的功能 I.Spoon.bat: 图形界面方式启动作业和转换设计器。 II.Pan.bat: 命令行方式执行转换。 III.Kitchen.bat: 命令行方式执行作业。 IV.Carte.bat: 启动web服务,用于 Kettle 的远程运行或集群运行。 V.Encr.bat: 密码加密 二、输入与输出 输入类步骤用来从外部获取数据,可以获取数据的数据源包括,文本文件(txt,csv,xml, json)数据库、 Excel 文件等桌面文件,自定义的数据等。对特殊数据源和应用需求可以自定义输入插件。输出步骤是输出数据的步骤,常见的输出包括文本文件输出、表输出等,可以根据应用的需…

Continue Reading →

Posted in: ETL