使用kettle 定时同步csv文件数据到数据库表

hive及数仓 SenLin 4年前 (2020-07-15) 495次浏览 已收录 0个评论

背景

最近由Java工程师转岗为ETL数据工程师,虽然以前也有为数据集成的项目储备过kettle相关的知识,但是一直没有在生产环境中实际使用过kettle。然后最近刚好有一个比较小的活,需要每天定时同步几个csv文件到数据库表,然后用kettle大概花了一天时间做完了这个任务。

需求:将每天上传到指定目录下.tar.gz压缩包下的4个csv文件,每天定时同步到数据库表中。

解题思路

  1. 首先对压缩文件解压,解压.tar.gz文件,得到4个csv文件。
  2. 然后对4个csv文件使用kettle,输出到数据库表。
  3. 使用linux crontab 定时调用脚本完成每天的同步任务。

kettle Job流程

下面是同步csv文件Job的整体流程,整体流程是如下:
设置当前日期变量->清除表数据->同步csv到数据库*4->成功/失败邮件

 

整体流程
1. 设置当前日期变量

因为csv文件都是有日期后缀的,每天一个,所以获取csv文件名的时候需要拼一个当前日期字符串。因为后面4个同步csv的转换都需要这个日期字符串,所以单独用一个转换来处理这个日期字符串,然后设置到环境变量,后面的几个转换,再获取这个日期字符串,这个转换主要有3步:
获取系统时间->时间格式化->设置时间变量到环境变量,其中时间格式化是采用JavaScript插件来处理:

 

日期格式化

 

在设置时间变量步骤中,需要注意,设置的环境变量是通过第二列的${FILEDATE}来获取,而不是第一列的字段名

 

设置环境变量
2. 清除表数据

通过sql插件来清除4张表数据。

3. 同步CSV文件到数据库表

这部分是主要的流程,CSV文件是以当前日期结尾的,不是固定的,所以一开始需要处理csv文件名,动态拼接日期字符串。流程如下:
获取当前日期变量->处理文件名字符串->CSV文件输入->表输出

 

同步数据文件主要流程

 

处理文件名字符串字符串使用的是公式插件,然后拼接日期参数:

 

处理文件名

csv文件输入的时候,需要选择从上一步骤获取文件名,然后因为没有从本地选择本地文件,所以无法获取字段,可以创建一个从本地文件读取的csv输入,获取字段Copy下来,然后黏贴到下面字段列表里。

csv文件输入

shell脚本来处理压缩文件和执行Job任务

通过linux crontab 定时执行shell脚本来解压文件,以及执行kettle的Job任务。解压tar.gz文件到指定目录,然后再调用kettle kitchen命令来执行Job。

1. 处理压缩文件脚本如下:
处理压缩文件脚本
2. 执行ETL Job任务脚本如下:
执行kettle job脚本

欢迎大家赞赏、转载、点赞、评论。


top8488大数据 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:使用kettle 定时同步csv文件数据到数据库表
喜欢 (0)
[]
分享 (0)

您必须 登录 才能发表评论!