KETTLE 并行任务设置

在学习kettle的过程中，发现如果从start节点拉出两条线，这两个分支路径是串行运行的，即先运行路径1，再运行路径2，而且**【转换test2】**每个路径都会运行一次，而不是等待两个路径同时运行完后才执行。节点第二次与 ‘011’ 比较，结果为true（日志中未打印，但后续进行了下一个节点的运行动作，可以推论出比较结果为true）；节点只运行了一次，这说明分支节点前的节点只运行一次。节点 **【计数求和】**第一次运行，对变量。节点 **【计数求和】**第二次运行，对变量。

kettle使用常见问题解决-01

kettle使用常见问题解决

本文基于Pentaho的kettle模块实现ETL功能，在spoon中实现创建、定义作业，记录作业job的两种处理并行作业项的方法。

kettle.properties文件的位置可以通过设置KETTLE_HOME来指定，如设置KETTLE_HOME 为/opt/kettle/home,则kettle.properties文件的路径为/opt/kettle/home/.kettle/kettle.properties。`${Internal.Entry.Current.Directory.Filename}`：当前作业或转换文件的完整路径和文件名。c、如果解析一个依赖于另一个变量的变量，可以这样使用：${%%inner_var%%}。

start后设置多个并发，鼠标右击start 选择RUN Next Entries in Parallel

场景：User_Tables存放着系统用户的表信息，其中列Table_Name存放着表名。现在想从User_Tables中获取要进行相同数据抽取操作的表，使用Kettle实现循环执行这些表。 例如统计表A、B的总行数： SELECT COUNT(1) FROM A； SELECT COUNT(1) FROM B; 这些SQL语句除开表名外，其他部分都是一样的，所以在使用KETTLE抽取数据

前言： 前面我们介绍了kettle的一些常用组件，同步方法，缓存机制及怎么去处理kettle出现的小问题。今天我们讲两种kettle中常用的作业调度方法，kettle作为一款ETL工具负责将数据从ODS层处理至DWD层，主要负责数据的清洗、转换工作。kettle其实只有2个功能组合即转换和作业，转换负责组件间的协调配合，作业负责任务的执行，但是我们怎么能让kettle自动将任务跑起来，自己完成数...

Kettle转换中的所有步骤是并行运行

官网文档： https://wiki.pentaho.com/display/EAI/Configuring+log+tables+for+concurrent+access?showComments=false 本文档由官网文档整理得出，请参阅官网文档，但是国内访问pentaho网站不太稳定，特此整理 环境： kettle 8.3和Pentaho-Server 8.3 背景： 使用kettle 的服务器端Pentaho-Server ,做定时任务时，发现假如多个任务同时并发，并启用了kettl

我们在作业开发会遇到各种作业的执行逻辑,包括串行、并行、并行结束后再开始串行等； 本文章介绍job作业中如何并行执行完子job/转换后，才开始下一步作业的执行。 示例job如下: 其中通过wait for sql 实现了对并行流程的等待，建立了一张表用来判断。 delete record：在每次作业执行前把表清空。 insert first record:本支线的任务执行完，插入一条记录到表中。 insert second record:本支线的任务执行完，插入一条记录到表中。.

数据分发方式与多线程、Carte 子服务器、集群转换、数据库分区

因为数据库有接近300个表，为了防止意外情况，某个表同步失败，不影响其他大量表同步，所以考虑了拆分，将6-10个表作为一个脚本，就算一个脚本中的某一个表有问题，也只是影响本脚本中的10个表（一个脚本中一个表失败会中断本脚本的继续执行；当然你可以跳过错误，但是这样数据就不准确了 ）；所以转换脚本有30个脚本；但为了执行的时候不出错遗漏执行，我们新建一个作业，一键化执行所有脚本 1，顺序执行：意思就是一个个脚本执行，前面一个脚本执行成功了，才会执行下一个脚...

Excel输入：读取excel文件，注意这里有两种excel的版本xls,xlsc，这两种不同的格式要选择不同的检索引擎。 Excel输入：将数据写出到excel文件中。 文本文件输出：将读取的内容输出到文本文件中。 设置变量：将读取到的内容设置成一个变量。只能获取一个变量值。 生产记录：可以生成一些随机数什么的。 映射：类似于将1转成男，0转成女的操作。 javascript代码：嵌入js代码。...