Kettle8.2流程组件之过滤记录

最新推荐文章于 2026-03-29 02:02:59 发布
原创 最新推荐文章于 2026-03-29 02:02:59 发布 · 7.3k 阅读 · 7
标签
#kettle
本文介绍如何使用Kettle8.2的过滤记录组件处理数据库中的数据，通过实例演示了从数据库读取数据、过滤特定条件的数据，并分别保存到不同文件的过程。

Kettle8.2流程组件之过滤记录

一、相关说明

  • 过滤记录组件说明：
    过滤记录让数据流从一路到两路。
    在这里插入图片描述

  • 需求说明：
    从数据库中的sys_user表读取数据，过滤部门号为100的数据，将其保存在一个文件中，其他将数据保存到不同文件中。

  • 测试数据源和如下博文中的数据源是一样的：
    Kettle8.2查询组件之数据库查询

二、设计转换

  • 输入：表输入
  • 流程： 过滤记录
  • 输出：Excel输出、Microsoft Excel输出
    在这里插入图片描述

三、转换配置

  • Step1：表输入（连接A库）组件配置

    • 双击组件，写上步骤名称等
    • 相关配置如下所示：
      在这里插入图片描述
最低0.47元/天 解锁文章
Kettle实例-缺失值处理-去除缺失值
fxxhmn的博客
10-11 4199
在“条件”处设置过滤的条件，过滤掉有缺失值的数据字段（这里是过滤Name、Pay和Area字段中的缺失值）；1.通过使用Kettle工具，创建一个转换delete_missing_value，并添加“文本文件输入”控件、“字段选择”控件、“过滤记录”控件、“Excel输出”控件、“空操作（什么也不做）”控件以及Hop跳连接线。7.选择和修改”选项卡的“字段”处手动添加文本文件输入控件输出的所有数据字段，也可以单击【获取选择的字段】按钮，Kettle工具自动检索并添加文本文件输入控件输出的所有数据字段。
kettle从入门到精通 第十课 kettle switch/case、过滤记录、数值范围
zhangjin1222的博客
01-27 2483
下图便用到switch/case、过滤记录、数值范围控件。4、数据范围，根据范围进行统计分组，如下是根据grade 统计优秀、良好、不及格的学生，根据输出字段range 可以进行路由步骤。3）条件：可以设置为比较两个字段，如field1=field2，也可以设置比较一个字段和一个常量，如major=计算机。2）发送false数据给步骤：下面条件表达式结果为false时流向的步骤。1）发送true数据给步骤：下面条件表达式结果为true时流向的步骤。2）switch字段：需要判断的字段，从前置步骤中选择。
Kettle8.2数据清洗必学技巧：过滤记录组件的5个高级用法与性能优化
最新发布
weixin_30919429的博客
03-29 220
本文深入探讨Kettle8.2中过滤记录组件的5个高级用法与性能优化技巧，包括多条件组合过滤、正则表达式应用、空值处理范式、大数据量性能优化及动态路由与错误处理。通过实战案例和优化策略，帮助用户提升数据清洗效率，特别适合处理百万级数据流场景。
去重复记录和排序——kettle开发09
java程序员的蜕变之路
05-27 1009
EXCEL输入：如图所示我们EXCEL表里面一共有7条记录，这里面需要注意的是，我们在去除重复记录的时候，是不是大小写敏感，如果我们大小写敏感的话，那我们如图所示，我们是没有重复记录的，因此我们在去除重复记录的时候要根据需求来选择是否大小写敏感来过滤我们的数据，从而达到我们去除重复的目的。去除重复记录，就是将数据流中的数据进行字段比较，从而去掉重复值的过程。去除重复记录的前提是需要将数据流中的数据进行排序，然后再进行去重操作。去除重复记录的逻辑是，如下图，我们将需要比较的字段作为比较值来比较是否重复。
ETL之PDI/Kettle9.x/8.x案例培训实战从入门到应用案例
01-06
学完本课程，您将掌握：PDI/Kettle数仓技术PDI/Kettle开源免费的ETL推送工具PDI/Kettle数据清洗PDI/Kettle数据抽取PDI/Kettle数据挖掘PDI/Kettle案例实战PDI/Kettle技巧PDI/Kettle9.1版本PDI/Kettle通用PDI/Kettle水壶技术适合人群：需要数据清洗和操作的IT信息化相关人员，IT相关从业人员，大数据工程师，数据库工程师及DBA，数据仓库ETL学习计划：利用碎片化的时间学习即可，每天学习一小时或3个课时即可达到效果；时间充足者，自由安排课程目标：促使教育公平，打破教育壁垒，让ETL更加的大众化使用 课程简介：【可视化介绍】       Kettle 是 PDI 以前的名称，PDI 的全称是Pentaho Data Integeration，Kettle 本意是水壶的意思，表达了数据流的含义。Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。【软件版本】     企业用的最多的Kettle9.x/8.x/7.x，本教程以最新Kettle 9.x进行教学【授课方式】    番茄教学法：以知识点为基准，进行独立课时讲解，课时之间低耦合，方便同学利用碎片化时间学习 
kettle案例14-过滤记录
勇气与行动
11-01 5499
参考《ETL数据整合与处理》--任务3.4 任务描述：在数据处理时，往往需要对数据所属类别、区域和时间等进行限制，将限制范围外的数据过滤掉。为了统计2班的考试人数和成绩，需要对“2019年10月年级月考数学成绩.xls”文件，使用【过滤记录】组件，过滤掉不是2班的数据。 在【过滤记录】转换工程中，单击【过滤记录】组件，再单击工作区上方的 图标，预览过滤记录后的数据： ...
Kettle8.2流程组件之动态条件过滤实战
tcp8optimizer的博客
03-08 438
本文详细介绍了在Kettle8.2中如何利用其强大的变量与参数机制，实现动态条件过滤的实战方法。通过一个电商订单处理的真实案例，从获取动态日期变量、在SQL查询中应用变量，到配置过滤记录组件进行数据分流，一步步拆解了核心操作步骤。文章还深入探讨了如何通过作业传递参数实现更灵活的调度，并提供了关键的避坑指南与性能优化建议，帮助读者构建健壮、自动化的数据处理流程。
Kettle8.2流程组件实战：空操作与中止的数据校验应用
earth的博客
03-02 659
本文深入探讨了Kettle8.2中流程组件“空操作”与“中止”在数据校验场景下的实战应用。通过一个模拟用户数据稽核的完整案例，详细演示了如何利用这两个组件构建健壮的数据处理流程，实现对异常数据的即时拦截与清晰记录，从而有效提升数据管道的可靠性与可维护性。
Kettle8.2数据清洗必学技能：过滤记录组件的5种高级用法与避坑指南
weixin_29251337的博客
03-14 114
本文深入解析Kettle8.2中过滤记录组件的核心逻辑与五种高级实战技巧。涵盖多条件业务规则构建、正则表达式文本匹配、空值与异常值精细化处理，以及与变量联动的动态过滤方法，旨在帮助数据工程师构建高效、精准且可维护的数据清洗流程，有效提升数据处理质量与效率。
Kettle8.2过滤记录组件实战：如何用Excel输出实现数据分流（附完整配置截图）
weixin_29290259的博客
03-20 145
本文详细介绍了如何使用Kettle8.2的过滤记录组件实现数据分流，将数据库数据按条件分类导出到多个Excel文件。通过实战演示，包括环境准备、转换流程构建、Excel输出配置及常见错误处理，帮助用户高效完成数据处理任务。特别适合需要数据分流的ETL开发者和数据分析师。
【ETL实战】Kettle学习实践之基本数据转换和过滤
wenchun001的博客
05-24 1330
Kettle学习实践之基本数据转换和过滤
[Kettle] 记录处理
Hudas的博客
11-14 2335
本文主要介绍了排序记录、去除重复记录、替换NULL值、过滤记录、值映射、字符串替换、字符串操作和分组这8种常用的记录处理组件
kettle从入门到精通 第十二课 kettle java代码过滤记录、利用Janino计算Java表达式
zhangjin1222的博客
01-27 1013
3、利用Janino计算Java表达式，主要作用是根据以后字段进行计算，然后返回新增字段或者覆盖原有字段。1、下图通过简单的示例讲解了根据java代码过滤记录和利用Janino计算Java表达式两个组件。3）接收不匹配的行的步骤(可选)：下面条件（java表达式）执行结果为false时流转的步骤。2）接收匹配的行的步骤(可选)：下面条件（java表达式）执行结果为true时流转的步骤。4）条件（java表达式）：java表达式。2、根据java代码过滤记录。1）步骤名称：自定义。
kettle案例六数据表关联--排序记录-记录集连接-过滤记录
热门推荐
直到世界的尽头
01-03 2万+
如果我们清洗的数据是多个维度的，那么很有可能对数据进行关联得到一张最终表进行分析。 比如 回答集合的数据里有如下字段 id optionId user 包含了 谁 回答了哪个问题，选项是什么。 选项集合的数据里有如下字段 id question option 我们最终希望得到的数据集合是 id question option user 那么就需要对两个集合进行关联 新建...
案例5.3.1 删除包含异常值的记录
qq_54195994的博客
11-18 141
案例5.3.1 删除包含异常值的记录
Kettle8.2实战：如何用空操作和中止组件优化数据流处理（附真实案例）
weixin_29309475的博客
03-13 155
本文深入探讨了Kettle8.2中空操作与中止组件的实战应用与性能调优。通过真实案例解析，阐述了如何将这两个组件从简单的流程终点转变为构建健壮数据流、实现精细化流程控制与优雅异常处理的智能哨兵，从而提升ETL作业的整体可靠性与效率。
Kettle8.2流程组件之空操作和中止
聚焦大数据、AI、数据库三大核心领域，分享 Flink/Spark 实时计算、数仓架构设计、AI 模型落地、数据库性能调优的实战干货，附可直接运行的源码与方案。提供企业技术内训、项目咨询与定制化服务，助力开发者与企业高效搞定数智技术难题。
04-18 4511
Kettle8.2流程组件之空操作和中止一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看 一、相关说明 空操作组件说明： 空操作一般作为数据流的终点。（在kettle的sample中经常使用，但是实际开发中很少使用） 中止组件说明： 中止是数据流的终点，如果有数据到这里，将会报错。一般用于校验数据的时候使用。 需求说明： 从数据库中的sys_user表读取数据，根据update_by字段来过滤非空和空的数据，若是update_by字段为空，则中止；不为空，则什么都不操作，即空操作。
【Kettle】流程控件的使用（switch 过滤记录）
qq_41369191的博客
05-05 2685
switch（流程控件） switch/case组件让数据流从一路到多路。 需求： 从 user.json 输入读取数据，按sex进行数据分类， 把女性、男性分别保存不同的Excel文件里 面。 0表示男性 1表示女性 拖入一个 JSON输入组件、switch/case流程组件、两个Excel输出组件 配置 JSON输入组件 配置switch/ca...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

安楠的数智笔记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值