Informatica基础系列(一)——Helloworld

目录:

Informatica基础系列(零)——前言

Informatica基础系列(一)——Helloworld

Informatica基础系列(二)——更新策略转换组件

Informatica基础系列(三)——表达式、筛选、查找组件

Informatica基础系列(四)——联结组件、路由组件

Informatica基础系列(五)——参数与变量

Informatica基础系列(六)——发布环境、迁移知识库

Informatica基础系列(七)——常见问题、注意事项

Informatica基础系列(外)——不支持 MySQL Community 版本的解决方案

正文:

这一篇介绍 Informatica 的软件功能视图,并通过一个简单的 Demo 一窥 Infa 完整开发流程。

一、Infa 软件视图

1.1 概览

Infa 是 C/S 的软件架构,包括 Server、Client,我们的开发工作一般集中在 Client 。在本地安装好客户端,就会看到 Infa 的几个快捷方式,常用的有 Repository Manager、Designer、Workflow Manager、Workflow Monitor,如下图所示:

图 2-1

1.2 Repository Manager

仓库管理,负责工作夹的创建、删除、编辑以及环境数据的导入导出,能看到在其他视图做的工作,包括 Designer 的 Source、Target、Mapping,还包括 Workflow 的 Session、Workflow、Schedule,如下图所示:

图 2-2

1.3 Designer

映射设计,负责数据源、目标的映射转换设计。

图 2-3

如上图,1 是切换软件视图区,可以方便地打开或切换到其他视图;2 是工作夹导航区;3 是组件区,可以拖拽到设计区;4 是设计视图切换区,可以在 Source、Target、Transformation、Maplet、Mapping 设计区切换;5 是状态栏。

1.4 Workflow Manger

工作流管理,负责工作流设计、设置等。

图 2-4

Workflow 视图和 Designer 类似,需要补充说明的是:设计区、菜单、快捷组件等会根据你开发内容的不同而实时变化,您可以在 Designer 的 4 区切换不同的设计视图体验一下。

1.5 Workflow Monitor

工作流监控,查看运行状态、运行日志等。

图 2-5

如上图,1是 Workflow 的运行日志,双击 Workflow 的某一个 Session,下面会有该 Session 的详细日志,从 Source 抽取的记录数,影响 Target 的记录数,Session 的开始时间、结束时间等。

二、HelloWorld

接下来我们做一个 Demo,把 Source Table 的数据全量 load 到 Target Table,根据 Id 主键匹配,Insert/Update 到 Target。为了简便,我把 Source、Target 放在同一个 DB。

2.1 新建 Folder

我们从零做起,首先打开 Repository Manager 视图,新建一个 Test 工作夹,如下图所示:

图 2-6

如果勾选 Allow Shortcut,表示该 Folder 是一个共享工作夹,点击确定就建好一个 Test 的 Folder,接下来切换到 Designer。

2.2 导入 Source、Target

切到 Designer 会看到 Test Folder,如果 Designer 处于打开状态,需要断开连接重新连才能看到这个变更,如下图所示:

图 2-7

接下来导入 Source、Target 数据结构,先切换到 Source 视图(中间红框的第一个图标),可以看到菜单出现 Source 的菜单。点击它,选择 “Import from Database”。当然,Infa 支持导入很多种数据源结构,本文以 Database 为例:

图 2-8

我已经建好一个 ODBC 的 DSN,也可以点击后面的 “…” 创建。接下来,选中这个 DSN,输入 UserName/Password ,点击带图标的 “Connect” 按钮,选中要导入的表,点击 “OK”,Source 就导好了,如下图所示:

导入 Target 的方法和导入 Source 类似,导入后结果如下图所示:

2.3 设计 Mapping

导入 Source、Target 后,切换到 Mapping Designer 视图设计 Mapping(中间第5个小图标,也就是最后那个),通过 Mapping -> Create,输入 Mapping 名称,创建一个 Mapping,如下图所示:

将 Source、Target Table 拖拽到设计区,并将 Source 和 Target 的字段根据需求连线,我们先简单地把 Source 的数据一一对应地 load 到 Target,直连就可以了,如下图所示:

补充说明:Infa 可以根据 Position/Name 自动连线,右键单机空白处,可以看到 AutoLink 选项,您可以试试。

2.4 生成 Workflow

Mapping 设计完毕后,右键点击空白处,选择“Generate Workflow”,根据引导程序完成 Workflow 的创建,可以先按引导程序的默认选项,后续在 Workflow 中重新设置,如下图所示:

这里可以选择创建一个可复用的 Session、可复用 Session 的 Workflow 或不复用的 Session 的 Workflow,通常情况下,一个 Workflow 可以运行多个 Session,我们选第三个。

2.5 设置 Workflow

Workflow 运行前需要指定 “Connector”,就是 Source、Target 数据所在的数据库连接。切换到 Workflow 视图,通过 Connerctor -> Relational … 配置连接,如下图所示:

双击 Workflow 中的 Session -> Properties ->Treat source rows as,选择 “Update”,如下图所示:

切换到 Mapping tab,设置 Source、Target 的连接,并选择 Target “Update else Insert”,我们上面选择的是 Update 模式,这里选择这个选项的意思是匹配到则更新,否则插入新的记录,如下图所示:

到这里整个开发就结束了,下面我们验证下我们的数据是否能得到预期结果。

2.6 验证结果

我已经在 Source Table 准备了 4 条记录,Target Table 无记录,查询结果如下图所示:

然后运行 Workflow,右键单击 Workflow Designer 空白处 -> Start Workflow,会自动转换到 Monitor 视图,查看日志看到影响了 4 条记录,再查看下数据库,看到 Target Table 已经有了 4 条数据,如下图所示:

今天的分享就到这,相信这篇文章已经能够让你快速上手 Infa 的开发了。随着业务场景的复杂程度,Infa 也有更复杂的设计策略,敬请期待下次分享!

At 2017.08.13

欢迎关注我的微信公众号:惜福 / xifu_forever,微信扫一扫即可关注:

课程介绍:          Informatica 9.6 实战课程,将从数据仓库体系架构介绍,服务器搭建配置,实例组件操作,丰富的案例,及项目实战开发过程 来讲述ETL工具Informatica的实际应用,真正完成数据仓库全流程开发应用,ODS层,EDW层,DM层,学完该课程具备ETL软件开发工程师能力水平,能独立完成项目开发工作,从入门到高级项目开发应用,每个实例都载图,课件,教程,数据等,能达到中高级ETL开发能力,本课程的学习要求,定跟着实例动手实战,操作才能掌握实例的开发步骤,及开发注意事项。每个组件都用具体案例讲解,保证学以致用。掌握ETL的开发技能,搭建数据仓库体系架构。应对各环境操作。具体数据实操与应用。 你将收获:ETL软件开发工程师能力与水平数据仓库体系架构案例综合应用实战ETL实战项目开发数据采集与数据处理数据清洗与数据仓库指标统计学会使用Informatica完成项目开发掌握ETL开发流程掌握数据质量管理 适用人群 数据仓库初学者 数据仓库开发工程师 数据库开发工程师 BI开发工程师 数据可视化工程师大数据开发与应用 数据仓库管理 数据管理 数据分析师 业务数据分析 零基础入门ETL ETL大数据处理 数据仓库体系架构图: 课程大纲:01_Informatica9.6课程导学02_数据仓库体系介绍03_Oracle_安装04_Oracle_配置.wmv05_PLSQL工具汉化破解06_Informatica9.6安装.wmv07_Informatica9.6服务器配置.wmv08_客户端的安装配置连接.wmv09_客户端工具介绍10_源数据介绍11_入门实例EMP_0112_入门实例EMP_0213_入门实例DEPT表14_表达式Fx组件实例115_表达式Fx组件实例216_聚合组件实例17_查找Lookup组件实例18_过滤Filter组件实例19_Informatica9.6 排序sort组件实例详解20_Informatica9.6 分发器Router组件实例21_Informatica9.6 sql连接查询复习22_Informatica9.6 连接查询同构SQ23_Informatica9.6 连接查询异构JOIN24_Informatica9.6 等级函数Rank实例25_Informatica9.6 数据合并Union组件实例26_Informatica9.6 存储过程Px组件实例27_1行转列案例sql28_2行转列案例ETL过程29_工资大于该职位下平均工资案例30_增量抽取案例31_缓慢变化维案例32_对文件数据的读取写入33_项目1薪酬统计项目介绍34_Informatica 项目1薪酬统计项目接口入库ODS35_Informatica 项目1薪酬统计项目EDW层明细表临时表1sql36_Informatica 项目1薪酬统计项目EDW层明细表临时表2ETL37_Informatica 项目1薪酬统计EDW层明细表138_Informatica 项目1薪酬统计EDW层明细表239_Informatica 项目1薪酬统计EDW层明细表340_Informatica 项目1薪酬统计DM层月考勤统计报表41_Informatica 项目1开发DM层统计报表142_Informatica 项目1开发DM层统计报表243_Informatica 项目1开发DM层统计报表344_Informatica 项目1开发DM层薪资报表145_Informatica 项目1开发DM层薪资报表246_Informatica 项目1开发DM层薪资报表347_Informatica 项目2计费系统项目介绍48_Informatica 项目2计算系统项目ODS层49_Informatica 项目2计费系统EDW层150_Informatica 项目2计费系统EDW层251_Informatica 项目2计费系统EDW层352_Informatica 项目2计费系统DM层 
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值