为什么用datastage而不直接用sql

最新推荐文章于 2024-11-08 00:02:27 发布
转载 最新推荐文章于 2024-11-08 00:02:27 发布 · 2.7k 阅读 · 2
标签
#数据库服务器 #数据仓库 #数据库
本文探讨了在ETL工具DataStage中使用joinstage、aggregatestage、sortstage等特定功能的原因，与直接在数据源执行SQL操作进行筛选、聚合、排序的区别，重点阐述了性能考量及不同数据规模下选择的最佳实践。
我在用datastage的时候发现有些stage例如join stage,aggregate stage,sort stage等，
不就实现了order by ,sum ,连接等sql功能吗，那么我干嘛不在数据源的时候就做好这些事情呢，何必用这些stage呢？

例如我搞个odbc stage，自定义 sql select count(1),a from A group by a不就可以了吗



--

我也感觉得是性能问题。比如用lookup做关联匹配的速度，比在Oracle里面用存储过程处理要快，当然原因有很多方面的，比如DS服务器性能和数据仓库的服务器性能差异，网络因素等。


--

数据量不大的话，在数据库端做确实比较好。
数据量大的话，全丢给数据库压力吃不消（况且数据库和etl平台不是同一机器），比如100G和100G的表做关联。。。数据库会down掉
在ds平台的话，中间过程全丢到数据库服务器外，通过etl的并行机制，效率大大提高

--

常见的一个场景是：数据源非关系数据库，例如文本、EXCEL，这时候你就需要用这些STG实现JOIN、AGGREGATE、SORT。。。

DataStage8.7（win7）安装手顺
09-13
详细描述了安装过程，以及需要的一些必须软件 不出意外的话，按照本文档就可以完成安装，并使用 转化器编译报错的问题，在里面有解决办法
informatica与datastage对比
07-23
对比informatica与datastage的功能，了解之间的不同之处，可以作为初学者之用。
DataStage（ETL）技术总结 -- 介绍篇
风之去向
09-18 1572
 数据整合的核心内容是从数据源中抽取数据，然后对这些数据进行转化，最终加载的目标数据库或者数据仓库中去，这也就是我们通常所说的 ETL 过程(Extract,Transform,  Load)。    IBM WebSphere DataStage（下面简称为DataStage）为整个 ETL 过程提供了一个图形化的开发环境,它是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化，
Datastage性能优化
guanyi的博客
06-28 2255
1，SQL自身的优化：调优，并行处理2，stage的拆分与合并：实践测试为准     如多个JOIN的stage双方都为大数量(几百万一般大于200w)则考虑合并。如大表但JOIN的数据不大就不用合并。     如一个stage中的两个表都为大表且关联很慢时考虑拆分为两个stage作Join（select后数据不大：小于40w）3，选用合理的stage: 像sort,之类的尽量少用，在数据库里完成...
用 IBM WebSphere DataStage 进行数据整合：第 1 部分
abc123098098的博客
05-11 1349
http://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0602zhoudp/ 级别： 初级 周 登朋 (mailto:zhoudengpeng@yahoo.com.cn?subject=第 1 部分), 上海交通大学研究生 2006 年 2 月 23 日 数据整合的核心内容是从数据源中抽取数据，然后...
DataStage面试题及参考答案
最新发布
大模型大数据攻城狮的专栏
11-08 943
DataStage 是一款功能强大的企业级数据集成工具，由 IBM 公司开发。它主要用于数据的抽取（Extract）、转换（Transform）和加载（Load），也就是常说的 ETL 过程。从数据抽取方面来讲，DataStage 能够连接到各种各样的数据源，像关系型数据库（如 Oracle、SQL Server 等）、文件系统（包括 CSV、XML 等格式的文件）以及大型主机系统等多种数据源。它通过内置的连接器或者自定义的接口来获取数据。在数据转换环节，DataStage 提供了丰富的转换操作。
DataStage “Sort、Remove Duplicates”控件使用总结
Dekey_1314的专栏
08-19 1495
1. Sort、Remove Duplicates使用时，Hash分区
DataStage简介
ynn0705的专栏
08-13 4132
数据整合的核心内容是从数据源中抽取数据，然后对这些数据进行转化，最终加载的目标数据库或者数据仓库中去，这也就是我们通常所说的 ETL 过程(Extract,Transform,  Load)。     IBM WebSphere DataStage（下面简称为DataStage）为整个 ETL 过程提供了一个图形化的开发环境,它是一套专门对多种操作数据源的数据抽取、转换和维护过程进行简化和自动化
datastage 笔记
qianyuanyuan1212的专栏
04-21 1093
1, 在使用odbc stage连接sql server时，发现sql server 中的 char, varchar不与ds 中的 char ,varchar兼容,导致 unicode conversion failed     解决办法： 在读数据时，使用cast函数转成 nchar类型，再使用ds中的char,或 varchar 接收。                     如：
DataStage 简介
李石锋的专栏
08-10 8489
数据整合的核心内容是从数据源中抽取数据，然后对这些数据进行转化，最终加载的目标数据库或者数据仓库中去，这也就是我们通常所说的 ETL 过程(Extract,Transform,  Load)。     IBM WebSphere DataStage（下面简称为DataStage
ETL工具之DataStage
runqu的博客
03-26 3792
DataStage是一种用于数据集成和ETL（提取、转换和加载）的数据集成工具。它是IBM公司开发的一款强大的数据集成工具，可用于从不同的数据源提取数据，进行转换，并将数据加载到目标系统中。DataStage具有图形化的用户界面，使用户可以通过拖放和链接数据集成的各个组件来构建数据流程。它支持多种数据转换操作，包括数据清洗、数据合并、数据分割和数据过滤等。DataStage还提供了强大的数据集成和数据质量功能，可以将数据从不同的数据源集成到一个统一的视图中，并进行数据质量分析和校验。
IBM DataStage v9.1简介（官方文档）
11-07
这是一个队最新版DataStage v9.1的官方介绍文档。
datastage v8.1 install and config guide
12-15
datastage v8.1 install and config guide
DATASTAGE出现SQLSTATE = 23505错误问题解决办法
热门推荐
小姝悠悠的博客
06-29 2万+
错误描述：SQLExecute 报告：SQLSTATE = 23505: 本机错误代码 = -803: 消息 = [IBM][CLI Driver][DB2/NT64] SQL0803N  INSERT 语句、UPDATE 语句或由 DELETE 语句导致的外键更新中的一个或多个值无效，因为由 "1" 标识的主键、唯一约束或者唯一索引将表 ****的索引键限制为不能具有重复值。问题分析：该问题是由...
datastage（IBM InfoSphere Information Server ）日志的获取和分析
荣耀之路
03-31 1万+
在使用 IBM InfoSphere Information Server 的过程中我们经常会遇到一些问题，但如何来查找和诊断问题，对于一个刚刚使用 IBM InfoSphere Information Server 的用户来说这或许是一个很棘手的事情。但是不必担心，因为 IBM InfoSphere Information Server 产品从安装、运行到卸载都为我们提供了大量的多种形式的日
Datastage 中Transformer Stage：各个函数的解析
zftang的专栏
03-24 1万+
<br />Transformer Stage：各个函数的意义：<br />Date$Time<br />函数名称<br /> 测试用列<br /> 描述<br /> 测试结果<br /> <br />CurrentDate<br /> CurrentDate()<br /> 获取系统当天日期<br /> 2008-08-05<br /> <br />CurrentTime<br /> CurrentTime()<br /> 获取系统当天时间<br /> 17:52:31<br /> <br />Curre
浅析 Transformer Stage 在 DataStage 作业中的用法及功能实现
guanyi的博客
07-05 3745
产品背景介绍IBM InfoSphere DataStage 是业界主流的 ETL(Extract, Transform, Load) 工具，它使用了 Client-Server 架构，在服务器端存储所有的项目和元数据，并支持在多重数据结构中对大量数据进行收集、整合和转换。客户端 DataStage Designer 为整个 ETL 过程提供了一个图形化的开发环境，用户在 Designer 中对 ...
从DataStage 转换到SQL SERVER SP注意点
数据就是一切
10-30 1914
If one column has one lowercase and one uppercase DataStage ETL is considering them as separate records but the stored procedure is considering them as one record ... So it may need to use COLLATE s
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值