kygoal的博客

数据仓库的重点应用方向就是在线分析，这就对性能提出了很高的要求。为了能快速的响应前端的性能需求，可以有多种解决方案：升级硬件，采用内存数据库，数据表建立索引，对数据进行聚集。在这些方案中，在同等条件下，聚集表对性能的提升最大。如果能把数分钟的响应时间变成毫秒级的响应，则对前端的体验影响非常大。聚集表虽能达到这样的效果，但任何事物都有两面性。为了达到此效果，就得维护聚集表。一方面可以采用商业数据库，

introduction toDesigning a Pivotal Cluster with Customer-supplied HardwarePivotalAppliance提供了一个现成的平台，致力于满足大多数客户的工作负载。 越来越多的Pivotal工程公司正在看到客户选择建立满足特定要求或目的的集群的情况。平台和系统工程公司发布这个框架，为现场人员提供一个资源来协助客户进行这项工作

REVOKERemoves accessprivileges.概要REVOKE [GRANTOPTION FOR] { {SELECT | INSERT | UPDATE | DELETE| REFERENCES |TRIGGER | TRUNCATE }[,...]|ALL [PRIVILEGES] }ON [TABLE] tablename [,...]FROM {ro

ALTER CONVERSION更改一个转换的定义。概要ALTERCONVERSION nameRENAME TO newname ALTER CONVERSION name OWNER TO newowner描述alter conversion changes the definition of aconversion.使用alterconversion可以改变一个转

Chapter4 Greenplum环境变量此参考列出并介绍了环境变量为Greenplum数据集。这些设置在用户的启动shell配置文件（如〜/.bashrc或者〜/.bash_profiie），或在/ etc/ profile文件，如果你想将它们设置为所有用户。•必需的环境变量•可选的环境变量注：GPHOME，PATH和LD_LIBRARY_PATH可以通过在你的Greenp

缓慢变更维度（Slowly Change Dimensions  )是基于维度建模的多维数据仓库的基础。当维度表的信息发生变化时，如何更新就成为一个问题。根据Kimball的经典著作，主要有3种方法来处理。Type 1:覆盖：直接用新值代替旧值。Type 2:增加新行。将当前行的状态设置为off，并设置一个endtime时间戳，将当前时间标记上。         同时新增1行，将其状态标记为on，

CREATE TABLE AS从查询的结果定义了一个新的表。概要CREATE [ [GLOBAL | LOCAL] {TEMPORARY |TEMP} ] TABLE table_name [,...])][WITH ( storage_parameter=value [,...])][ON COMMIT{PRESERVE ROWS | DELETE ROWS | DROP}]

1        扩展一个Greenplum System为了扩展性能和存储容量，通过将主机添加到阵列扩展Greenplum的系统。数据仓库的数据因为额外的数据收集和保留期现有数据的增加而导致其容量随时间增长而增长。有时，有必要替身单一的数据仓库容量以便将不同的数据仓库合并到一个单一的数据仓库。可能也需要额外的计算能力（CPU），以适应新添加的分析项目。虽然在一个系统刚初始化时就提供了足够

ALTER FUNCTION更改函数的定义。概要ALTERFUNCTION name ( [ [argmode] [argname] argtype [,...] ] )action [, ... ] [RESTRICT]ALTERFUNCTION name ( [ [argmode] [argname] argtype [,...] ]

版本控制系统是存档和恢复ETL任务流中所有逻辑和元数据的一种快照功能。它负责控制所有ETL任务模块和作业的check-in以及check-out,对于开源的kettle，可以采用svn或者cvs等版本控制工具来实现。并且，版本控制系统也不应该成为一个事后才想起的问题。在ETL系统的设计上，每一部分都要确定一个主版本号，另外ETL系统的整体也应该有一个版本号。当某天发布的版本有严重的错误时，可以快速

GRANTDefines accessprivileges.概要 |GRANT{ {SELECT | INSERT | UPDATE | DELETE | REFERENCES |TRIGGER| TRUNCATE } [,...] | ALL [PRIVILEGES] }ON[TABLE] table

恢复和重新启动子系统：ETL设计的一个重要部分就是当ETL任务失败时，可以重新启动。在任务设计中，我们要尽量避免丢失数据和重复记录的情况。因此，这个子系统对整个ETL系统都是非常重要的。

备份在ETL过程中产生的各种中间数据也应该是ETL方案的一部分工作。Kimball推荐在ETL过程中的三个环节备份这些数据。1）从源系统加载后未进行任何改动之前。2）清洗之后3）已做完各种数据处理，可以写入正式数据仓库之前。

社区版的Kettle不提供自己的调度功能，而是依赖于Pentaho BI 的调度功能或者操作系统的croti功能。更好用的调度工具，例如OpenCron,opencron 是一个功能完善且通用的开源定时任务调度系统，拥有先进可靠的自动化任务管理调度功能，提供可操作的 web 图形化管理满足多种场景下各种复杂的定时任务调度，同时集成了 linux 实时监控、webssh 等功能特性。

数据整合管理系统，主要用来从数据仓库获取统计结果，并将这些结果推送到其他的应用环境中，例如离线数据分析，统计报表等。

OLAP数据库的存储结构和通常的数据库不同。当进行数据加载时，可以先预聚集数据。一般的OLAP数据库只能加载不能更新，所以在更新前必须把原数据清除。其他的OLAP数据库（微软的分析服务器）可以更新事实表，但是是其自有的更新方式。在Kettle中无法使用。

领导梯队职位业绩要求领导力要求第一阶段，从管理自我到管理他人一线经理促成业绩实现工作计划、知人善任、分配工作、激励员工、教练辅导、绩效评估、时间管理第二阶段，从管理他人到管理经理人员部门经理、总监提高企业运营效率选拔一线管理人才、分配管理工作、评估下属、教练辅导、全局思考第三阶段，从管理经理人员到管理职能部门事业部副总

事实表管理系统是负责如何创建、组织和管理事实表相关的任务。这个子系统和17一起联合工作。事实表管理系统通过维度管理系统获得维表的相关维度，将这些维度整合到事实表中。

这个子系统负责为事实表抽取正确的代理键。在这里使用“管道”是因为事实表的加载看起来好像一个工序，在工序里各个环节里使用数据的自然键去查找维表里的代理键。

维度管理系统是整个数据仓库的中心控制系统，用来为数据仓库提供正确的维度数据。在这里，所谓的中心控制系统，不但是组织维表的数据，而且还要负责管理和维表相关的计算任务，包括维表的生成、维表的更新、缓慢变化维的更新管理、维表的加载、生成维杂项维的管理等