ETL开发规范

　ETL规范概述

1.1 ETL含义：ETL是数据抽取（Extract）、转换（Transform）、装载（Loading）的缩写。

1.2 ETL应用：完整的ETL应用过程包含三个阶段：

           设计阶段：分析源和目标数据集的数据结构，定义合理的数据转换逻辑。

           实施阶段：按照设计阶段制定的逻辑规则进行编码，实现数据的E、T、L过程。

           维护阶段：对于非一次性数据整合项目，ETL过程需要重复执行，同时也需要不间断的维护和完善。

1.3 规范制定目的：ETL规范是为保证ETL正确设计、实施和维护所定义的一些规则和方法，具体包括ETL设计规范、开发规范以及维护规范。

1.4 设计规范

   设计规范主要应用于ETL编码的前期工作。本阶段要形成多个关于数据流的在不同层次的映射(Mapping)文档。

1.4.1 Mapping应该包含以下几个部分：

         数据源的相关属性，包括：实体名称—含DSN、所有者等信息；字段名—英文名称；字段简述—中文名称，如为参数信息应该有相关取值解释，如性别字段（1：男；2：女；0：不详）；类型—字段类型，含长度和精度信息；非空属性—字段是否可以为空；

         目标数据集的相关属性，包括：实体名称—含DSN、所有者等信息；字段名—英文名称，建议根据字段含义来命名，而不是简单用拼音来定义字段（此部分由负责设计数据集的人员控制）；字段简述—中文名称，对于保留字段应该给出默认值；