搭建数据仓库第01篇：数据仓库开发的生命周期

最新推荐文章于 2025-10-02 19:43:57 发布
转载 最新推荐文章于 2025-10-02 19:43:57 发布 · 379 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
原文链接：http://www.cnblogs.com/benchen/p/6032002.html
本文详细介绍了一个数据仓库从无到有的构建过程，遵循Kimball生命周期方法，涵盖了定义业务需求、技术路径选择、产品安装、维度建模、物理设计、ETL开发、BI应用设计等关键步骤。

 虽然一直在做数据仓库开发，但是还没有从0开始搭建过数据仓库，所以就想通过学习和思考来搭建一个还不错的数据仓库。比较经典的当属Kimball生命周期方法，它为我们在数据仓库开发过程中提供了路标的作用，生命周期方法的总体结构的核心内容有

  1. 定义业务需求
  2. 技术路径
    • 技术架构设计
    • 产品的选择和安装
  3. 数据路径
    • 维度建模
    • 物理设计
    • ETL设计和开发
  4. BI应用路径
    • BI应用设计
    • BI应用开发

 

 后续会按照这个顺序依次做些总结和思考。其中第一部分定义业务需求是后面的三种路径的前提，但是跟数据路径更加紧密一些，所以就在数据路径中作总结了。

 

转载于:https://www.cnblogs.com/benchen/p/6032002.html

baiba7240
关注
第一章：专栏大纲
十五楼亮哥
01-26 418
很多人数仓开发人员有一个误解，认为数仓开发的门槛极低，只需要会写SQL就可以了。其实不然，专业的数仓开发需要很多方便的知识沉淀，包括但不限于：需求理解，培养业务sense，指标梳理、数据采集、落仓、数据探索、数据建模、调度配置、数仓上线、数据核对、数仓下线等等。 会搭建数仓不难，但是搭建一个规范的、高效的、高扩展的、低成本的数据仓库，绝对不是一件简单的事情。这既要知识面的宽度，更需要知识面的深度，当然少不了需要经验的积累。这里的经验就是多做项目，多踩坑，经过不断的总结和提升，你就能在新的项目和产品中少走一些
大数据领域数据仓库的生命周期管理
最新发布
项目管理的博客
10-02 1044
随着企业数据量以年均40%的速度爆炸式增长（Gartner, 2023），数据仓库作为企业级数据中枢的重要性与日俱增。数据膨胀导致的成本失控：某电商平台数据仓库存储成本三年增长1200%数据价值衰减引发的资源浪费：超过3年的历史数据使用频率下降70%（IDC研究）架构僵化造成的敏捷性缺失：传统ETL流程迭代周期长达2-3周如何通过标准化流程实现跨团队协作效率提升30%以上怎样利用自动化工具链降低40%以上的运维成本如何建立数据资产价值评估体系实现存储成本优化50%fill:#333;
PHP与JSON的一些常用操作
HelloWorld
09-30 2342
PHP把数据写入JSON文件 <?php // 生成一个PHP数组 $data = array (); $data ["fruit"] = "apple" ; $data ["animal"] = "tiget"; // 把PHP数组转成JSON字符串,写入文件 $json_string = json_encode( $data ); ?> PHP读取JSON数据? <?php // 从文件中读取数据到PHP变量 $str = file_get_contents ( 'one
数仓表数据一般保留多久,而每个日志分区全量表快照一般保留多久
weixin_43662454的博客
04-19 1327
数据仓库整理部分内容 类型: ods/永久保留 添加数据生命周期 ods 180天 dw/365天/迭代删除/不用要的/ 1个月 在存储资源有限的前提下,如何优化明细层存储: 已经做好了orc+gz的压缩之后,如何优化存储 1:大宽表+累计快照/删数据明细 2:直接删/根据数据等级 3.不删/业务提供资源 ...
数仓建设生命周期_仅需7步带你深入理解【大数据】数仓设计
weixin_33683108的博客
12-30 1097
写在前面： 博主是一名软件工程系大数据应用开发专业大二的学生，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！个人小站:http://alices.ibilibili.xyz/ , 博客主页:https://...
一文读懂数据库、数据仓库、数据平台、数据中台、数据湖
m0_59235945的博客
08-15 6304
数据库是用于存储、管理、维护和检索数据的系统。是所有软件应用、网站、企业信息系统和数据驱动决策的基础。简单来说就是：数据库就是一个存储信息（水）的容器。数据库使用场景-图1数据库主要分为两种类型：关系型数据库和非关系型（NoSQL）数据库。非关系型又分为四种类型：键值型、列存储型、文件型和图形数据库（这块后面有时间详细说下）。数据库类型-图2题外话：某些数据库（如 MongoDB）可以分为多个类别，因为它们支持不同的数据模型。此外，所提供的列表并不详尽，因为每个类别中还有许多其他数据库可用。
小尝试：基于指标体系的数据仓库搭建和数据可视化
木东居士
11-07 2622
小尝试：基于指标体系的数据仓库搭建和数据可视化关于作者：小姬，某知名互联网公司产品专家，对数据采集、生产、加工有所了解，期望多和大家交流数据知识，以数据作为提出好问题的基...
大数据项目学习（一）
qq_43072699的博客
10-15 5109
采集：Flume/Kafka/Sqoop 存储：Mysql/Hasoop/Hbase 计算：Hive/Tez 查询：Presto/Druid/Kylin 可视化：Superset 任务调度：Azkaban全流程调度 集群监控：Zabbix 元数据管理：Atlas 脚本：Shell 数据仓库 业务数据：在处理事务过程中产生的数据（存储在mysql中，用Sqoop处理到数据仓库中） 用户行为数据：用户与客户端产品交互过程中产生的数据，比如页面浏览、点击、停留等（日志 以文件形式存储，用Flume处理到数据仓库中
数据仓库的软件开发生命周期
DataVault2.0大数据的未来
05-01 953
数据仓库的软件开发生命周期需求工程设计实施和单元测试集成和系统测试操作和维护 传统上，数据仓库项目遵循软件开发生命周期模型的一个变体，称为瀑布模型。虽然文献中有多个版本，各阶段的数量和名称不同，但它们都遵循分阶段的方法。此外，这些模型具有广泛的共同规划，然后是全面的设计、实现和测试。在流程开始时给出用户输入，然后在实施和测试过程中转入技术系统。其中一些分阶段模型允许在过程中回退步骤，例如，如果系统测试发现了需要额外用户输入的问题。 图3.15显示了原始瀑布方法的代表性版本。 图3.15 瀑布模型 该图显示
大数据面试吹牛草稿V2.0
yuan_more的博客
11-24 9275
大数据面试：吹牛之前先打个草稿！
大厂企业级数仓建设规划（耗时一周整理，建议收藏~）
数据一哥，公众号：数据社
06-21 9528
大家好，推荐一下老兵抽空整理了企业级数仓建设方案。整体内容包括:数仓架构数仓分层规划数据流向规划数据同步策略数仓命名规范通篇内容紧贴企业级建设主题，参考了一些数仓架构师的数仓建设方法论和企业落地实践方案，希望大家耐心看完。1企业级数仓架构ODS层: 贴源层。旨在集团、子公司、互联网及三方外部数据输入层，基本保持源表原貌(存在敏感数据加密)。DW层: 数仓层。可细分为dwd...
一文读懂大数据仓库建设
12-11 1011
从传统数仓到大数据平台，MPP数据集市，Hadoop集群，还有混合架构数仓，一直在不断演进，但是万变不离其宗，大框架和方法论终归是那一套。所以本文就来分享数仓建设的方法论，文中针对的例子...
数据仓库之路
WEB(RoR)_C(性能)_Elrang(并发)｜周期迭代+持续集成+及时沟通
08-21 1795
 http://www.vchome.net/tech/database/database50.htm目录  一、       与数据仓库有关的几个概念... 2  1.1      目录... 2二、       数据仓库产生的原因... 6三、       数据仓库体系结构图... 7四、       数据仓库设计... 8  4.1      数据仓库的建模...
数据仓库是什么？
weixin_51689029的博客
10-14 6977
对于大数据的学习者来讲，深入理解数据仓库是很重要的。本文将对数据仓库的基本概念进行讲解，大家可以在看完数据仓库的概念、主要特征以及分层架构之后，真正理解数据仓库是什么。数据仓库，全称是Data Warehouse，简写DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持。它出于分析性报告和决策支持目的而创建。正因为它叫 “仓库”，而不是叫“工厂”。所以数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据。数据来源于外部，并且开放给外部应用。
什么是数据仓库？
yimenglin的博客
07-06 967
为什么需要数据仓库？        传统的数据库中，存放的数据都是一些定制性数据较多，表是二维的，一张表可以有很多字段，字段一字排开，对应的数据就一行一行写入表中，特点就是利用二维表表现多维关系。        但这种...
《数据仓库》一文读懂数据仓库建设
https://blog.datasource.space
04-15 2万+
数据仓库建设 一、数据仓库概念 1.数仓架构 ​ 我们在谈到数据仓库，都会提到数仓架构，那么数仓架构到底是什么呢？首先，架构就是把一个整体工作按需切分成不同部分的内容，由不同角色来完成这些分工，并通过建立不同部分相互沟通的机制，使得这些部分能够有机的结合为一个整体，并完成这个整体所需要的所有活动。而数仓架构就可以理解为是构成数据仓库的组件以及之间的具有交互机制的关系。 ​ 如上图所示，数仓的数据源可能来自业务系统的数据，或者外部获取的数据，或者从线下文件导入的数据。通过抽取工作，将这些数据存储到数仓的原始
数据仓库搭建
赵广陆
06-30 9033
目录1 数据仓库概念1.1 什么是数据仓库1.2 OLTP与OLAP2 项目需求及架构设计3 项目框架4 框架版本选型4.1 Hadoop版本综述4.2 社区版与第三方发行版的比较4.2.1.Apache社区版4.2.2.第三方发行版（CDH/HDP/MapR）4.3 第三方发行版的比较4.4 版本选择5 服务器选型6 集群资源规划设计7 测试集群服务器规划 1 数据仓库概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数
一文搞懂什么是数据仓库(Data Warehouse)数据仓库与数据库区别有哪些？什么是元数据？
热门推荐
w0714的博客
08-26 5万+
前期回顾： ⼤数据是如何产⽣的？大数据的特点是什么？什么是埋点？如何进行数据埋点？【超详细介绍】 对于这么多种类，这么大体量的数据是如何存储的呢？ 所以数据仓库就应景而生了。 目录数据仓库（数据是如何存储的）1 什么是数据仓库？2 数据仓库解决什么问题？3 数据仓库的主要特征4 数据仓库与数据库区别5 数据仓库架构6 数据仓库元数据管理什么是元数据？元数据具体的工作内容元数据分为技术元数据和业务元数据7 数据治理脏数据的种类数据治理原则知识拓展（数据集市）结束语 数据仓库（数据是如何存储的） 1 什么是数据
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值