数据仓库开发之路--时间维度的创建

本文基于python的chinese_calendar和pymysql库编写了一个生成日期维表（日期-工作日-节假日维度表），用于对业务主题表进行维度建模，实现方式简单，一键生成，数据可靠。

导读 大家好，今日立秋，立秋是阳气渐收、阴气渐长，由阳盛逐渐转变为阴盛的转折。我们上一篇文章 数据仓库之维度表 介绍了数据仓库中维度表，本篇文章在此基础上介绍和构建维度表中的日期维度。Kimball 维度建模中的设计原则提到确保每一个事实表都具有关联的日期维度。数据仓库项目中，日期维度是最常见的，不可缺少的维度表之一。 数据仓库之维度表 本文中 ETL 转换使用 Kettle 9.3 版本实现，关注公众号回复关键字 dim_date 获取。 为什么需要日期维度表 Kimball 认为数据仓库中最重要的三

在数据仓库中，无一例外地需要和时间维度打交道，因此设计合理的时间维度，也是一个数据仓库项目开始必备的资源储备，如果有这方面的积累，就不用到处寻找合适的设计模型以及存储过程的代码了，否则可能需要花费一定的时间去寻找符合该项目合适的存储过程，或者自己动手编写。 一般来说，时间维度的创建要根据实际的数据仓库应用来，基本上可以分为天、月的时间维度表，更细的可以分为半小时时间段，小时时间段等等，一般数据量大的时间维度都是利用存储过程来生成的。 下面介绍一些时间维度表的设计结构。 <1>...

（Date Dimension Table）是用于支持时间相关分析的核心工具，通常包含日期、年、月、周、季度、节假日标志等字段。通过上述方法，可快速生成灵活、可扩展的日期维度表，支撑复杂的时序分析需求。根据业务需求，生成足够覆盖历史数据和未来预测的日期范围（如。使用SQL或编程语言生成连续的日期序列。

一、维度表 字段 说明 dt 日历日期 lunar_dt 农历日期 calendar_year 年份 quarter_of_year 季度 month_of_year 月份 week_of_year 一年第几周 dt_of_week 一周第几天 dt_of_month 一个月第几天 dt_of_year 一年第几天 is_last_day_of_month 是否一个月最后一天 is_weekend 是否周末日 is_holiday 是否节假日

【代码】hive/spark创建日期维度表。

日期序列的主体使用编程语言按需生成一段日期，开始日可以是公司注册日期、上市日期，某个系统部署上线日期等一般符合所有计算需求的日期，然后使用定时任务按需周期性地录入。同时除了日期序列的生成，仍然有标准化，集中化的要求，比如日期的字符串格式化标准、工作日、节假日排班、星期的起始日是星期日还是星期一等都需要统一。同时挑选覆盖当前汇总过程的粒度，比如日期，星期，月度，季度，年度，DAY_OF_YEAR(所在年的第几天)；而且即使有生成序列的函数，在SQL中也很难动态的调整它的长度，比如大月小月，闰年。

数据仓库建模（四）：维度表的设计维度表的结构 维度表的结构

2022年-数仓-【时间维度表】-年、周、节假日 新年了，送你一份新年礼物，做数仓的都需要，哈哈！！！

数据仓库中最重要的维度就可以说是时间维度了，我用了存储过程在每个月的月初创建当月的时间，有点麻烦但是将需求完全的达到了，分别产生了 [日期key]  [完整日期]  [星期几] [当月的第几天] [当年的第几天] [当年的第几周] [当年的第几月] [当年的第几季度] [日历年] 等几个维度， USE [数据库DW] GO SET ANSI_NULLS ON GO SET QUOTED

本文涉及技术：Linux、Java、Hive、MySQL、Shell、Kettle、JavaScript、HDFS、存储过程。 需求：统计各商品的日销售额，月销售额，季度销售额以及年销售额； 在操作型数据库中直接使用SQL进行统计查询是可以完成这个需求的，但是会存在以下不足： （1）统计查询会给原有业务增加压力； （2）往往统计查询涉及的表比较多，SQL一般比较复杂； （3）可能相关的数...

Posted on 2009-02-20 10:15 如果你也听说 阅读(5011) 评论(3) 编辑 收藏  数据仓库的物理模型较常见的操作型数据库的物理模型有很大不同。最明显的区别是：操作型数据库主要是用来支撑即时操作，对数据库的性能和质量要求都比较高，为了防止“garbage in，garbage out”，通常设计操作型数据库的都要遵循几个范式的约束，除非少数情况下为了性能进

时间维表命名规范： XXXX_ID：天、月、季度、年等对应的编码 整型 XXXX_NAME：英文名称 字符型 XXXX_NAME_CN：中文名称 字符型 XXXX_OF_XXX：某个时间粒度中的编号，如月中天、年中天等 XXXX_ORDER：升序排序列(取值如下：1、2、3... 要求步进为1，主要用于满足时间序列计算) 整型 XXX_DATE：期初、期末日期(如月初、月末日期)  D

实时数仓替代传统 T+1 架构— 适用于电商大促、金融风控等需要准实时数据的业务多源异构数据统一分析— 适用于日志、行为数据、业务数据需要关联分析的场景数据湖加速查询— 适用于已有 OSS 数据湖但查询性能不足的团队降本增效合并双系统— 适用于同时维护数据仓库和数据湖、运维成本过高的企业湖仓一体（Lakehouse）是融合数据湖与数据仓库优势的新一代架构。与数据仓库相比，湖仓一体支持全类型数据、采用开放存储格式、存储成本降低 45%+，同时保持亚秒级查询性能。