大数据学习——Day02（数据仓库）

数据

人对客观事物的观察在大脑中产生的一种记忆，如视频、图像、声音、文字等。

数据的意义

通过对一定量的数据的分析，所得出的规律可以指导实际活动，从而使实际活动更加容易。一般数据越多，规律越多，越准确。

大数据

1. 计算机的出现，使对于数据的计算与存储不在局限于人脑和之前实体的记录方式（纸笔等），计算机可以存储更大量的数据。
2. 大数据的出现，与1类似，对于更更大量的数据，我们需要更快更准确的计算和更大的存储容量。

• 定义： 当前的技术无法进行处理和分析的数据量。
• 关键词： 服务器、服务器集群、分布式
• 重点理论和技术： 谷歌三篇论文、hadoop（HDFS、MapReduce）

数据仓库的概念

1. 数仓是一个过程，不是一个项目；
2. 数仓是一个环境，不是一个产品。

数仓的特点

1. 数仓是面向一个目的性工作的
2. 数仓是由多种数据集合而成的
3. 数仓中的数据是不断变化的
4. 数仓中的数据一般是不可更改的

数据库与数仓的区别

1. OLTP（联机事务处理：增删改查）VS OLAP（联机分析处理：各种方式查询）

数仓概述总结

通过对大数据的存储和分析策略设计，完成一个非常高效的、直观的数据展示。（数据报表、图形报表）

数仓的定位

大数据全栈（大数据开发） > 数仓 > ETL（数据抽取、转换、加载）

数仓的应用过程

1. 明确目的
2. 得到数据
3. 数据的初期整理：数据指标（每列的表头）、数据格式

以hive为例
4. 数据分层开发
5. 进行数据库数据表的创建导入数据
6. 此时使用SQL已经可以对数据进行查询和观察，所以要生成数据报表（构建多维度数据表，利用工具生成报表）