傻傻分不清楚，大数据及其组件Hadoop、Spark关系介绍，一文就足够了

最新推荐文章于 2025-10-15 10:30:00 发布

原创最新推荐文章于 2025-10-15 10:30:00 发布 · 2.2k 阅读

3 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#big data #hadoop #spark

Spark 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了大数据的基本概念、特性，并深入探讨了大数据的关键技术，特别是分布式储存和处理。重点阐述了Hadoop和Spark这两个大数据计算工具，解释了Hadoop的HDFS和MapReduce，以及Spark作为快速计算引擎的角色。文章指出，尽管Spark在某些方面可以替代MapReduce，但并不意味着它会完全取代Hadoop，两者在大数据生态系统中相辅相成。

如果想知道关系，可以直接跳转到1.4节

大数据概念及组件介绍

一、大数据概念与特性

一、大数据概念与特性

1.1 大数据的概念

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

1.2 大数据的特性

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：

Volume（大量）
Velocity（快速话）
Variety（多样化）
Value（低价值密度）
Veracity（真实性）

在这里插入图片描述

1.3 大数据的关键技术

大数据技术的不同层面及其功能，不同层面及其功能如下：
在这里插入图片描述
两大核心技术：（1）分布式储存。（2）分布式处理

1.4 大数据计算模式及其工具

1.4.1 大数据计算模式

不同的大数据工具呈现的作用不同，具体大数据模式与产品如下图所示：

大数据计算模式	解决问题	代表产品
批处理计算	针对大规模数据的批量处理	Map Reduce、 Spark等
流计算	针对流数据的实时计算	Storn、S4、 Flume、 Streams、Puma、 Dstream、 Super Mario、银河流数据处理平台等
图计算	针对大规模图结构数据的处理	Pregel、 Graphx、 Giraph、Powergraph、Hama、Goldenorb等
查询分析计算	大规模数据的储存管理和查询分析	Dremel、Hive、 Cassandra、Impala等

1.4.2 大数据计算工具介绍

1.4.2.1 Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。

HDFS为海量的数据提供了存储。
MapReduce则为海量的数据提供了计算

Hadoop生态系统如下：
在这里插入图片描述

1.4.2.2 Spark

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。

Spark架构图如下：
在这里插入图片描述
Spark生态系统如下：

Spark会取代Hadoop吗?
答：不完全会。Hadoop包括两大核心：HDFS和 MapreduceSpark作为计算框架，与 Mapreduce是对等的。
谈到““取代”, Spark应该是取代 Mapreduce,而不是整个 HadoopSpark和 Hadoop生态系统共存共荣， Spark借助于 Hadoop的HDFS、 Hbase等来完成数据的存储，然后，由 Spark完成数据的计算