Spark 论文篇-大型集群上的快速和通用数据处理架构（中英双语）

An Architecture for Fast and General Data Processing on Large Clusters论文

大型集群上的快速和通用数据处理架构 过去的几年中，计算系统经历着重大的变革，为了满足不断增长的数据量和处理速度需求， 越来越多的应用向分布式系统扩展。如今，从互联网到企业运作，再到科技设备，不尽其数的 数据源都在产生大量的、有价值的数据流。然而，单一的机器处理能力并没有跟上数据增长的 速度，使得这些有价值的数据越来越难以被使用。以至于越来越多的组织——不仅仅是互联网 公司，还有一些传统企业和研究室——迫切需要将他们重要的计算能力扩展到成百上千台机器 上去。

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。 尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

包含了spark rdd的原版英语论文以及spark老汤根据原版论文翻译的中文版论文，详细的介绍了spark的核心抽象-RDD，非常适合喜欢spark技术的同学阅读

本资料是集合20篇知网被引最高的基于spark的大数据论文，包括大数据Spark技术研究_刘峰波、大数据下基于Spark的电商实时推荐系统的设计与实现_岑凯伦、基于Spark的Apriori算法的改进_牛海玲、基于Spark的大数据混合计算模型_胡俊、基于Spark的大数据挖掘技术的研究与实现_李文栋、基于Spark的机器学习平台设计与实现_唐振坤、基于Spark的机器学习应用框架研究与实现_孙科、基于Spark的若干数据挖掘技术研究_宁永恒、基于Spark平台推荐系统研究_杨志伟等高质量的论文。