论文推荐 Spark

最新推荐文章于 2025-06-10 07:33:52 发布
原创 最新推荐文章于 2025-06-10 07:33:52 发布 · 2.2k 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#spark
本文主要介绍了Apache Spark的核心技术，包括Spark SQL实现的关系数据处理、MLlib提供的机器学习算法、Resilient Distributed Datasets (RDD)作为内存集群计算的容错抽象以及Spark如何支持工作集密集型任务。
  1. Armbrust M, Xin R S, Lian C, et al. Spark SQL: Relational Data Processing in Spark[C]// ACM SIGMOD International Conference on Management of Data. ACM, 2015:1383-1394.
  2. Meng X, Bradley J, Yavuz B, et al. MLlib: machine learning in apache spark[J]. Journal of Machine Learning Research, 2015, 17(1):1235-1241.
  3. Zaharia M, Chowdhury M, Das T, et al. Resilient distributed datasets: a fault-tolerant abstraction for in-memory cluster computing[C]// Usenix Conference on Networked Systems Design and Implementation. USENIX Association, 2012:2-2.
  4. Zaharia M, Chowdhury M, Franklin M J, et al. Spark: cluster computing with working sets[C]// Usenix Conference on Hot Topics in Cloud Computing. USENIX Association, 2010:10-10.
基于spark的大数据论文资料
12-17
本资料是集合20篇知网被引最高的基于spark的大数据论文，包括大数据Spark技术研究_刘峰波、大数据下基于Spark的电商实时推荐系统的设计与实现_岑凯伦、基于Spark的Apriori算法的改进_牛海玲、基于Spark的大数据混合计算模型_胡俊、基于Spark的大数据挖掘技术的研究与实现_李文栋、基于Spark的机器学习平台设计与实现_唐振坤、基于Spark的机器学习应用框架研究与实现_孙科、基于Spark的若干数据挖掘技术研究_宁永恒、基于Spark平台推荐系统研究_杨志伟等高质量的论文。
Spark经典论文合集
09-07
An Architecture for Fast and General Data Processing on Large Clusters.pdf Discretized Streams An Efficient and Fault-Tolerant Model for Stream Processing on Large Clusters.pdf Discretized Streams Fault-Tolerant Streaming Computation at Scale.pdf GraphX Unifying Data Parallel and Graph Parallel.pdf Resilient Distributed Datasets A Fault-Tolerant Abstraction for In-Memory Cluster Computing.pdf Shark Fast Data Analysis Using Coarse-grained Distributed Memory.pdf Shark SQL and Rich Analytics at Scale.pdf Spark Cluster Computing with Working Sets.pdf Spark SQL Relational Data Processing in Spark.pdf spark.pdf 大型集群上的快速和通用数据处理架构.pdf
Spark任务动态伸缩机制介绍
数据科学和工程
05-04 1667
目录 背景 第一部分 配置实现 第二部分 动态配置原理和源码分析 第三部分 总结 参考文献及资料 背景 Spark默认使用的是资源预分配的模式。即在任务运行之前，需要提前指定任务运行需要的资源量。但是在实际线上生产环境使用过程就存在资源浪费和不足的问题，特别是Spark Streaming类型的任务。例如很多日志数据在一天中量并不是均匀分布的，而是一个“双驼峰”。对于预分配模式，就存在日志峰值期间，运算资源不足导致数据处理的延迟，而在日志低峰时期存在资源闲置却无法释放（特别是资源管理器粗粒度模式）。使
Spark原理
12-24 1317
参考文献： Spark原理总结 Github: Apache spark project Spark修炼之道（进阶篇）spark修炼之道（高级篇） Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing Spark简介  Spark是UC Berkeley ...
一、Spark大数据技术基础
LittleFish0820
11-17 1373
一、Spark大数据技术基础大数据的特点：4V大数据关键技术大数据计算模式代表性大数据技术Hadoop 海量数据的存储与计算SparkSpark与Hadoop的对比Hadoop和Spark的统一部署Flink习题 大数据的特点：4V 数据量大 Volume 大数据摩尔定律 数据类型繁多 Variety 结构化数据 非结构化数据 占90% 处理速度快 Velocity 数据处理和分析的速度通常要达到秒级响应 价值密度低 Value 很多有价值的信息都是分散在海量数据中的 大数据关
计算机毕业设计hadoop+spark+hive知网论文推荐系统 知网论文可视化 大数据毕业设计(源码+LW文档+PPT+讲解)
最新发布
全网计算机/大数据辅导(自媒体)道祖第一人、全网粉丝100W+,专注于大学生项目实战开发,讲解,毕业答疑辅导,高校老师/讲师/同行合作。以及产品测评宣传、工具推广等合作。同时招收学生代理、校园代理。
06-10 1074
计算机毕业设计hadoop+spark+hive知网论文推荐系统 知网论文可视化 大数据毕业设计(源码+LW文档+PPT+讲解)
node.js基于spark的图书推荐系统程序+论文 可用于毕业设计
zhiwen206的博客
01-13 1244
本选题的研究可以构建一个高效的基于Spark的图书推荐系统，为用户提供个性化的图书推荐服务，提高用户获取图书信息的效率，满足用户的阅读需求，同时也有助于提高图书的推广和销售效率。[11] 罗斌，温丰蔚，曾晓钰，张亮，韦通明. 基于 Vue.js 的培训可视化系统开发与设计[J]. 现代工业经济和信息化，2021, 11(12): 54-56.[13] 张伟龙，吕明，胡宏，杜宝珠，张捷. MySQL 数据库服务器监控系统设计与实现[J]. 工业控制计算机，2019, 32(12): 18-20.
spark的论文
10-19
基于Spark的机器学习平台设计与实现_唐振坤，学习，基于Spark的机器学习平台设计与实现_唐振坤，学习
spark相关书籍
RYP_S 的专栏
02-25 1910
1、大数据技术丛书:Spark快速数据处理，其实就是《Fast Data Processing with Spark》英文书的翻译版本，一共就114页，讲的非常浅显，还不如直接看英文的。样本下载：http://download.csdn.net/detail/w397090770/8235215 2、Spark大数据处理:技术、应用与性能优化，高彦杰著。很多人反映书中代码没有格式化，甚至没有
Spark环境篇上（一）
weixin_42814075的博客
06-28 433
千里之行，始于足下，作为spark篇的第一篇文章，自然是要介绍环境搭建这里也是参考了许多网上的文档，最终整理的一份关于spark环境搭建的总集
Spark RDD 论文详解（六）评估
Shockang的博客
01-09 4500
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 目录 Spark RDD 论文详解（一）摘要和介绍 Spark RDD 论文详解（二）RDDs Spark RDD 论文详解（三）Spark 编程接口 Spark RDD 论文详解（四）表达 RDDs Spark RDD 论文详解（五）实现 Spark RDD 论文详解（六）评估 Spark RDD 论文详解
关于spark的一些资料总结
chenyanqiao2010的博客
01-19 1074
spark资料总结
Spark论文总结——Lec15
qq_40229166的博客
03-29 1585
Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing论文分析，6.824Lec15笔记总结
Spark学习笔记-理论篇-01-Spark系统综述
ChrisLIU的博客
11-06 355
Spark系统综述 1.1 大数据处理框架 集群环境对编程来说带来了很多挑战，比如并行化，这要求我们以并行化的方式充给应用程序，以利用更大范围的节点运算能力。第二个挑战就是对单点失败的处理，节点宕机以及个别节点计算缓慢在集群环境非常普遍，这会影响程序的性能。最后一个挑战是集群通常是多用户共享，需要动态分配计算资源，这也会干扰程序的执行。 因此针对集群出现了大量的大数据编程框架,比如Google的M...
计算机毕业设计hadoop+spark+hive知识图谱新能源汽车推荐系统 汽车数据分析可视化大屏 新能源汽车推荐系统 汽车爬虫 汽车大数据 机器学习 人工智能 大数据毕业设计
全网计算机/大数据辅导(自媒体)道祖第一人、全网粉丝100W+,专注于大学生项目实战开发,讲解,毕业答疑辅导,高校老师/讲师/同行合作。以及产品测评宣传、工具推广等合作。同时招收学生代理、校园代理。
04-30 1506
计算机毕业设计hadoop+spark+hive知识图谱新能源汽车推荐系统 汽车数据分析可视化大屏 新能源汽车推荐系统 汽车爬虫 汽车大数据 机器学习 人工智能 大数据毕业设计
Spark RDD 论文详解（一）摘要和介绍
Shockang的博客
12-16 6522
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 目录 Spark RDD 论文详解（一）摘要和介绍 Spark RDD 论文详解（二）RDDs Spark RDD 论文详解（三）Spark 编程接口 Spark RDD 论文详解（四）表达 RDDs Spark RDD 论文详解（五）实现 Spark RDD 论文详解（六）评估 Spark RDD 论文详解
Spark踩坑记——初试
weixin_30633507的博客
06-13 230
目录 Spark简介 整体认识 基本概念 Spark部署 部署环境 Hadoop安装 Spark安装 scala安装 简单示例：WordCount（Spark Scala）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值