SpaK-RDD学习总结

最新推荐文章于 2025-03-24 18:41:19 发布
原创 最新推荐文章于 2025-03-24 18:41:19 发布 · 575 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
spark

当前文章被收录于：

spark
2 篇文章 0 人学习
订阅专栏 查看详情

RDD-弹性分布式数据集(只读的数据分区)

RDD的七个优点

  1. 自动进行内存和磁盘数据存储的切换
  2. 基于Lineage(又称为RDD运算图或RDD依赖关系图,其实就是DAG微笑)的高效容错
  3. Task如果失败会自动进行特定次数的重试
  4. Stage如果失败会自动进行特定次数重试
  5. checkpoint(摄入检查点，有容错的作用),persist(持久化)
  6. 数据分片的高度弹性(重新设置分片数:程序运行时会产生大量的分片,而每个partition会消耗一个线程去处理,分片过多的时候会很消耗时间,RDD可以支持重新分片；注:千万别用repartition，这个算子会产生shuffle(shuffle是分布式系统最耗时的操作)，用coalesce)
RDD的高效性:RDD是Lazy级别的,没到Action操作的时候是Lazy操作的(不计算,做标记,等到Action操作的时候才从前往后回溯查找迭代的父RDD,然后再展开来计算),例如如下:
x=1+2
y=3+5
z=x+y
假设z=x+y才是Action操作时,前面的两步都不计算，到第三步直接将算式展开为:z=1+2+3+5,然后再计算(与Hadoop相比，这样可以节省大量的中间结果)。

注意:RDD是粗粒度的,即每次操作都是操作所有的数据集合(为了效率)，RDD的写操作是粗粒度的、RDD的读操作可以粗粒度的也可以是细粒度的。
RDD内幕:看过源码的同学都知道,所有的RDD操作都是返回一个迭代器，根本就不是返回数据本身尴尬。

RDD缺点:不支持增量迭代更新,不支持细粒度更新。

RDD的创建方式:
  1. 基于spark应用程序创建(在程序里面创建)
  2. 基于本地文件系统创建
  3. 基于hdfs创建
  4. 基于DB、TCP创建
  5. 基于NoSQL(非关系型数据库-HBASE、Cassandra)创建
  6. 基于S3
  7. 基于数据流(socket数据流)
 

标签
#spark
RDD简介
qinlingheshang的博客
03-03 9475
RDD概念 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，是spark core的底层核心，它代表一个不可变、可分区、里面的元素可并行计算的集合。 Dataset:就是一个集合，存储很多数据. Distributed：它内部的元素进行了分布式存储，方便于后期进行分布式计算. Resilient：表示弹性，rdd的数据是可以保存在内存或者是磁盘中. RDD 五大属性 A list of partitions RDD 是 一组
PySpark | RDD
liujiesxs的博客
06-23 3043
Transformation算子、Action算子、分区操作算子
NoSQL 语句小结（上课自用）
loi_王振东
03-08 3284
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录数据库操作建立数据库查看已有的数据库删除数据库（必须进入待删除的数据库当中）集合操作（必须进入待操作的数据库当中）建立集合查看所有集合删除集合数据操作插入数据插入集合插入数组(不是)/插入多条数据插入值中有“类”或数组补充更新数据命令参数基础语法修改数据增加值（加减）增加值（乘除）删除字段修改集合中的数组内的信息利用update实现插入操作利用update检错删除数据删除所有符合条件的数据删除一条符合条件的数据删除所有数据查询数据.
深入理解Spark RDD——为什么需要RDD?
beliefer的博客
06-11 3064
RDD（Resilient Distributed Datasets，弹性分布式数据集）代表可并行操作元素的不可变分区集合。对于Spark的初学者来说，这个概念会十分陌生。即便是对于一些有Spark使用经验的人，要想说清楚什么是RDD，以及为什么需要RDD还是一件比较困难的事情。本文首先解释第二个问题。 为什么需要RDD？以下从数据处理模型、依赖划分原则、数据处理效率及容错处理4个方面解释Spa...
RDD总结
u013761049的专栏
09-10 446
---前面是对算子的简单概述--后面有实例---[pair]表示一个元组 ;如("ty",12)   With必须添加分区的类型--------------- aggregate   聚合每个分区的值。每个分区中的聚合变量都是用零值初始化的。 aggregateByKey   将相同的key进行聚合 cartesian   笛卡尔积 check...
PySpark机器学习从入门到精通
12-07
☆☆☆☆☆课程亮点：实战案例-网络故障分析之数据探索实战案例-网络故障分析之算法建模实战案例-垃圾短信分类实战案例-电影推荐系统实战课程主要就RDD操作、使用Pair RDDs聚合数据、编写和部署Spark应用、Spark SQL和DataFrames、Spark Streaming基础、机器学习技术介绍、PySpark MLlib、特征抽取、转化和选择、算法、文本分析、神经网络、推荐系统等，配套实战案例与项目全部基于真实数据集与实际任务展开，结合企业级框架进行建模实战。由浅入深，每一个理论搭配一个实验，且侧重技能不同，学员的知识体系会更加全面。
漫谈RDD
a11a2233445566的专栏
01-18 625
开篇：spark各种库，spark sql，spark machice learning，等这么多库底层都是封装的RDD。意味着1：RDD本身提供了通用的抽象，2：spark现在有5个子框架，sql，Streaming，流式处理，机器学习，图计算，spark R。 可以根据具体领域的内容建模，建第6个库，第7个库。必须掌握spark的这个通用抽象基石-RDD. 1:RDD，基于工作集的分布式函
RDD
热门推荐
我还是个菜鸟
10-10 1万+
RDD<1> 概述一. 什么是RDD二. spark 编程模型1. DataSource2. SparkContext3. Diver（1）SparkConf（2）SparkEnv（3）DAGScheduler（4）TaskScheduler（5）ScheduleBackend二. RDD属性RDD的五个特征包含四个函数和一个属性：1. 一组分片（Partition）分片2. 一个计算...
Spak基础—4、RDD和DataSet的API(JAVA)
qq_40407889的博客
06-29 709
1、RDD的API RDD的使用主要分转换操作和动作操作，其中转换操作输入值是RDD，返回值是RDD，且其是惰性的，也就是说不会真的去操作，只有当动作操作到来时才会全部一次性去操作类似于链条一样。动作操作的输入值是RDD，输出值的值，也就是RDD操作的终结。 1-0、创建RDD /* *创建rdd的方式有多种 *从文件读取、从数据源获取、手动创建 *步骤都是： * 1、创建sparkconf进行配置 * 2、创建JavaSparkContext * 3、创建JavaRDD *注意：SparkSession是
SPAK Value RDD 之常见操作
weixin_46546516的博客
08-25 460
spark RDD transform
RDD的介绍、RDD的特点、创建RDD数据
m0_70882914的博客
10-09 1722
RDD的介绍、RDD的特点、创建RDD数据
Spark学习—RDD编程
if(true){ I love it }
05-09 5106
RDD:弹性分布式数据集(ResilientDistributed Dataset),是Spark对数据的核心抽象。RDD其实是分布式的元素集合。当Spark对数据操作和转换时，会自动将RDD中的数据分发到集群，并将操作并行化执行。 Spark中的RDD是一个不可变的分布式对象集合。每个RDD都倍分为多个分区，这些分区运行在集群中的不同节点。RDD可以包含Python、Java、Scala中任意类型的对象，甚至可以包含用户自定义对象，本文主要通过Java实现相关示例。 Spark程序或shell会话
RDD创建及RDD算子
qq_66369005的博客
06-17 1080
​ Spark提供了一种对数据的核心抽象，称为弹性分布式数据集（Resilient Distributed Dataset，简称RDD）。这个数据集的全部或部分可以缓存在内存中，并且可以在多次计算时重用。RDD其实就是一个分布在多个节点上的数据集合。​ RDD的弹性主要是指：当内存不够时，数据可以持久化到磁盘，并且RDD具有高效的容错能力。​ 分布式数据集是指：一个数据集存储在不同的节点上，每个节点存储数据集的一部分。
spark_rdd算子介绍
HYSliuliuliu的博客
12-19 8008
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。
Spark学习笔记10:创建RDD
balabalalibala的博客
05-17 1854
目录 一、什么是RDD （一）RDD概念 （二）RDD示例 （三）RDD主要特征 二、做好准备工作 （一）准备文件 1、准备本地系统文件 2、启动HDFS服务 3、准备HDFS系统文件 （二）启动SparkShell 1、启动Spark服务 2、启动Spark Shell 三、创建RDD （一）从对象集合创建RDD 1、利用parallelize()方法创建RDD 2、利用makeRDD()方法创建RDD 3、总结说明 （二）从外部存储创建RDD 1、读取......
RDD与人工智能：RDD在机器学习深度学习领域的应用
AI天才研究院
05-14 628
RDD与人工智能：RDD在机器学习、深度学习领域的应用 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 大数据与人工智能 近年来，随着互联网、物联网、移动互联网的快速发展，全球数据量呈现爆炸式增长
04-spak RDD算子测试实战
IT晓白
02-04 881
Spark算子概述 RDD：弹性分布式数据集，是一种特殊集合、支持多种来源、有容错机制、可以被缓存、支持并行操作，一个RDD代表多个分区里的数据集。 RDD有两种操作算子： • Transformation（转换）：Transformation属于延迟计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记住了数据集的逻辑操作 • Action（执行）：触发Spark作业的运行，真正触发...
spark源码学习-RDD
最新发布
m0_46180014的博客
03-24 959
RDD包含一组分片（Partition），是数据集的基本组成单位，每个partition都会被一个Task任务处理。用户可以在创建RDD时指定分片个数。 计算每一个分区的函数，由子类RDD实现。 描述当前RDD是符合依赖父RDD的，也就是所谓的血缘关系。当RDD中部分partition数据丢失时，可以通过依赖关系重建该分区数据，而不是对整个RDD的所有分区都重新计算！ RDD的分片函数，比如HashPartitioner、RangePartitioner。只有对key-value的RDD才会有Partiti
RDD编程
m0_46917254的博客
03-23 3992
RDD编程 一、RDD编程基础 1、RDD创建 Spark采用textFile()方法从文件系统中加载数据创建RDD，该方法把文件的URI作为参数，这个URI可以是本地文件系统的地址、分布式文件系统HDFS的地址或者是AmazonS3地址等。 （1）从文件系统中加载数据 （2）从分布式文件系统HDFS中加载数据 （3）通过并行集合（列表）创建RDD 2.RDD操作 RDD操作包含两种类型，即转换（Transformation）操作和行动（Action）操作 （1）转换操作 操作 含义
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值