RDD行动算子说明

2. RDD 行动算子

行动算子触发实际计算并返回结果。

(1) collect()(收集所有数据)

rdd = sc.parallelize([1, 2, 3])
rdd.collect()  # 返回: [1, 2, 3](数据需能放入单机内存)

(2) take(n)(获取前 n 条数据)

rdd = sc.parallelize([10, 20, 30, 40])
rdd.take(2)  # 返回: [10, 20]

(3) first()(获取第一条数据)

rdd = sc.parallelize([5, 2, 8])
rdd.first()  # 返回: 5

(4) 统计操作(需数值类型 RDD)

rdd = sc.parallelize([1.0, 2.0, 3.0])
rdd.max()   # 3.0
rdd.min()   # 1.0
rdd.sum()   # 6.0
rdd.mean()  # 2.0

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值