本文详细介绍了Spark动态资源分配的原理和配置方法，以及在Standalone和Yarn模式下的应用。通过配置动态分配，可以优化Executor的使用，避免资源浪费。在Standalone模式中，开启shuffle-service以保存Executor释放后的数据，并调整相关参数实现资源的有效利用。在Yarn模式下，需要配置Yarn历史服务器，修改yarn-site.xml并分发相关jar包，确保动态分配和shuffle服务的正常运行。动态分配能够根据任务需求动态增减Executor，提高集群效率。
简介
在spark提交作业以后默认是静态资源分配的，如果有些Executor执行完以后，只要job没有结束，它就会一直占用资源，所以我们要根据情况配置动态资源分配
动态资源分配原理
当调度程序检查到有很多的Task是pending状态的时候，那么它就会尝试去申请新的Executor，如果Executor执行完了以后，就会把资源释放掉给其他的Job使用,它是由spark.dynamicAllocation.schedulerBacklogTimeout这个参数设置的，默认1秒就去检查一次，它申请资源的时候是成倍的去申请的，比如第一个1个，第二次2个，第三次4个，当Executor释放的时候，shuffle写出的数据不会在job停止之前删除，但是Executor缓存的 数据会被删除
standalone模式时使用
准备
开启shuffle-service(它的作用就是在Executor释放以后可以保存shuffle write的数据,只要在提交的机器启动就行)
./start-mesos-shuffle-service.sh查看有没有开启服务 ，如果开启了那么会启动7337端口
sudo netstat -tunlp | grep 7337不使用动态分配情况
./spark-shell --master spark://hadoop102:7077启动以后
扫一扫
2888
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
