Spark on Yarn集群中client和cluster模式的区别

引出问题

Spark on YARN时，在不同的deploy mode（部署模式）下有什么区别？

解析

首先需要掌握deploy-mode两个参数区别以及AppMaster和Driver的功能

• deploy-mode：决定Driver进程运行的位置【client、cluster】
• AppMaster功能：申请资源、调度Task、监控Task、反馈结果【一定运行在NM】
• Driver功能：申请资源、解析Task、调度Task、监控Task、反馈结果【运行位置由deploy mode决定】
• • client：运行在客户端
• • cluster：随机的运行在某个NodeManager

Spark on YARN client模式

AppMaster与Driver共存

• AppMaster运行在NodeManager上：负责RM申请资源，启动Executors、反馈结果
• Driver运行在客户端机器上，运行在客户端进程内部：负责解析、调度和监控Task运行

《