hadoop启动和关闭脚本分析

最新推荐文章于 2024-04-11 20:47:12 发布

原创最新推荐文章于 2024-04-11 20:47:12 发布 · 3.3k 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#hadoop #脚本 #java #kill #shell

大数据专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了Hadoop集群的启动与停止流程，包括启动脚本start-all.sh、start-dfs.sh、start-mapred.sh及对应的停止脚本stop-all.sh、stop-dfs.sh、stop-mapred.sh的工作原理。解析了hadoop-daemon.sh与hadoop-daemons.sh脚本如何启动与停止NameNode、DataNode等关键组件。

启动hadoop
1.start-all.sh
可以看到这个脚本包含两个部分,start-dfs.sh和start-mapred.sh
2.start-dfs.sh包含
    "$HADOOP_COMMON_HOME"/bin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script "$bin"/hdfs start namenode $nameStartOpt
    "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script "$bin"/hdfs start datanode $dataStartOpt
    "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --hosts masters --script "$bin"/hdfs start secondarynamenode

   start-mapred.sh包含
    "$HADOOP_COMMON_HOME"/bin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script "$bin"/mapred start jobtracker
    "$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script "$bin"/mapred start tasktracker

可见namenode 和 jobtracker通过hadoop-daemon.sh启动,datanode,secondarynamenode,tasktracker 通过hadoop-daemons.sh启动.
3.hadoop-daemons.sh
由这个脚本可以看到其中启动slaves.sh和hadoop-daemon.sh
4.hdfs.sh和mapred.sh
最后一行代码都是
exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"
这个就是真正的启动命令了。就是常见的java程序启动了,入口方法为java中的main 函数.
这里启动了NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker.

停止hadoop
1.stop-all.sh
可以看到这个脚本也包含两个部分,stop-dfs.sh和stop-mapred.sh

2.stop-dfs.sh包含
"$HADOOP_COMMON_HOME"/bin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script "$bin"/hdfs stop namenode
"$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script "$bin"/hdfs stop datanode
"$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --hosts masters --script "$bin"/hdfs stop secondarynamenode

stop-mapred.sh包含
"$HADOOP_COMMON_HOME"/bin/hadoop-daemon.sh --config $HADOOP_CONF_DIR --script "$bin"/mapred stop jobtracker
"$HADOOP_COMMON_HOME"/bin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script "$bin"/mapred stop tasktracker
3.分析hadoop-daemon.sh,其中包含 kill `cat $pid` ,程序通过kill命令来杀死进程号,达到停止hadoop的目的.