关于hadoop拒绝history通过19888端口连接查看已完成的job的日志解决方案

最新推荐文章于 2024-08-02 18:16:05 发布

原创最新推荐文章于 2024-08-02 18:16:05 发布 · 4.4k 阅读

7 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#开启hadoop的history服务

Hadoop云计算/大数据专栏收录该内容

18 篇文章

订阅专栏

本文详细介绍了在运行MapReduce程序后无法查看日志的常见问题及解决方案，包括检查并配置JobHistoryServer服务，修改mapred-site.xml和yarn-site.xml文件，确保日志监控服务正常工作。

当跑完MapReduce程序后，点击Tracking UI 下的History查看日志时报错拒绝连接

使用jps命令检查自己的JobHistoryServer服务是否开启

检查mapred-site.xml文件里的配置，修改完成后分发到集群中的每台机器上（单机版就不用分发了）：

<configuration>
    <!-- 表示提交到hadoop中的任务采用yarn来运行，要是已经有该配置则无需重复配置 --> 
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
     </property>
     <property>
        <name>mapred.job.tracker.http.address</name>
        <value>cMaster:50030</value>
     </property>
     <property>
        <name>mapred.task.tracker.http.address</name>
        <value>cMaster:50060</value>
     </property>      
     <property>
        <!--日志监控服务的地址，一般填写为namenode机器地址,我这里配置在cSlave0上 -->
            <name>mapreduce.jobhistroy.address</name>
        <value>cSlave0:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistroy.webapp.address</name>
        <value>cSlave0:19888</value>
    </property>

</configuration>

增加该配置后能够访问连接19888端口了，但是点击logs任然看不到日志：

如下：

此时在yarn-site.xml配置文件中增加如下配置：

    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

配置文件修改完成后，使用scp命令将yarn-site.xml和mapred-site.xml两个配置文件分发到集群中的每一台机器上。然后重启hdfs和yarn，再次运行任务，就可以查看日志了。