伪分布模式下Hadoop启动没有namenode节点

最新推荐文章于 2024-03-11 17:26:51 发布

原创最新推荐文章于 2024-03-11 17:26:51 发布 · 2k 阅读

8 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

当前文章被以下社区和专栏收录：

本文介绍了解决Hadoop集群中NameNode进程因端口9000被占用而导致无法启动的问题。提供了两种解决方案：一是通过查找并结束占用端口的进程；二是更改配置文件中的端口号。

启动过程没有发现错误，但是jps查看进程时，发现少了NameNode，而DataNode却存在：

原因：是端口9000已经被占用，解决办法有两个，

第一种：查找占用端口的进程，kill掉它。

hadoop@hadoop:~$ sudo netstat -anp|grep 9000

hadoop@hadoop:~$ sudo kill -9 7056（7056是端口号）

最后重新执行启动脚本，jps就可以看到NameNode了

如果已占用进程需要使用9000端口，可用第二种方法：修改core-site.xml文件，把9000改成其他如9001

标签

#hadoop

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Time_xiaoxia

关注关注

1
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Hadoop伪分布式 启动HDFS&YARN运行MapReduce

ccccrj博客

08-15

2779

文章目录伪分布式1 启动HDFS并运行MapReduce1.1 配置配置hadoop-env.shcore-site.xmlhdfs-site.xml1.2 启动集群传输文件格式化流程NameNode问题logs日志信息2 启动YARN运行MapReduce配置yarn-env.shyarn-site.xml配置mapred-env.shmapred-site.xml启动集群集群操作3 配置历史服务器mapred-site.xml配置日志集群配置yarn-site.xml 伪分布式 服务器配置按照完全分布式

参与评论您还未登录，请先登录后发表或查看评论

Ubuntu下伪分布式安装Hadoop启动后jps无NameNode等输出解决办法

程序必须为人类阅读而编写，并且仅仅碰巧可以让机器执行

10-26

7644

文章目录项目场景问题描述原因分析解决方案1. 配置文件出错2. 当前用户对 Hadoop 目录的操作权限不够3. Hadoop 启动时 tmp 目录初始化出错总结项目场景系统：Ubuntu20.04（也适用于低版本以及虚拟机） Hadoop版本：hadoop3.2.2（同理适用于其他版本） Hadoop安装方式：伪分布式 问题描述在 /usr/lcoal/hadoop 目录下，使用 ./sbin/start-dfs.sh 命令启动 Hadoop 后，使用 jps 命令无 NameNode、Da

Hadoop伪分布式配置--没有DataNode或NameNode

qq_62846665的博客

03-11

1778

1、输入格式化NameNode命令，找到data和name存放位置。2、删除data或name（没有哪个删哪个）3、重新格式化NameNode。重复格式化NameNode。

hadoop启动没有namenode节点的错误分析

风雨诗轩的博客

07-11

5444

我用的是hadoop-1.0.4，伪分布式。没有为hadoop新建用户，我直接使用root启动，当输入#hadoop namenode -format后，也没什么异常，继续往下执行，输入#start-all.sh后，启动完后输入#jps发现没有namenode，立马去看日志，显示如下： 2017-07-11 14:18:47,407 INFO org.apache.hadoop.hdfs

hadoop启动后,jps查不到NameNode 或DataNode 解决方法

Sunshine

03-15

4809

由于最近安装hadoop,出现了启动hdfs后 jps查不到NameNode 和 DataNode 的情况，经过一番查找。终于找到了问题所在：下面是我的 hdfs-site.xml 中的/usr/local/data/namenode 是存放namenode的日志和启动文件如果DataNode没有：进入/usr/local/data/namenode中curre...

Hadoop-伪分布式少了namenode

金鳞踏雨

04-17

1826

初学者一枚，好久没有上VM——Ubuntu了，今天使用了start-all.sh竟然少了namenode！！！之前都是有的。本人试过了网上的很多办法，都是不行：（1）我检查了所有文件都配置，进行hdfs namenode -format 是对namenode进行初始化也成功了，但是在启动HDFS（start-dfs.sh）就是没有反应。等等...... 后来可能想到了是ip和主机之...

hadoop伪分布模式搭建(详细步骤）

m0_61232019的博客

12-22

1万+

一、前期准备 1. 关闭防火墙 2. 安装好JDK 3. 准备hadoop安装包二、安装hadoop伪分布模式 1. 在home/hadoop/software/路径下创建hadooptmp目录 2. 解压hadoop-3.3.0.tar.gz 3. 进入hadoop-3.3.0/etc/hadoop 4. 编辑hadoop运行是的环境 5. 配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径 6. 配置DataNode的数据块冗余度

Hadoop | 解决启动Hadoop，jps后无namenode,datanode等进程

martinniee

01-11

1万+

问题描述最近因为想修改一下主机名，用户名什么的但是一开始没有注意到主机名和用户名对于Hadoop服务的影响导致修改后，导致Hadoop启动，失败，即jps后，没有namenode,datanode，显然这两个文件对于hadoop是至关重要的，要不然无法获取数据一开始没有考虑查看日志排错(因为对于异常处理方面不敏感:???? 因为机缘巧合，碰巧试了试，然后就行了之所以出错，归根结底还是对于原理不熟解决方案首先要知道Linux下的主机名和用户名是什么，如何查看命令行终端下格式 : 用户名@主机

Hadoop伪分布模式安装

极地星辰

03-29

1万+

Hadoop伪分布模式安装 Hadoop的运行模式分为3种：本地运行模式，伪分布运行模式，完全分布运行模式。（1）本地模式（local mode）这种运行模式在一台单机上运行，没有HDFS分布式文件系统，而是直接读写本地操作系统中的文件系统。在本地运行模式（local mode）中不存在守护进程，所有进程都运行在一个JVM上。单机模式适用于开发阶段运行MapReduce程序，这也是最少使用的一...

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

热门推荐

狂奔的蜗牛

09-22

132万+

最近一直在自学Hadoop，今天花点时间搭建一个开发环境，并整理成文。首先要了解一下Hadoop的运行模式：单机模式（standalone）单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节

hadoop启动后给jps没有namenode节点

qq_44319371的博客

03-24

4855

hadoop伪分布式，在配置好环境后，jps启动只有五个进程，少了namenode节点，并且没有tmp文件夹。查了一圈原因可能是多次格式化hadoop namenode -format，所以参照了一些教程，修改了sudo nano core-site.xml为 <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet typ...

大数据学习——Hadoop集群伪分布模式的搭建（超详细）

JunLeon的博客

09-27

1万+

Hadoop集群伪分布模式的搭建 JunLeon——go big or go home 目录 Hadoop集群伪分布模式的搭建 1、配置免密登录 2、HDFS的配置、启动与停止（配置文件均在hadoop的主目录下操作）（1）配置hadoop-env.sh （2）配置core-site.xml （3）配置hdfs-site.xml （4）格式化HDFS 3、YARN的配置、启动与停止（配置文件均在hadoop的主目录下操作） 4、同时启动或停止HDFS和YARN 4、We..

Hadoop集群启动没有Datanode

NullNullAgo的博客

01-12

1万+

本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod

【hadoop】部署hadoop的伪分布模式

qq_43495411的博客

07-15

3269

2023/7/15

Hadoop分布式和伪分布式下NameNode和DataNode的分布

weixin_56068397的博客

08-19

3183

今天布置了有关hadoop分布式与伪分布式的作业，经过资料的查询，了解了很多概念，以下为整理的相关信息。概念的理解：（1）分布式利用分而治之的思想：随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统（HDFS）。 (2)伪分布式 Hadoop的伪分布式： 伪分布式就是假分布式，假就假在只有一台机器而不是多台机器来完成一个任务,但是模拟了分布式的这个过程，所以伪分布式下

Linux系统Hadoop伪分布式模式配置

stepondust 的课堂

02-07

5960

Hadoop的伪分布式运行模式

NFstriving的博客

02-25

2614

Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 1、本地模式安装简单，在一台机器上运行服务，几乎不用做任何配置，但仅限于调试用途。没有分布式文件系统，直接读写本地操作系统的文件系统。 2、伪分布式模式在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等进程，模拟分布式运行的各个节点。配置已经很接近完全分布式。 3、完全分布式模式正常的Hadoop集群，由多个各司其职的节点构成。 伪分布式运行.