系统中英文语言导致datanode报错BlockSender.sendChunks

最新推荐文章于 2024-11-27 17:54:52 发布

原创最新推荐文章于 2024-11-27 17:54:52 发布 · 494 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#hadoop #centos

收录于

问题现象

dn出现大量BlockSender.sendChunks()报错

> cat hadoop-cmf-hdfs-DATANODE-xx.log.out| grep "BlockSender.sendChunks"
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: BlockSender.sendChunks() exception:

dn报错日志

问题定位

1、检查报错节点的系统语言为中文，正常节点为英文

问题原因

当服务器语言为中文时，可能会导致dn服务出现BlockSender.sendChunks()报错

解决方案

检查系统语言

locale

当为中文时需要改成英文（修改完成后需要重启服务器生效）

>vim /etc/locale.conf
LANG="en_US.UTF-8"

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

运维小白&

关注关注

4
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

ERROR server.datanode.DataNode: BlockSender.sendChunks() exception问题解决

ao_li_ao_的博客

09-13

1885

增加yarn-site-xml的配置  <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>512</value> </property>  <property> <name>y

参与评论您还未登录，请先登录后发表或查看评论

datanode日志连接被对方重设/断开的管道

weixin_42473019的博客

04-07

3721

背景 datanode日志中经常发现大量以下报错： 2021-04-07 14:59:35,131 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: BlockSender.sendChunks() exception: java.io.IOException: 连接被对方重设 at sun.nio.ch.FileChannelImpl.transferTo0(Native Method) at sun.nio.ch.FileCha

【Bugs】hdaoop结点启动：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Bl

系'辞的博客

04-07

718

鸣谢——核心参考： 1.【Hadoop故障处理】全分布下，DataNode进程正常启动，但是网页上不显示，并且DataNode节点为空问题描述: 【说明】分布式hadoop环境下，DataNode进程正常启动，但是但是hadoop的UI网页上显示DataNode节点为空【说明】/etc/hosts 的ip和hostname配置正常，因为各服务器端ssh能互相ping通。 2021-04-07 21:26:35,038 ERROR org.apache.hadoop.hdfs.server.datan

Hadoop 集群安装配置过程中，web 监控页面 datanode 节点不能成功显示 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode:

kekekeliang的博客

10-17

2241

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-117060438-192.168.xx.xx-1665735296906 (Datanode Uuid 51b77be5-c4d7-4fa3-b5ec-47596378be3f) service to master/192.168.10.11:9000 Datanode denied communication wit

Hadoop datanode启动异常 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode

Kason_iWiki

11-25

3159

【Hadoop|Datanode报错】ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: node01:50010:DataXceiver

wei的博客

07-07

1417

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: node01:50010:DataXceiver error processing READ_BLOCK operation src: /172.18.44.148:37180 dst: /172.18.44.145:50010 java.io.IOException: Not ready to serve the block pool, BP-515668640-172.18.44.143-16

控制器发生异常 eofexception_0599-5.14.4-HDFS出现大量BrokenPipe异常处理

weixin_39600885的博客

11-23

1324

作者：李继武&陶攀龙1.故障描述在HBase和Hive集群中HDFS的DataNode节点均有大量的异常日志，详细日志信息如下：2019-02-25 17:02:02,153 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: BlockSender.sendChunks() exception: java.io.IOExcepti...

Hadoop问题DataNode error （ERROR org.apache.hadoop.hdfs.server.datanode.DataNode）

devilzy2656的专栏

11-30

2268

Hadoop问题DataNode error （ERROR org.apache.hadoop.hdfs.server.datanode.DataNode） DataNode error 2010-06-25 11:40:12,473 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOExcept

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceID

两只橙的博客

10-20

2048

问题的产生：今天遇到了一个问题我执行了 ./Hadoop namenode -format 之后启动hadoop: ./start-all.sh 的时候运行jps发现 datanode没有起来但是 TaskTracker是正常启动的然后我去datanode的错误日志里面发现的下面的问题： 2012-11-23 14:31:14,319 INFO org.apache

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain

程序园@大Null

01-17

6502

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain java.net.BindException: bind(2) error: Address already in use when trying to bind to '/var/lib/hadoop-hdfs/dn_socket'

报错：其中一个为datanode无法启动，ERROR org.apache.hadoop.hdfs.server.datanode.DataNode

邵奈一的博客

02-23

5090

问题描述：namenode、datanode都有进程，但在WebUI界面（master:50070）其中一个datanode为dead。 2019-02-23 12:28:46,068 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-837022277-17...

云计算学习笔记---异常处理---hadoop问题处理ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.NullPoin

添柴程序猿的专栏

04-21

4545

云计算学习笔记---异常处理---hadoop问题处理ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.NullPointerException 不知道大家在学习云计算的时候怎么搭建的环境,个人用的是hadoop4win-setup-full_0.1.5,这款软件,这个软件集成了云计算中

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Incompatible namespaceIDs ...datanode namespa...

weixin_30859423的博客

07-04

788

　　用三台centos操作系统的机器搭建了一个hadoop的分布式集群。启动服务后失败，查看datanode的日志，提示错误：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/...

hadoop常见错误及处理方法

热门推荐

yonghutwo的专栏

06-30

5万+

如果大家在安装的时候遇到问题，或者按步骤安装完后却不能运行Hadoop，那么建议仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等相关信息，Hadoop均存有日志文件以供分析。 1、hadoop-root-datanode-master.log 中有如下错误：

org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registere

weixin_39789340的博客

03-24

2812

启动hadoop 集群，发现datanode没有启动，查看日志报错，如图： // 日志文件 2020-03-24 16:40:55,608 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/module/hadoop-2.8.4/data/tmp/df...

Hadoop使用常见问题以及解决方法

成长是一个持续的过程

12-24

1847

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.conf

hadoop脚本启动时，错误： ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain

蚂蚁拾贝的博客

06-15

1万+

1.问题：在使用Hadoop自带脚本时启动hdfs/yarn时出现的问题：mv: 无法获取"/usr/local/apps/hadoop-2.8.1/logs/hadoop-root-datanode-vm001.out.3" 的文件状态(stat): 没有那个文件或目录在/usr/local/apps/hadoop-2.8.1/logs/hadoop-root-datan...

Hadoop 数据节点DataNode异常

玄火的专栏

09-27

1万+

使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。

Hadoop常见问题及解决办法