在windows下搭建hadoop工程（二）之 WordCount 作业测试

最新推荐文章于 2026-07-31 13:48:41 发布
原创 最新推荐文章于 2026-07-31 13:48:41 发布 · 5.7k 阅读 · 2
本文详细记录了在Windows操作系统下搭建Hadoop环境并执行WordCount作业的过程，包括遇到的问题及解决方法，如文件上传异常、DataNode命名空间ID不匹配等，最终成功运行MapReduce作业。

四、WordCount.java测试

1、测试准备

wordcount.java程序是用来统计词频的，因此这里需要先建好输入文件。/test/input/
但是发现从eclipse上传到hdfs中的文件大小始终都为0

这里写图片描述

尝试使用hadoop shell的方式来创建文件。
在执行文件上传命令时会抛出异常：
File /tmp/wordcount/1.txt could only be replicated to 0 nodes, instead of 1。
于是使用命令jps查看启动进程，发现只有两个启动成功，

这里写图片描述

日志位于hadoop-1.0.0/logs/目录下。
查看错误日志：
2016-04-11 17:25:29,598 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in D:\tmp\hadoop-zhangmanyi\dfs\data: namenode namespaceID = 1744166126; datanode namespaceID = 1790925227

位于D:\tmp\hadoop-zhangmanyi\dfs\data\current\目录下的version文件中记录了namespaceID

这里写图片描述

于是执行一次停止脚本命令，再删除version文件（建议备份），然后hdfs格式化一

标签
#hadoop #windows #eclipse #WordCount
最低0.47元/天 解锁文章
Windows10上运行hadoop第一个实例wordcount MapReduce Example
sinat_40381653的博客
04-23 2109
之前做实验的时候找资料，结果搜来搜去都找不到想要的，首先网上很多都是linux的资料，所以建议要做的朋友也尽量在linux上做。这里不得不吐槽一下lj百度，搜点东西啥都找不到，很多国外没有被墙的网站论坛都没有。。。最后还是求助google。 网上都是关于hadoop在Windows上的安装教程，对于运行第一个实例讲得特别少，所以我来补充一下。另外，尽量选择已经测试没有问题的版本，比如3.0以后的...
SpringBoot调用Hadoop获取文件的内容、文件列表、存储用量和内容追加、WordCount计算（附Hadoop快速搭建）
FHlang的博客
04-17 2823
SpringBoot调用Hadoop做文件内容的读取、追加和WordCount计算（附快速搭建）
基于Windows eclipse maven Hadoop 的WordCount源码
10-14
基于Windows eclipse maven Hadoop 的WordCount源码。下载后需要自己编译jar包，详情请看解压后的README.md
大数据hadoop在windows中wordcount的实现
10-27
本下载源于网络搜索，仅用于方面下载，其用于hadoop在windows中wordcount的实现，仅用于交流，勿喷
数据挖掘实验：使用 Hadoop 实现 WordCount 应用
ProgramNovice的博客
09-19 9059
数据挖掘实验：使用 Hadoop 实现 WordCount 应用
大数据开发之Windows10上运行第一个hadoop实例wordcount
yjjhk的专栏
12-16 491
本文主要介绍了如何在在window 10上运行第一个hadoop程序wordcount
使用Windows连接Hadoop运行wordcount程序
山山而川的博客
10-04 564
本地Hadoop安装部署 将winutils.exe拷贝到windows下hadoop的bin目录 将hadoop.dll与winutils.exe拷贝到目录C:\Windows\System32 下 设置环境变量HADOOP_HOME为.../hadoop2.XXX/ 打开eclipse/idea导入jar包(mapreduce,yarn,hdfs,common)，编写程序运行wordcount WordCount程序编写 1、Map程序的编写 import java.io.IOException;
windows下运行hadoop的wordcount示例超详细过程
shdxhsq的博客
04-18 1819
windows下运行hadoop的wordcount示例超详细过程 特别感谢参考博文中的两位博主的分享 一.下载2个文件 https://github.com/MuhammadBilalYar/HADOOP-INSTALLATION-ON-WINDOW-10/blob/master/MapReduceClient.jar https://github.com/MuhammadBilalYar/...
十分钟搞定酷炫动画，万圣节惊悚的聊天界面
2401_84149785的博客
04-19 773
return;
hadoop wordcount windows idea本地测试方法
cl723401的博客
04-25 834
搭建hadoop集群环境这里不做过多说明 windows下hadoop环境搭建 下载hadoop对应的包，这里给出百度网盘链接：链接：https://pan.baidu.com/s/1Br9fzRBEQFtEELPWjXWqLQ 提取码：xcmt 解压 下载windows辅助文件：winutils.exe,链接：链接：https://pan.baidu.com/s/1gL1xCgvGCbBrTW...
在Windows的VSCode上配置Java-Hadoop开发环境，并用MapReduce实现WordCount功能
weixin_45461739的博客
09-30 3827
在Windows的VSCode上配置Java-Hadoop开发环境，并用MapReduce实现WordCount功能
本地windows访问hadoop的hdfs并实现wordcount
weixin_74257347的博客
09-21 2084
下载地址直接下载zip文件，之后保留自己hadoop版本的或者相近版本的就可以，其他都删掉。 这里我保留的3.3.5 因为我的是3.3.1 ok下载完成.配置系统变量: 新建一个环境变量,并写入自己的依赖项路径. 然后再Path中配置:记得点确定!! 这里可能总共有三个确定,必须全点,否则没用.作者试错过,真的好难崩..希望读者别.. files中点击新建项目，选择maven项目，新版idea只有maven archetype 这是maven项目的子项，所以我们点击右上边的Java蓝字。编辑自己的项目名称
hadoop简单实例-WordCount
码蚁君
07-29 9384
开发环境：window7 如果不知道怎么在window环境下安装hadoop，请参考教你Windows平台安装配置Hadoop2.5.2(不借助cygwin) 本实例先贴源代码，再讲解步骤。 代码如下：package test; import java.io.IOException; import java.util.StringTokenizer;import org.apache.had
Windows下使用Hadoop实例
05-19
分布式，Windows下安装Cygwin，安装Hadoop，运行实例。
Windows系统下Hadoop 3.x伪分布式环境搭建与WordCount实践指南
最新发布
weixin_30487201的博客
07-31 406
Hadoop作为Apache基金会旗下的开源分布式系统基础架构，其核心设计原理基于分布式文件系统HDFS和并行计算框架MapReduce，通过将大规模数据集分布式存储与处理，实现了对海量数据的高效计算能力。这一技术价值在于为大数据处理提供了可靠、可扩展的解决方案，广泛应用于日志分析、数据挖掘、机器学习等场景。对于初学者和开发者而言，在本地Windows环境快速搭建一个伪分布式集群是理解其核心组件交互和进行代码验证的高效路径。通过配置JDK、Hadoop发行版及关键的winutils补丁，并修改core-si
Windows下搭建Hadoop环境及Python实现单词计数
m0_56450064的博客
11-18 1079
PowerShell 剥离引号后变成无引号的逗号分隔字符串，而 PowerShell 的数组解析逻辑会进一步把逗号当成拆分符，最终拆成两个独立参数，导致第二个文件无法解析，因此会报错。下载winutils：Hadoop在Windows平台上运行需要依赖winutils.exe，官网没有提供此工具，使用开源的编译版本，Hadoop的版本选取跟开源编译的版本需要相符。：固定参数，上传本地的两个 Python 脚本到集群，多个文件用 **逗号分隔（无空格），**file:// 前缀明确本地文件系统，避免。
使用idea使用远程虚拟机中的hadoop集群进行wordcount练习
qiaobiao的博客
04-03 1758
1、搭建window上的hadoop环境 2、idea上新建一个工程 3、在src目录下的main目录添加resources目录 直接点击resources 4、在resources目录下新建一个log4j.properties文件，并将以下配置信息写入到文件中 log4j.rootLogger=INFO, stdout, D # Console Appender log4j.appende...
Windows10安装配置Hadoop以及用eclipse运行WordCount程序
Kingknot的博客
11-14 555
Windows10安装配置Hadoop以及用eclipse运行WordCount程序 一、Windows环境下hadoop安装和配置 1.下载Hadoop 选择一个版本下载 http://www.apache.org/dyn/closer.cgi/hadoop/common 下载完后进行解压，这里我是解压到D:/Develop/Hadoop/hadoop-3.2.1/hadoop-3.2.1 2....
windows 7 with eclipse 下hadoop应用开发环境搭建
huidaoli
10-15 1598
一、概述 最近开始着手高校云平台的搭建，前些天做了hadoop集群测试环境的安装与配置的经验分享，这篇文章主要介绍win7 64位下 eclipse4.2 连接远程Redhat Linux 5下hadoop-1.2.0集群开发环境搭建 二、环境 1、window 7 64位 2、eclipse 4.2 3、Redhat Linux 5 4、hadoop-1.2.0 三、安装配置hadoop集群 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值