windows 下在idea中用java访问hadoop的环境配置

最新推荐文章于 2025-09-03 17:22:39 发布
原创 最新推荐文章于 2025-09-03 17:22:39 发布 · 1.1k 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文介绍如何在Windows环境下配置Hadoop环境变量，并将Hadoop集成到IntelliJ IDEA中，包括下载Hadoop和winutil，设置环境变量，以及在IDEA中导入Hadoop包等步骤。

1、下载hadoop并设置环境变量

HADOOP_HOME=F:\path_to\hadoop 
在Path环境变量后追加 ;%HADOOP_HOME%\bin 
2、下载winutil，并把winutils.exe和hadoop.dll文件复制到bin目录下

3、在idea中新建一个项目，导入hadoop包

步骤：右键项目名称->open moudle setting->点击右中上角“+”号选择1.JAR or D....

选择hadoop安装目录选择hadoop/share/hadoop 全选该目录下的所有目录以及common下的lib

包

 

 

基于windows，IDEA配置hadoop运行环境遇到的问题和解决（null\bin\winutils.exe）
LiangEdward的博客
06-19 756
一、先上我遇到的问题描述： 1.在IDEA工具上运行一个基于Hadoop的代码时候报如下错误： 二、再发段牢骚： 1.由于目前所在的公司为保险类型的公司，也许是对内部资料安全特别重视，而在公司内部电脑上居然不能配置系统变量； 2.各种外部的网页也访问不了，给后面下载资料和查找解决办法都带来恩多没必要的麻烦； 三、最后上解决办法： 1.第一次是按照网上某说法下载了个hadoop-common-2.2.0-bin...
【学习历程】04 win10下IDEA连接Linux上的Hadoop集群
Aries1Chan的博客
08-16 2471
     如果要在windows下连接虚拟机上的Hadoop集群,就必须要保证windows下有java环境和hadoop环境。 一、环境准备 1、jdk1.8 2、idea2019 3、Linux上hadoop集群，版本为hadoop2.6.0-cdh5.14.2 二、win10上安装hadoop环境 1、下载hadoop包 网站链接： https://archive.apache.org/dist/hadoop/common/ 本文下载版本为：hado
JAVA环境配置2025-Windows10
最新发布
quanyechacsdn的博客
09-03 442
文章摘要：本文介绍了Windows系统下JDK的安装与环境变量配置方法。首先从Oracle官网下载对应版本的JDK安装程序，安装完成后配置环境变量：1）添加JAVA_HOME变量指向JDK安装路径；2）在Path变量中添加%JAVA_HOME%\bin和%JAVA_HOME%\jre\bin路径。最后通过cmd运行java -version和javac -version命令验证配置是否成功。该教程详细说明了JDK安装及环境配置的完整步骤。（150字）
IDEA中Hadoop环境的配置及其相关问题
qq_48913319的博客
01-26 6025
idea中配置Hadoop环境 HADOOP_HOME不存在 缺少hadoop.dll和winutils.exe Exception during driver request: java.util.concurrent.TimeoutException: Timeout(5000) during refreshing connection on HDFS Path hdfs:// :9000/ is not accessible or does not exist
Windows下配置Hadoop的Java开发环境以及用Java API操作HDFS
BADAO_LIUMANG_QIZHI的博客
08-04 2194
场景 HDFS的访问方式之HDFS shell的常用命令： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119351218 在上面使用HDFS shell的方式去访问HDFS。 那么怎么使用Java API的方式去操作HDFS。 注： 博客：https://blog.csdn.net/badao_liumang_qizhi 关注公众号 霸道的程序猿 获取编程相关电子书、教程推送与免费下载。 实现 CentOS7上搭建Ha
【Hadoop】：Windows下使用IDEA搭建Hadoop开发环境
极歌科技
12-29 9846
笔者鼓弄了两个星期，终于把所有有关hadoop的环境配置好了，一是虚拟机上的完全分布式集群，但是为了平时写代码的方便，则在windows上也配置了hadoop的伪分布式集群，同时在IDEA上就可以编写代码，同时在windows环境下进行运行。(如果不配置windows下的伪分布式集群，则在IDEA上编写的代码无法在windows平台下运行)。笔者在网络上找了很多有关windows下使用i...
IntelliJ IDEA连接Hadoop集群
围炉夜敲的博客
10-16 1万+
相关连接 HDFS相关知识 Hadoop集群连接 HDFS Java API IntelliJ IDEA连接Hadoop集群 注意事项 准备文件 具体步骤 WordCount程序示例
windows系统下在idea中用spark访问远程hive
worldchinalee的博客
05-03 1万+
NO 步骤1安装配置jdk1.82安装配置scala2.11.183 写操作hive的demo4导入pom.xml中依赖jar5下载hadoop的binary包，我的版本是2.7.36下载winutils.exe将其放到$HADOOP_HOME/bin/目录下7在启动类的运行参数中设置环境变量，HADOOP_HOME=D:\software1\hadoop-2.7.3，=后面是hadoop的安装目...
Windows下使用IDEA+Maven搭建本地Hadoop环境
qq_42582489的博客
12-03 2355
IDEA结合Maven搭建本地MapReduce环境 文章目录IDEA结合Maven搭建本地MapReduce环境前言环境配置Maven新建项目初始化添加apache源添加Hadoop依赖 前言 Hadoop的开发中需要很多的依赖包，相互之间的关系较为复杂，依赖包之间复杂的关系就导致了搭建Hadoop的过程中会遇到各种报错，费心费神还调试不好，真是让人苦恼。 Maven是一个依赖管理和项目构建的工...
Hadoop 安装 与使用教程（一）
qq_37996327的博客
07-04 2861
下载链接：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 去官网下载hadoop解压出来 需要下载两个辅助文件：hadoop.dll、winutils.exe 因为csdn下砸积分越来越多提供免费下载地址：https://gitee.com/qwerdfs/spri...
Hadoop3.3.1详细教程（七）Java操作HDFS
Java朱老师博客
08-26 1849
本文及讲解，在windows下开发。 1.在windows下解压hadoop，在etc/hadoop中的hadoop.env.cmd修改以下值 set JAVA_HOME="C:\PROGRA~1\Java\jdk1.8.0_102" 2.将winutils.exe、hadoop.dll放到hadoop\bin下 如果运行时报以下异常： Exception in thread "main" java.lang.RuntimeException: java.io.FileNotFoundException:
IDEA配置hadoop依赖jar包（非Maven）
Juuunn的博客
03-26 7676
作者新手小白，仅为学习&交流 2020年3月26日22:12:29 开发环境 OS： Win10 Hadoop版本： hadoop-3.1.2 IDE： Intelij IDEA 2019.3.3 Hadoop Path： E:\Hadoop\Hadoop\hadoop-3.1.2\hadoop-3.1.2 Win本地安装hadoop 1.讲搭建hadoop平台时的.tar.gz文件直接解...
IDEA下配置Hadoop Mapreduce开发环境并实现本地运行
Grey0125的博客
04-08 3324
IDEA下配置Hadoop开发环境 配置环境变量 系统环境变量添加HADOOP_HOME，指向hadoop目录的根目录，如 F:\hadoop-2.7.7 对环境变量PATH追加：%HADOOP_HOME%\bin 将变量JAVA_HOME路径中的Program file换成PROGRA~1（空格识别不了） 配置好环境变量后，需要重启软件才能生效。因此需要将IDEA关闭后重新打开，才能正确识别刚刚配置的环境变量。 导入集群配置文件 把Hadoop主机的core-site.xml、hdfs-site.
IDEA中Hadoop的环境配置
hhhhhhhhhhhnb的博客
05-17 2747
没有配置HadoopHome： 在Windows下解压一份Hadoop安装包 Hadoop使用log4j进行日志输出，明显没有配置log4j 再次运行，显示了作业的运行情况 Hadoop环境变量配置（Windows下的可参照Linux配置，如下） 重启IDEA（或者重新启动电脑） 模拟器安装： winutils-master.zip 找到模拟器的两个文件 将这两个文件复制到如下目录中： C:\Windo...
大数据调试环境配置（2）：IDEA外部链接Hadoop调试环境配置以及部署jar包到服务器
小蚯蚓的博客
04-13 875
一、目的 远程客户端编写MapReduce代码，并且配置环境进行调试。 二、环境 1.IDEA 2.JDK1.8 3.CDH 5.7.0 三、步骤 1.创建Maven项目 2.加载对应CDH需求依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/PO...
ETL学习-IDEA配置（java、maven）、IDEA连接（Hadoop、yarn、Spark）
chy0315的博客
05-04 2423
一、准备：项目前期已配置好环境及必需软件 项目前期的准备工作可参照：ETL学习-软件安装（Tomcat、Nginx、Hadoop、Zookeeper）自启动管理：ETL学习-软件自启动管理（nginx、tomcat、zookeeper、root用户免密连接） 二、IDEA配置java环境 使用IntelliJ IDEA 配置JDK（入门） 三、IDEA配置Maven环境 使用IntelliJ IDEA 配置Maven（入门） 四、S...
Hadoop环境搭建学习之使用Idea提交Java程序到spark集群(10)
panda_225400的博客
06-04 591
Hadoop Spark HA环境搭建好了，试着创建程序提交到Spark集群执行简单计算统计需求:单词计数 执行步骤： 1、远程取两个文件 2、获取两个文件内的数据 3、将文件内的数据进行扁平化 4、将相同单词进行分组 5、聚合计算每个单词的个数资源列表虚拟机启动Hadoop HA 启动Spark HA编写多个测试数据.txt文件，文件名随意，将文本文件上传至hdfs的/datas目录 以1.txt、2.txt为例 将测试数据传到hdfs的/input/datas目录 hadoop fs -mkdir /
在CentOS上部署ASP.NET Core
流星之光的专栏
10-15 1941
vmware虚拟机安装 vmware哪里下载？360软件管家就可以下载。然后网上找个序列号。 我这里安装的是12.1.1 安装很简单一直下一步就好了。 CentOS7.3安装 下载CentOShttp://isoredirect.centos.org/centos/7/isos/x86_64/我们可以选择163或阿里云的节点，速度会快点。 下载完成后打开vmware准备安装 菜鸟可以选择有界面的 选好后然后开始安装，然后设置密码，然后重启就好了。 Windows的客户端软件 下载安装Xshel..
如何利用IDEA通过创建Maven项目来实现hadoop相关项目
热门推荐
hxhxhzjz的博客
05-16 1万+
前言 已经安装好IDEA，并且配置好JDK和maven 一、创建一个Maven项 点击玩Finish之后，等待加载完项目（第一次加载需要等一段时间） 如图示，maven项目加载完毕，并将下图所示内容删除 二、导入hadoop相关依赖，即修改pom.xml文件 在</project>前的<build>节点下面增加如下内容： <plugins> <plugin> <groupId>or..
在idea中搭建hadoop运行环境
qq_43742526的博客
07-25 5838
今天我将为大家讲解一下如何使用idea搭建Hadoop运行环境，它一共有一下几个步骤： （1）、下载hadoop jar包 根据自己电脑的操作系统到官网下载hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2） （2）、配置HADOOP_HOME环境变量 （3）、配置Path环境变量 4．创建一个Maven工程HadoopDemo 5．在pom文件中导入相应的依赖坐标+日志添加 <dependencies> <dependency
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值