hadoop2.x中hadoop—core.jar包使用

最新推荐文章于 2022-08-19 17:07:44 发布
原创 最新推荐文章于 2022-08-19 17:07:44 发布 · 4.2k 阅读 · 8 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Hadoop 2.x 版本中，传统的hadoop-core.jar已经被多个模块替代，详细介绍了这一变动。

在hadoop2.X中已经没有hadoop-core.jar包了，由以下取而代之：

conf部分在 hadoop/common/hadoop-commom-2.2.0.jar
org.apache.hadoop.conf.Configuration
org.apache.hadoop.fs.Path
org.apache.hadoop.io.IntWritable
org.apache.hadoop.io.Text
org.apache.hadoop.util.GenericOptionsParser

Mapreduce部分在 hadoop/mapreduce/hadoop-mapreduce-client-core-2.2.0.jar 
org.apache.hadoop.mapreduce.Job
org.apache.hadoop.mapreduce.Mapper
org.apache.hadoop.mapreduce.Reducer
org.apache.hadoop.mapreduce.lib.input.FileInputFormat
org.apache.hadoop.mapreduce.lib.output.FiliOutputFormat

还有一个是在$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar这个暂时没有学习到

有一个技巧：
可以把这三个包全部路径写到/etc/profile文件的CLASSPATH变量下，这样就可以直接
$ javac 程序名

标签
#大数据 #基础 #hadoop
Hadoop的core下的jar包
12-08
当我们在idea工具里运行MapReduce程序时，报错权限问题，workaroundNonThreadSafePasswdCalls问题，NoSuchFieldError问题，将这个jar包替换源码maven仓库下的org\apache\hadoop\hadoop-core\1.2.1里的同名jar包即可
hadoop-core
07-09
更改的hadoop-core包。
hadoop-core-1.2.1.jar
qq_36650376的博客
12-03 1470
遇到的问题： ERROR security.UserGroupInformation: PriviledgedActionException as:chuck cause:java.io.IOException: Failed to set permissions of path: 分析问题： 属于windows下的eclipse中访问的权限问题，需要重新打包hadoop-core-1.2.
hadoop-core-1.0.4.jar
12-03
在windows下，使用hadoop-1.0.4自带的hadoop-core-1.0.4.jar时，会抛出权限异常：cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700 上述jar包，是修改了源码FileUtil.java后，编译得到的hadoop-core-1.0.4.jar在win平台不会出现权限问题
hadoop jar包_计算机毕业设计中hadoop上运行Java程序
weixin_39670464的博客
11-30 1280
点击上方“蓝字”，关注我们.第一种：原生态运行jar包1，利用eclipse编写Map-Reduce方法，一般引入Hadoop-core-1.1.2.jar。注意这里eclipse里没有安装hadoop的插件，只是引入其匝包，该eclipse可以安装在windows或者linux中，如果是在windows中安装的，且在其虚拟机安装的linux，可以通过共享文件夹来实现传递。2，编写要测试...
关于Hadoop中是否还有hadoop-core-xxx.jar包吗
u013176681的专栏
02-07 4833
2.x系列已经没有hadoop-core的jar包了，变成一个个散的了，像下面这样
HadoopCore-HDFS
m0_49142509的博客
10-20 272
2.HDFS JavaApi 应用 创建maven项目 pom导入jar包依赖，<scope>provided</scope>解释 scope取值 有效范围（compile, runtime, test） 依赖传递 例子 compile all 是 spring-core provided compile, test 否 servlet-api runtime runtime, test 是 JDBC驱动 tes
【Hadoop需要的Jar包】Hadoop编程-pom.xml文件
weixin_33875839的博客
10-11 1928
JDK版本的要求Hadoop 2.7 以及之后的版本，需要JDK 7；Hadoop 2.6 以及之前的版本，支持JDK 6；对于Hadoop1.x.x版本，只需要引入1个jar：hadoop-core对于Hadoop2.x.x版本，需要引入4个jar：hadoop-commonhadoop-hdfshadoop-mapreduce-client-corehadoop-clientjdk.tools...
【Hadoop需要的Jar包】
热门推荐
超级帅的一个小伙子的博客
04-17 1万+
JDK版本的要求 Hadoop 2.7 以及之后的版本，需要JDK 7； Hadoop 2.6 以及之前的版本，支持JDK 6； 对于Hadoop1.x.x版本，只需要引入1个jar： hadoop-core 对于Hadoop2.x.x版本，需要引入4个jar： hadoop-common hadoop-hdfs
Hadoop所需要的jar包
大头之家
09-13 1万+
JDK版本的要求 Hadoop 2.7 以及之后的版本，需要JDK 7； Hadoop 2.6 以及之前的版本，支持JDK 6； 对于Hadoop1.x.x版本，只需要引入1个jar： hadoop-core 对于Hadoop2.x.x版本，需要引入4个jar： hadoop-common hadoop-hdfs
hadoop所需要的各个版本的jar包下载站点
qq_51720015的博客
08-19 2876
hadoop所需要的各个版本的jar包
在idea上配置hadoop开发环境，使用maven配置hadoop的依赖，自动管理相关jar包
hjseo_seg的博客
04-28 2869
使用maven可以很方便的管理我们项目的依赖，不需要手动去加载项目依赖的ja包，也方便项目的迁移，所以我选择使用 maven 来管理hadoop的开发环境的jar包。 maven官网 JDK版本的要求 Hadoop 2.7 以及之后的版本，需要JDK 7； Hadoop 2.6 以及之前的版本，支持JDK 6； 最好按照官方的来，要不然可能会出现一些小的bug。。。 我配置的版本是hadoop 2.8.5 ，使用的jdk版本是 jdk8 对于Hadoop1.x.x版本，只需要引入1个jar： hadoop
Hadoop 2.x 下使用javac编译java文件
midori的博客
03-30 1587
2.x系列已经没有hadoop-core的jar包了，变成一个个散的了，分布在$HADOOP_HOME/share/hadoop下vim /etc/profileHADOOP_HOME=/home/finch/hadoop-2.7.export  CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$HADOOP_HOME/shar...
如何用命令 编译hadoop的java文件
我给媳妇儿讲java
03-25 2450
hadoop编译需要的jar包// 由于环境是hadoop2.x所以，没有hadoop1.x中的hadoop-core.jar文件，需要用到hadoop-common和hadoop-annotations javac -classpath $HADOOP_HOME/share/hadoop/common/hadoop-common-2.4.1.jar:$HADOOP_HOME/share/hadoo
hadoop支持哪些服务器,Hadoop基础教程：Hadoop,HBase兼容版本汇总
weixin_39630909的博客
07-31 363
Hbase的安装需要考虑Hadoop的版本，即兼容性。有不足的希望能指出。以下考究官网得到的，关于hadoop版本和hbase版本可到以下网址中下载：http://mirror.bit.edu.cn/apache/hbaseHBase-0.92.xHBase-0.94.xHBase-0.96.xHBase-0.98.xHadoop-1.0.0-1.0.2SSXSHadoop-1.0.3+SSSSH...
Hadoop 2.2 & HBase 0.96 Maven 依赖总结
小飞侠的博客
11-23 140
由于Hbase 0.94对Hadoop 2.x的支持不是非常好，故直接添加Hbase 0.94的jar依赖可能会导致问题。 但是直接添加Hbase0.96的依赖，由于官方并没有发布Hbase 0.96的jar包，通过maven编译项目的时候会出现找不到jar包导致编译失败。 通过网上的资料，得知Hbase 0.94后版本，直接添加Hbase-Client的依赖，通过查询得知需要以下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值