Mapreduce如何获取读取文件夹下文件的名字

最新推荐文章于 2023-05-01 12:04:24 发布
原创 最新推荐文章于 2023-05-01 12:04:24 发布 · 1.2k 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文介绍如何在Hadoop MapReduce任务中通过特定的Java代码获取输入文件的名字。通过导入必要的包并使用适当的类方法，可以实现从MapReduce任务上下文中提取文件路径并打印文件名。

                    需要注意的导包的时候导这两个包

                    import org.apache.hadoop.mapreduce.InputSplit;

                    import org.apache.hadoop.mapreduce.lib.input.FileSplit;
                     

    InputSplit inputSplit=(InputSplit)context.getInputSplit();

    String filename=((FileSplit)inputSplit).getPath().getName();

    System.out.println(filename);

                    就可以获取到了

Hadoop mapreduce递归统计文件夹下的文件
jim8973的博客
02-08 693
需要配置vi mapred-site.xml <property> <name>mapreduce.input.fileinputformat.input.dir.recursive</name> <value>true</value> </property> 这样就可以统计如下文...
如何确定hadoop的mapreduce运行的日志存放在哪里？
Shrash的博客
03-28 5422
有时候想看mr的运行日志，比如在mr中放入了一些log，那么这些log要从哪里查看呢？接下来笔者阐述一下自己的理解。1. 通过配置文件确认属性yarn.nodemanager.remote-app-log-dir 的值，如下：&lt;property&gt;&lt;name&gt;yarn.nodemanager.remote-app-log-dir&lt;/name&gt;&lt;value&g...
Mapreduce(MR)读取配置文件的三种方式，遍历HDFS目录文件
IBoyMan
03-13 8049
第一种方式：    如果配置文件数据不是很大，可以放在本地，然后在打包进去，代码如下：第二种：    如果配置文件数据比较大，可以传到HDFS里，以传参的形式加载，代码：这种方式需要在Main里设置参数位置，核心代码如图：第三种： 配置文件已经在HDFS上存在(以part文件形式存在，第二种是传上去的文件不是part格式，比如txt形式)，以传参的形式加载，代码：这种方式也要在Main设置参数的位...
mapreduce中map方法一次读取整个文件
lqf的专栏
01-25 7787
最近有一个项目，需要将爬虫获取的众多网页解析出来，并将内容插入hbase，考虑采用mapreduce来实现。由于一个html文件最大不过几M，所以一个文件将会交给一个map处理，mapreduce中最常见的是按行读取文本文件，而我们需要的是一次读取整个文件内容，然后在map方法中用jsoup解析内容。现将实现一次读取整个文件内容的代码贴出来。1、定义一个FileInputFormat类public
18、MapReduce的计数器与通过MapReduce读取/写入数据库示例
alanchanchn的专栏
05-01 8万+
在执行MapReduce程序的时候，控制台输出日志中通常有下面所示片段内容Hadoop内置的计数器可以收集、统计程序运行中核心信息，帮助用户理解程序的运行情况，辅助用户诊断故障下面是示例性日志，介绍了计数器。
如何在Amazon Elastic MapReduce(EMR)上运行MapReduce程序
mystikk的专栏
12-09 3259
这个问题其实是挺简单的，但是网上真的很不好找教程，尤其对于一些细节，就没人说过。估计大家可能也会一次次试验，我试了好多次终于成功，权当初学者一点帮助吧。 第一步自然是去Amazon注册账号。这里给的是EC2的地址，不过一样。 http://aws.amazon.com/ec2/    现在Amazon提供了很多不同种类的云服务，存储的有S3，就和DropBox一个原理，不过没那么方便易用，主要用
Mapreduce中获取输入文件名及路径的方法
YF_Li123的博客
04-15 3727
在map函数中想要获取当前split所读取的文件名，方法如下： 1 不通用方法 1 如果读入的文件类型为 TextInputFormat，则获取文件名如下： String filePath = context.getConfiguration().get("mapreduce.map.input.file"); Path tmpFilePath = new Path(filePath)...
MapReduce读文件
兜里有包包
08-09 4351
参考 读文件 在Driver中读本地 在map或reduce中读hdfs Streaming中的-file
MapReduce多路径输入与多文件输出
GatsbyNewton
05-01 2万+
我前段时间在完成一个公司业务时，遇到了一个这样的需求：将HDFS上按每天每小时存储的数据进行数据预处理，然后对应按天存储在HDFS........由此可得，MapReduce的输入路径是： /user/data/yyyy/MM/dd/HH/ 每天有24小时，dd/目录下有24个目录，然后，对这24个目录下的数据预处理，最后输出到dd/目录： /user/out/yyyy/MM/dd/
Hadoop： MapReduce使用hdfs中的文件
WitsMakeMen的专栏
11-28 1万+
本代码包含功能：获取DataNode名，并写入到HDFS文件系统中的文件hdfs:///copyOftest.c中。 并计数文件hdfs:///copyOftest.c中的wordcount计数，有别于Hadoop的examples中的读取本地文件系统中的文件，这次读取的是HDFS中的文件。 package com.fora; import java.io.IOException; impor
MapReduce-Counter使用-快速实现大文件行数的统计
Qi.zheng
03-25 9472
在普通的java程序中我们可以定义一个全局的静态变量，然后我们可以在各个类中去使用，实现累加器的功能，然而在mapruduce中怎么实现这一功能呢，各个map可能运行在不同的JVM中（这里不考虑JVM重用的情况），然而我们可以借助MapReduce提供的Counter功能来实现这一功能，下面我们通过一个实例来说明这一个用法。 实验要求：快速实现文件行数，以及其中错误记录的统计 实验数据： 1
mapreduce获取输入文件名、输出路径
little-bear的博客
03-23 3375
1。 获得输入文件名 String input= context.getInputSplit();     context 就是 Context对象 2。获得输出路径 String outPutPath = context.getConfiguration().get("mapred.output.dir");
MapReduce的input为小文件和har文件的相关实验
samhacker的专栏
01-04 3019
如果MapReduce的input是一些小文件（文件size小于hdfs的默认block大小），那么MapReduce job将会为每一个小文件开启一个单独的map——最后导致有大量的map，而每一个map其实只处理一小部分数据，却花了很大的时间在map自身的启动和停止上。 以下的实验将会验证小文件数量对map数量的影响，以及input为har文件时map数量的情况。 实验一：Wo
MapReduce和Hive支持递归子目录作为输入
thy822的专栏
05-18 6751
关键字：MapReduce、Hive、子目录、递归、输入、Input、mapreduce.input.fileinputformat.input.dir.recursive、hive.mapred.supports.subdirectories 一般情况下，传递给MapReduce和Hive的input文件夹中不能包含子目录，否则就会报错。但后来增加了递归遍历Input目录的功能， 这
如何在mapreduce方法中获取当前使用文件（get file name）
空中的鱼
07-13 1092
使用的0.20.2版本hadoop 查了许久，如何在map方法中获取当前数据块所在的文件名，方法如下： //获取文件名 InputSplit inputSplit=(InputSplit)context.getInputSplit(); String filename=((FileSplit)inputSplit).getPath().getName();
MapReduce获取输入文件路径
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
09-04 1323
map或reduce方法中有context变量： String inputFilePath = context.getConfiguration().get("mapreduce.input.fileinputformat.inputdir"); 根据输入文件做不同的处理
MapReduce程序中如何获取文件名
weixin_42619750的博客
09-20 1232
在maper类中 Path path = ((FileSplit) context.getInputSplit()).getPath() .getParent(); String fileName = path.getParent().toString(); 引用类为 import org.apache.hadoop.fs.Path; import org.apache.hadoop.ma...
Hbase的java操作
weixin_39339717的博客
03-02 379
HBase的java代码开发 熟练掌握通过使用java代码实现HBase数据库当中的数据增删改查的操作，特别是各种查询，熟练运用 第一步：创建maven工程，导入jar包 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值