//输入维表(type=0时直接输入该文件(文件地址是全路径加文件名), type=1时输入该文件夹下的文件,地址只到文件夹,文件夹下面包含多个文件)
public static void InputDimensionFile(String path_file, String type, Configuration conf, FileSystem fs) throws Exception {//读入hdfs上的维表数据
if(type.equals("0")){
DistributedCache.addCacheFile(new Path(path_file).toUri(), conf);
System.out.println("CORRECT!\t"+path_file );
}
else if(type.equals("1")){
FileStatus[] fileStatuses = fs.listStatus(new Path(path_file));
if(fileStatuses.length ==1 ){
DistributedCache.addCacheFile(fileStatuses[0].getPath().toUri(), conf);
System.out.println("CORRECT!\t"+path_file );
} else {
System.out.println("Error!\t"+path_file );
return;
}
}
}
public static Map<String, String> cde_media = new HashMap<String, String>();//<媒体

本文详细探讨了MapReduce在处理大数据时如何有效地读取文件,并介绍了其内部的缓存机制,旨在优化数据处理效率,提高集群资源利用率。

3604

被折叠的 条评论
为什么被折叠?



