【hadoop】在ieda编写创建文件夹的MapRuce程序

最新推荐文章于 2025-01-10 18:14:51 发布

原创最新推荐文章于 2025-01-10 18:14:51 发布 · 435 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#hadoop #mapreduce

本文档详细介绍了如何在IDEA中创建一个MapReduce程序，用于在Hadoop环境中创建文件夹。从新建项目、编写代码，到配置参数、运行IDEA，再到打包上传jar文件至HDFS，并最终验证文件夹创建成功，每个步骤都有清晰的操作说明。

一、在idea里编写代码

1.新建一个项目，在项目里创建一个名为Mkdir的文件

一、在idea里编写代码

1.新建一个项目，在项目里创建一个名为Mkdir的文件

点开src包下面自己创建的文件夹，在文件夹右键点击New的Java Class

在弹出窗口输入Mkdir回车创建文件

回车完得到一个空白文件

2.编写代码

在文件中输入以下代码

public static void main(String[] args) throws IOException {
        if (args.length == 0) {
            System.out.println("创建文件夹失败！请传入一个路径参数作为要创建的文件");
        }
        String targetDir = args[0];

        //指定Hadoop的用户为root
        System.setProperty("HADOOP_USER_NAME", "root");

        //创建一个配置对象
        Configuration conf = new Configuration();
        //设置fs.defaultFS属性，目的是创建一个DistributedFileSystem对象
        conf.set("fs.defaultFS", "hdfs://20210322017-master:9000");
        //获取一个FileSystem对象（文件系统对象）
        FileSystem fs = FileSystem.get(conf);

        //请求在HDFS上创建指定的文件夹
        boolean mkdir1 = fs.mkdirs(new Path(targetDir));
        if (mkdir1) {
            System.out.println("成功创建文件夹" + targetDir);
        }
        fs.close();
    }

输入的代码自己生成配置文件 3-7行

完整代码图

二、在配置项里添加参数修改创建文件夹名字

1.在右上角点击小锤子右边的倒三角形，点击第一个 Edit Configurations

2.在跳出的弹窗中在下图中的位置添加 / 和要上传到hdfs的文件夹名，文件位置默认不需要改动

三、运行ieda

1.添加完以后在右下角的位置点击确认再运行

2.最后在代码页面右键点击选择 Run运行程序

3.运行结果，显示hadoop文件夹创建成功

四、打包编写好的代码成jar包

1.点击File下的Project Structure

2.在弹窗中点击Artifacts 然后在右边点击+，选择JAR 然后第二个

弹出新窗口，1.点击第一个框的文件选择此程序所运行的包，2.更改默认位置，3.点ok确认

3.右键点击<output root>选择第一行的 Create Directory

4.在弹出的窗口把默认改为 lib 点击OK

5.生成一个lib包，再右键点击选择 + Add Copy of 会新生成一个hdfs2.7

6. 选择hdfs2.7点击 — 号

7.点击右下角的应用在确认

8. 在左边文件栏会看到生成一个 out 包，在 out包下面可以看到打包好的jar包

五、把打包好的jar包上传到hdfs

将打包好的jar包直接拉进hdfs上等待上传完成，上传好会出现一个jar包文件夹

六、在hdfs上查看文件夹是否创建成功

输入 hdfs dfs -ls / 查看在idea创建的 hadoop文件夹是否创建成功

下图为hadoop文件夹成功创建

总结

本次的分享就到这里，根据自己编写的过程来分享经验，希望能对你有所帮助。