运用hadoop计算TF-IDF

最新推荐文章于 2026-05-04 05:42:23 发布

原创

最新推荐文章于 2026-05-04 05:42:23 发布 · 9.7k 阅读

标签

#hadoop #string #class #float #path

收录于

该博客介绍了如何使用Hadoop进行TF-IDF（Term Frequency-Inverse Document Frequency）计算。通过两个MapReduce任务，实现了从文件中提取单词，计算词频（TF），并统计单词在所有文件中的频率（DF），最终得出TF-IDF值。博客提供了详细的代码示例，并给出了代码的改进点和注意事项。

(http://youzitool.com 新博客，欢迎访问)

这几天一直在忙着找暑假实习，实在没精力来写新的文章。刚好这几天放假，我把前几天做了的另一个例子拿出来跟大家分享一下。

这个例子是使用hadoop来实现TF-IDF。

TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。具体的信息就麻烦大家自己百度一下了。

因为要实现的细节比较多，所以我直接将代码放上来。大家可以参看代码里面的注释，我写的比较详细。

我采用了两个MapReduce任务顺序执行来实现TF-IDF功能。

public class My_TDIF { //part1------------------------------------------------------------------------ public static class Mapper_Part1 extends Mapper<LongWritable, Text, Text, Text> { String File_name = ""; //保存文件名，根据文件名区分所属文件 int all = 0; //单词总数统计 static Text one = new Text("1"); String word; public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { FileSplit split = (FileSplit) context.getInputSplit(); String str = split.getPath().toString(); File_name = str.substring(str.lastIndexOf("/")+1); //获取文件名 StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word = File_name ; word += " "; word += itr.next