lucene4.4入门实践

最新推荐文章于 2020-08-17 20:40:29 发布

原创最新推荐文章于 2020-08-17 20:40:29 发布 · 958 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

Lucene 专栏收录该内容

4 篇文章

订阅专栏

本文档介绍如何入门Lucene 4.4，对比旧版本的变化，并提供创建索引的步骤。作者在尝试使用最新版4.6时发现与3.0版本有较大差异，通过自我探索，重新熟悉了创建索引的过程，特别是利用IndexWriter来构建索引。

最近需要用到lucene，使用最新版本4.6的版本，发现比较以前学习的3.0版本有很多的改变，包括各种参数配置，而网上搜索到的大部分都是3.0版本的教程，于是只好自己动手，好在有基础，不难...

首先创建索引，其实我很久不用lucene了，以前学习的差不多都忘记了，不过我还记得创建索引对象IndexWriter，使用这个对象，根据eclipse的代码提示，差不多就可以完成了

/**
 * 对目录索引
 */
public class Indexer {

/**
	 * 索引文件存放文件夹
	 */
	private static String INDEX_DIR = "E:/docData/indexDir";

/**
	 * 被索引目录
	 */
	private static String DATA_DIR = "D:/学习资料";

/**
	 * 测试主函数
	 * @throws Exception 
	 */
	public static void main(String[] args) throws Exception {
		long start =new Date().getTime();
		int numIndex=index(new File(INDEX_DIR),new File(DATA_DIR));
		long end =new Date().getTime();
		
		System.out.println("indexing:"+numIndex+"times:"+(end-start));
	}

/**
	 * 索引dataDir下的文件
	 * 
	 * @throws Exception
	 */
	private static int index(File indexDir, File dataDir) throws Exception {
		if (!dataDir.exists() || !dataDir.isDirectory()) {
			throw new Exception("文件不存在");
		}
		if (!indexDir.exists() || !indexDir.isDirectory()) {
			indexDir.mkdirs();
		}

/**
		 * 建立索引
		 */
		Analyzer analyzer=new StandardAnalyzer(Version.LUCENE_44); //指定分词
		IndexWriterConfig writerConfig=new IndexWriterConfig(Version.LUCENE_44,analyzer);
		IndexWriter writer = new IndexWriter(FSDirectory.open(indexDir),writerConfig);
		indexDirectory(writer, dataDir);
		int numIndex=writer.numDocs();
		//优化索引结果
		writer.close();
		return numIndex;

}
	/**
	 * 遍历目录下的所有文件 并建立索引
	 * @param writer
	 * @param dataDir
	 * @throws IOException
	 */
	private static void indexDirectory(IndexWriter writer,File dataDir) throws IOException{
		File[] files=dataDir.listFiles();
		for(int i=0;i<files.length;i++){
			File file=files[i];
			if(file.isDirectory()){
				indexDirectory(writer, file);
			}else if(file.getName().endsWith(".txt")){
				indexFile(writer, file);
			}
		}
	}
	/**
	 * 对单个文件建立索引
	 * @param writer
	 * @param dataDir
	 * @throws IOException
	 */
	private static void indexFile(IndexWriter writer, File dataDir) throws IOException{
		if(dataDir.isHidden()||!dataDir.exists()||!dataDir.canRead()){
			return ;
		}
		System.out.println("indexing:"+dataDir.getCanonicalPath());
		Document document=new Document();
		IndexableField field=new TextField("content",new FileReader(dataDir) );
		System.out.println(new FileReader(dataDir)+"--");
		document.add(field);
		document.add(new StringField("filename",dataDir.getName(),Field.Store.YES));
		document.add(new StringField("path",dataDir.getCanonicalPath(),Field.Store.YES));
		writer.addDocument(document);
	}

对搜索结果进行查询：

/**
 * 对索引结果进行搜索
 * 
 * @author madong
 * 
 */
public class Searcher {
	/**
	 * 索引所在路径
	 */
	private static String INDEX_DIR = "E:/docData/indexDir";
	/**
	 * 关键词
	 */
	private static String KEYWORD = "源码";
	/**
	 * 显示前10条记录
	 */
	private static int TOTAL_NUM = 10;

/**
	 * 索引查找方法
	 * 
	 * @throws IOException
	 * @throws ParseException
	 */
	private static void search(File indexDir, String word) throws IOException,
			ParseException {
		/**
		 * 获取读取对象
		 */
		IndexReader reader = DirectoryReader.open(FSDirectory.open(indexDir));
		IndexSearcher is = new IndexSearcher(reader);
		String field = "content";
		// 创建查询解析器
		QueryParser parser = new QueryParser(Version.LUCENE_44, field,
				new StandardAnalyzer(Version.LUCENE_44));
		Query query = parser.parse(word);
		/**
		 * 创建结果收集器
		 */
		TopScoreDocCollector collector=TopScoreDocCollector.create(TOTAL_NUM, false);
		
		long start =new Date().getTime();
		is.search(query, collector);
		ScoreDoc[] scoreDocs = collector.topDocs().scoreDocs;
		
		System.out.println(scoreDocs.length);
		/**
		 * 可以在此分页
		 * start  起始位置
		 * length 记录数
		 */
		for(int i=0;i<scoreDocs.length;i++){
			Document doc= is.doc(scoreDocs[i].doc);
			System.out.println(doc.getField("filename")+"  "+scoreDocs[i].toString());
		}
		long end =new Date().getTime();
		System.out.println("fund:"+collector.getTotalHits()+"  time:"+(end-start)+"  query:"+word);

}
	
	/**
	 * 测试主函数
	 * @throws Exception 
	 */
	public static void main(String[] args) throws Exception {
		File indexDir=new File(INDEX_DIR);
		if(!indexDir.exists()||!indexDir.isDirectory()){
			throw new Exception("目录不存在");
		}
		search(indexDir, KEYWORD);
		showAnalyzerResult(new StandardAnalyzer(Version.LUCENE_44), KEYWORD);
	}
	/**
	 * 查看分词结果
	 * @throws IOException 
	 */
	public static void showAnalyzerResult(Analyzer analyzer,String keyword) throws IOException{
		StringReader reader=new StringReader(keyword);
		TokenStream tokenStream= analyzer.tokenStream(keyword, reader);
		tokenStream.addAttribute(TermToBytesRefAttribute.class);
		tokenStream.reset();//此句不能少
		while(tokenStream.incrementToken()){
			TermToBytesRefAttribute cta=tokenStream.getAttribute(TermToBytesRefAttribute.class);
			System.out.println(cta.toString());
		}
	}
}