10.这就是搜索引擎:核心技术详解 --- 网页去重

最新推荐文章于 2025-10-30 13:56:04 发布

原创最新推荐文章于 2025-10-30 13:56:04 发布 · 789 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

大型网站核心技术专栏收录该内容

32 篇文章

订阅专栏

本文探讨了网页内容重复的四种类型，包括完全重复、内容重复、布局重复及部分重复页面。阐述了内容去重的四大好处，如节省存储空间、提升索引效率等。并介绍了通用去重算法框架及具体算法，如Shingling算法、I-Match算法、SimHash算法和SpotSig算法，为高效处理重复内容提供了技术指南。

	内容重复大致可以分为下面4种：
1.如果两篇文档内容和布局上毫无差别，则这种重复可以叫做完全重复页面
2.如果两篇文档内容相同，但是格式不同，则叫做内容重复页面
3.两篇文档有部分重要的内容相同，并且布局格式相同，则称为布局重复页面
4.如果两篇文档有部分重要的内容相同，但是布局格式不同，则称为部分重复页面

好处：	
	1.节省存储空间
	2.避开重复网页进行索引
	3.网页重复，收录时应给与高优先级
	4.增加用户体验

  10.1　通用去重算法框架　
　10.2　Shingling算法　
　10.3　I-Match算法　
　10.4　SimHash算法　
　　10.4.1　文档指纹计算　
　　10.4.2　相似文档查找　
　10.5　SpotSig算法　
　　10.5.1　特征抽取　
　　10.5.2　相似文档查找