搭建基于nutch的搜索引擎

原文出处： http://blog.sina.com.cn/s/blog_694448320100kzsc.html 这两天闲着没事，看了看开源项目luncence和nutch，冲动之下利用nutch搭建一个简单的仿百度下的小小的搜索引擎，在搭建过程中，参考了于天恩老师写的《LUCENE搜索引擎开发权威经典》一书中后面的一章，感觉这本书对lucence的知识写的通俗易懂，下面说下搭建nutch的方法： 准备软件： cywin:下载地址： http://inst.eecs.berkeley.edu/~instcd/iso//cygwin-release-20061108.iso nutch:下载地址： http://apache.freelamp.com/nutch/nutch-0.9.tar.gz tomat：：（下载地址不提供，自己下） JDK：（下载地址不提供，自己下） 怎么安装的就不介绍了，可以到网上去找，比较容易下面介绍安装后的配置： 环境配置: 1、修改：C:/nutch-0.9/conf/nutch-site.xml 内容如下： 说明：由于nutch自动的这个配置文件中间是空的，所以需要把下面的给添加上去，内容可以根据相关规则自己可以更改 --------------------------------------------- http.agent.name Nutch Peter Pu Wang http.robots.agents Nutch,* The agent strings we'll look for in robots.txt files,comma-separated,in decreasiong order of precedence.You should put the value of http.agent.name as the first agent name,and keep the default * at the end of the list. E.g:BlurflDev,Blurfl,* http.agent.description Nutch Futher description of our bot-ths text is used in the User-Agent header.It appears in parenthesis after the agent name. http.agent.url http://lucene.apache.org/nutch/bot.html A Url to advertise in the User-Agent header.Thes will appear in parenthesis after the agent name.Custom dictates that this should be a URL of a page explaining the purpose and behavior of this crawler. http.agent.email Nutch-agent@lucence.apache.org An email address to advertise in the HTTP 'From' request header and User-Agent header.A good practice is to mangle this address(e.g.'info at example dot com') to avoid spamming. ---------------------------------------------------- 2、在nutch根目录下创建urls目录文件，在urls目录里面创建url.txt 里面内容写上爬虫起先开始抓取的网址： 如直接输入：http://www.qq.com/ 3、修改：C:/nutch-0.9/conf/crawl-urlfilter.txt 内容如下： 说明：只需要修改下面的：+^http://www.qq.com/ 把网址可以换掉这个网址，刚开始这个地方是个正则表达式，也可以自己写成一个正则表达式匹配更多网址 ------------------------------------------------ # The url filter file used by the crawl command. # Better for intranet crawling. # Be sure to change MY.DOMAIN.NAME to your domain name. # Each non-comment, non-blank line contains a regular expression # prefixed by '+' or '-'. The first matching pattern in the file # determines whether a URL is included or ignored. If no pattern # matches, the URL is ignored. # skip file:, ftp:, & mailto: urls -^(file|ftp|mailto): # skip image and other suffixes we can't yet parse -/.(gif|GIF|jpg|JPG|png|PNG|ico|ICO|css|sit|eps|wmf|zip|ppt|mpg|xls|gz|rpm|tgz|mov|MOV|exe|jpeg|JPEG|bmp|BMP)$ # skip URLs containing certain characters as probable queries, etc. -[?*!@=] # skip URLs with slash-delimited segment that repeats 3+ times, to break loops -.*(/.+?)/.*?/1/.*?/1/ # accept hosts in MY.DOMAIN.NAME +^http://www.qq.com/ # skip everything else -. ------------------------------------------------ 4、配置nutch系统服务 NUTCH_JAVA_HOME：C:/Program Files/Java/jdk1.6.0_13 clsspath：%JAVA_HOME%/lib/dt.jar;%JAVA_HOME%/lib/htmlconverter.jar;%JAVA_HOME%/lib/tools.jar;%JAVA_HOME%/sample/jnlp/servlet/jnlp-servlet.jar;%JAVA_HOME%/lib/jconsole.jar 5、配置cywin爬虫抓取网页数据的方法 安装cywin后桌面会出现一个cywin的图标，点击后会出现一个控制台 第一步：进入到下载的nutch解压后的的根目录下，输入cd c:/nutch0.9 第二步：键入命令：bin/nutch crawl urls -dir mydir -depth 10 说明:第二步中的命令参数有好些个可以自己选择，上面是我自己敲入的几个参数： 其中mydir：抓取的网页的输入存储的路径，这个名称可以自定义，抓取结束后会发现nutch跟目下会有个mydir的目录 -depth 10：-depth是指抓取的网页的深度，我这里设置的10，就是深度为10，你也可以设置大点或者小一点都可以 6、nutch程序部署 将nutch更目录下的C:/nutch-0.9/nutch-0.9.war拷贝到tomcat下直接部署即可 部署的程序配置： 1、D:/apache-tomcat-6.0.18/webapps/nutch-9/WEB-INF/classes/hadoop-site.xml 修改为： 其中mydir目录名称是你进行爬虫的时候配置创建的目录，需要对应名称 searcher.dir C:/nutch-0.9/mydir 2、启动tomcat 以上的配置设置完之后，先执行上面的第四项先抓取数据后在启动tomcat也就是执行第五步可以开始访问了。