HtmlParser解析中关村在线的标题和关键字

最新推荐文章于 2020-06-28 11:17:12 发布

原创最新推荐文章于 2020-06-28 11:17:12 发布 · 153 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

HtmlParser

本文详细介绍了如何使用Java代码解析HTML页面，提取标题、关键字，并进行标签处理，涵盖从HTML解析到关键信息提取的全过程。

代码很简单，写出了如何标签内容和标签里的属性会值。

public class ZolParser
{

	public static void main(String[] args) throws Exception
	{
		/** 开始时间 */
		long now = System.currentTimeMillis();

		// 获取源代码
		String htmlCode = setHtmlCode();
		/** 获取标题 */
		getTitle(htmlCode);
		/** 获取关键字 */
		getkeywords(htmlCode);

		/** 结束时间 */
		long current = System.currentTimeMillis();
		// 消耗时间
		System.out.println("全文消耗时间：" + (current - now));
	}

	/**
	 * 获取HTML代码
	 * 
	 * @return
	 * @throws Exception
	 */
	public static String setHtmlCode() throws Exception
	{
		/** 通过HttpParser解析器解析HTML */
		Parser parsers = new Parser("http://www.zol.com.cn/");
		// 设置编码
		parsers.setEncoding("gb2312");
		// 设置标签过滤器
		NodeFilter filter = new TagNameFilter("html");
		// 过滤标签
		NodeList nList = parsers.extractAllNodesThatMatch(filter);
		// 返回字符串
		return nList.toHtml();
	}

	/**
	 * 获取标题信息
	 * 
	 * @param htmlCode
	 * @throws ParserException
	 */
	public static void getTitle(String htmlCode) throws ParserException
	{

		Parser parser = new Parser();
		parser.setInputHTML(htmlCode);
		/* 配置过滤器 */
		NodeFilter filter = new NodeClassFilter(TitleTag.class);
		NodeList nodeList = parser.extractAllNodesThatMatch(filter);
		/** 输出信息 */
		System.out.println("标题： "+nodeList.elementAt(0).toPlainTextString());
	}

	/**
	 * 获取关键字信息
	 * 
	 * @param htmlCode
	 * @throws ParserException
	 */
	public static void getkeywords(String htmlCode) throws ParserException
	{
		Parser parser = new Parser();
		parser.setInputHTML(htmlCode);
		/* 配置过滤器 */
		NodeFilter filter = new AndFilter(new NodeClassFilter(MetaTag.class), new HasAttributeFilter("name", "keywords"));
		NodeList nodeList = parser.extractAllNodesThatMatch(filter);
		/** 输出信息 */
		if (nodeList.size() > 0)
		{
			System.out.println("关键字： "+((TagNode) nodeList.elementAt(0)).getAttribute("content"));
		}
	}
}