java 网络爬虫工具

最新推荐文章于 2026-04-19 03:35:38 发布

原创最新推荐文章于 2026-04-19 03:35:38 发布 · 901 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

J2EE

当前文章被收录于：

J2EE

19 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

今儿无意中发现了一个网络爬虫工具， htmlunit，支持动态页面处理，而HttpClient只支持静态页面。

maven: 
<dependency>
    <groupId>net.sourceforge.htmlunit</groupId>
    <artifactId>htmlunit</artifactId>
    <version>2.22</version>
</dependency>

api：

@Test
public void homePage() throws Exception {
    final WebClient webClient = new WebClient();
    try (final WebClient webClient = new WebClient()) {
        final HtmlPage page = webClient.getPage("http://htmlunit.sourceforge.net");
        Assert.assertEquals("HtmlUnit - Welcome to HtmlUnit", page.getTitleText());

        final String pageAsXml = page.asXml();
        Assert.assertTrue(pageAsXml.contains("<body class=\"composite\">"));

        final String pageAsText = page.asText();
        Assert.assertTrue(pageAsText.contains("Support for the HTTP and HTTPS protocols"));
    }
}

指定特定的浏览器：

@Test
public void homePage_Firefox() throws Exception {
    try (final WebClient webClient = new WebClient(BrowserVersion.FIREFOX_38)) {
        final HtmlPage page = webClient.getPage("http://htmlunit.sourceforge.net");
        Assert.assertEquals("HtmlUnit - Welcome to HtmlUnit", page.getTitleText());
    }
}

标签

#网络爬虫 #http #httpclient #htmlunit