关于htmlunit运行时报各种错的坑

最新推荐文章于 2026-04-29 11:35:07 发布

原创最新推荐文章于 2026-04-29 11:35:07 发布 · 7.7k 阅读

3 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#htmlunit #爬虫htmlunit #java爬虫执行javascript #爬虫ajax

java基础同时被 2 个专栏收录

10 篇文章

订阅专栏

爬虫

2 篇文章

订阅专栏

本文介绍了在Java爬虫项目中，由于使用HTMLUnit遇到的各种错误，尤其是与JavaScript和AJAX相关的问题。核心问题是最新版HTMLUnit与JDK1.7不兼容，因此选择了HTMLUnit 2.18版本来解决这个问题。通过添加正确的Maven依赖，并对比爬取的HTML文档，成功实现了目标。

因为项目需要，采用htmlunit爬取带ajax和其他js执行结果的页面，开发环境jdk1.7 和maven

网上很多资料上使用的htmlunit版本的示例使用了之后，老是报错，根本原因就是htmlunit的版本问题或者jar包缺失问题。经过一天多的折腾，终于有一个可以用的示例了。最新的htmlunit不兼容jdk1.7所以使用低版本2.18版的htmlunit

先记录如下：

maven依赖

<!-- 可以模拟浏览器执行js脚本的爬虫框架htmlunit，用于爬取带js执行结果的页面 jdk7只支持2.18版本 -->

<dependency>
   <groupId>net.sourceforge.htmlunit</groupId>
   <artifactId>htmlunit</artifactId>
   <version>2.18</version>
</dependency>

<!--解决htmlunit执行报异常java.lang.NoClassDefFoundError: org/w3c/dom/ElementTraversal 的问题-->

<dependency>
   <groupId>xml-apis</groupId>
   <artifactId>xml-apis</artifactId>
   <version>1.4.01</version>
</dependency>

<dependency>
   <groupId>org.apache.httpcomponents</groupId>
   <artifactId>httpclient</artifactId>
   <version>4.5.3</version>
</dependency>

代码如下：

public static String getBaidu() throws IOException {
        WebClient webClient = new WebClient();
        webClient.getOptions().setJavaScriptEnabled(true);//运行js脚本执行
        webClient.setAjaxController(new NicelyResynchronizingAjaxController());//设置支持AJAX
        webClient.getOptions().setCssEnabled(false);//忽略css
        webClient.getOptions().setUseInsecureSSL(true);//ssl安全访问
        webClient.getOptions().setThrowExceptionOnScriptError(false);  //解析js出错时不抛异常
        webClient.getOptions().setTimeout(10000);  //超时时间  ms

        //获取页面
        String url ="https://www.baidu.com";
        HtmlPage page = webClient.getPage(url);

        System.out.println("页面title文本:"+page.getTitleText());
        System.out.println("-------------------执行js脚本之前");
        System.out.println(page.asXml());//页面文档结构字符串

        webClient.waitForBackgroundJavaScript(5000);   //等待js脚本执行完成
        System.out.println("-------------------执行js脚本后");
        System.out.println(page.asXml());//页面文档结构字符串


        return page.asXml();
    }

把两个html文档通过文本比较工具进行对比，发现确实不同。目的达到了