解析与使用 Apache HttpClient 进行网络请求和数据抓取

最新推荐文章于 2026-03-25 11:22:10 发布

原创

最新推荐文章于 2026-03-25 11:22:10 发布 · 1.9k 阅读

标签

#apache #网络

1. 什么是 HttpClient？

2. 基本使用

3. 使用 HttpClient 爬取腾讯天气的数据

4. 爬取拉勾招聘网站的职位信息

5. 总结

前言

Apache HttpClient 是 Apache 提供的一个用于处理 HTTP 请求和响应的工具类库。它提供了一种便捷、功能强大的方式来发送 HTTP 请求，并解析 HTTP 响应。HttpClient 适用于多种网络请求场景，能够帮助我们高效地与 Web 服务进行交互。

1. 什么是 HttpClient？

HttpClient 是在 JDK 的基础类库基础上进行封装和增强的一个 HTTP 请求工具库。它提供了更强大、更灵活的功能，比如支持连接池、认证机制、重定向、请求重试等，帮助我们提高开发效率和代码质量。

HttpClient 的核心功能包括：

连接池管理：提高性能，减少资源消耗，复用 TCP 连接。
自动化处理 HTTP 头、请求和响应数据。
支持多种认证方式，如 Basic 认证、Digest 认证等。
重定向处理：自动处理 HTTP 重定向。
支持 Cookie 管理。
支持并发请求。

2. 基本使用

2.1 引入依赖

首先，你需要在项目中引入 HttpClient 的 Maven 依赖。以下是 Apache HttpClient 的 Maven 依赖配置：

<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.13</version> <!-- 请使用最新版本 -->
</dependency>

2.2 发送 HTTP GET 请求

下面是一个简单的使用示例，展示如何通过 HttpClient 发送一个 HTTP GET 请求：

import org.apache.http.HttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import java.io.IOException;

public class HttpClientExample {
    public static void main(String[] args) throws IOException {
        // 创建一个 HttpClient 实例
        try (CloseableHttpClient httpClient = HttpClients.createDefault()) {
            // 创建一个 HttpGet 请求对象
            HttpGet request = new HttpGet("https://www.baidu.com/");
            
            // 执行请求并获取响应
            HttpResponse response = httpClient.execute(request);
            
            // 如果请求成功，返回 200 状态码
            if (response.getStatusLine().getStatusCode() == 200) {
                // 将响应实体转换为字符串
                String responseBody = EntityUtils.toString(response.getEntity(), "UTF-8");
                // 输出响应内容
                System.out.println(responseBody);
            }
        }
    }
}

在上面的代码中，我们使用 HttpClients.createDefault() 创建了一个默认的 HttpClient 实例，然后通过 HttpGet 对象发送了一个请求，并打印了百度主页的 HTML 源码。