爬虫TLS指纹校验原理与绕过（Just a moment...）

1. 爬虫判断TLS指纹校验

• 浏览器正常访问，代码在排除正常反爬手段（ip、ua、cookie）等之后响应403
• 响应数据中出现Just a moment...

2. TLS指纹校验

TLS 指纹校验（TLS Fingerprinting）是一种通过分析设备在建立 TLS（传输层安全协议）连接时的行为特征，来识别设备类型、操作系统、浏览器或应用程序的技术。其核心原理是：不同的软件（如浏览器、爬虫、手机应用等）在发起 TLS 握手时，会因实现细节的差异（如支持的加密套件、协议版本、扩展字段等）产生独特的 “指纹”，通过校验这些指纹可以判断连接方的真实身份或类型。

2.1 查看指纹

• 网站：https://tls.peet.ws/、https://tls.browserleaks.com/json等
  
• 代码查看示例：

# import requests
from curl_cffi import requests

for i in range(10):
    response = requests.get('https://tls.browserleaks.com/json', impersonate="chrome101")
    print(response.json()["ja3_hash"])

2.2 Wireshark

• TLS 指纹由客户端在 TLS 握手阶段发送的 Client Hello 消息决定，包含：自己找教程看啊，需要下载安装Wireshark
• 网站：https://www.wireshark.org/#download

2.3 ja3

以最常见的ja3为例，查看指纹的组成：

ja3_hash: 7d55f4b66108b93babba7c3ec275f428
ja3: 771,4865-4866-4867-49195-49199-49196-49200-52393-52392-49171-49172-156-157-47-53,51-65037-10-35-11-45-43-17613-16-18-0-5-27-65281-13-23-41,4588-29-23-24,0

• ja3_hash就是ja3在md5之后的值
• 将ja3按照,分割可分为五个组成部分:

  1. 第一个字段：TLS 版本（771）
     

  2. 第二个字段：加密套件列表（15 个值）
     

  3. 第三个字段：扩展列表（17个值）
     

  4. 第四个字段：椭圆曲线列表（4 个值）
     

  5. 第五个字段：椭圆曲线点格式（0）
     表示椭圆曲线公钥的编码格式，0对应uncompressed（未压缩） 格式 —— 这是现代 TLS 中最常用的格式（压缩格式因安全问题已很少使用）。

GREASE 的本质是 “随机占位符”，在拼接指纹原始字符串时，自动剔除这些值，只保留真实、稳定的参数。

3. 如何绕过TLS指纹校验

测试网站：aHR0cHM6Ly9waXhhYmF5LmNvbS9pbWFnZXMvc2VhcmNoLz9vcmRlcj1lYw==

3.1【PY】curl_cffi（推荐）

• 可直接模拟 Chrome、Firefox 等多种浏览器不同版本的 TLS 指纹

from curl_cffi import requests as cffi_requests
from loguru import logger

headers = {
    "accept": "application/json",
    "accept-language": "zh-CN,zh;q=0.9",
    "cache-control": "no-cache",
    "pragma": "no-cache",
    "priority": "u=1, i",
    "referer": "aHR0cHM6Ly9waXhhYmF5LmNvbS9pbWFnZXMvc2VhcmNoLz9vcmRlcj1lYw==",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/139.0.0.0 Safari/537.36",
    "x-csrftoken": "fJFdpelg4I6O8V6Ibc5rJO0CXmWwEKms",
    "x-fetch-bootstrap": "1"
}

params = {
    'order': 'ec',
    'pagi': '1',
}

response = cffi_requests.get(
	# 修改下
    'aHR0cHM6Ly9waXhhYmF5LmNvbS9pbWFnZXMvc2VhcmNoLz9vcmRlcj1lYw==',
    params=params,
    headers=headers,
    impersonate="chrome101"
)
for item in response.json()["page"]["results"][:5]:
    logger.info(item["href"])
logger.info(response)

3.2【PY】requests-go

• 可以自定义ja3指纹

import requests_go
from loguru import logger

tls = requests_go.tls_config.TLSConfig()
# 这里用的curl_cffi模拟的ja3_text值，得到的ja3是一样的
tls.ja3 = "771,4865-4866-4867-49195-49199-49196-49200-52393-52392-49171-49172-156-157-47-53,0-23-65281-10-11-35-16-5-13-18-51-45-43-27-17513-21,29-23-24,0"
tls.pseudo_header_order = [":method", ":authority", ":scheme", ":path"]

headers = {
    "accept": "application/json",
    "accept-language": "zh-CN,zh;q=0.9",
    "cache-control": "no-cache",
    "pragma": "no-cache",
    "priority": "u=1, i",
    "referer": "aHR0cHM6Ly9waXhhYmF5LmNvbS9pbWFnZXMvc2VhcmNoLz9vcmRlcj1lYw==",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/139.0.0.0 Safari/537.36",
    "x-csrftoken": "fJFdpelg4I6O8V6Ibc5rJO0CXmWwEKms",
    "x-fetch-bootstrap": "1"
}

params = {
    'order': 'ec',
    'pagi': '1',
}

response = requests_go.get(
	# 修改下
    'aHR0cHM6Ly9waXhhYmF5LmNvbS9pbWFnZXMvc2VhcmNoLz9vcmRlcj1lYw==',
    params=params,
    headers=headers,
    tls_config=tls
)
for item in response.json()["page"]["results"][:5]:
    logger.info(item["href"])
logger.info(response)

3.3【PY】requests 手动修改 TLS 配置

• requests包内部默认加密套件，修改就可以改变指纹，但不推荐，建议与浏览保持一致
• 此方式仅可修改指纹，无法绕过案例网站校验
  

import requests

for i in range(3):
    response = requests.get('https://tls.browserleaks.com/json')
    print(response.json()["ja3_hash"])

♥♥♥感谢您的阅读与支持，如果这篇文章对您有帮助，请关注点赞收藏，您的支持是我创作的动力！♥♥♥