Python爬虫-requests.exceptions.SSLError: HTTPSConnectionPool疑难杂症解决(1)

原创 已于 2023-09-21 20:35:41 修改 · 4.1k 阅读 · 4 GEO检测
标签
#python #爬虫 #requests #SSLError #证书
#解决方法
于 2023-09-21 20:24:30 首次发布
本文介绍了Python爬虫在遇到`requests.exceptions.SSLError`时的解决方法，包括证书更新、时间设置、证书有效性检查以及忽略证书验证的利弊。在代码示例中展示了如何在requests请求中关闭证书验证以消除警告。

开发板推荐：天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

点击查看

前言

本文是该专栏的第7篇，后面会持续分享python爬虫案例干货，记得关注。

在爬虫项目开发中，偶尔可能会遇到SSL验证问题“requests.exceptions.SSLError: HTTPSConnectionPool(host='www.xxxxxx.com', port=443): Max retries exceeded with url ...”。亦或是验证之后的提示警告“InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verif”。相信这些在一定程度上，给你的爬虫程序造成一定的干扰，有没有什么方法能完美解决该问题呢？

废话不多说，跟着笔者直接往下看正文的详细方法。（附带完整代码）

正文

1. 问题描述

如下图

开发板推荐：天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

点击查看
了解本专栏 订阅专栏 解锁全文
爬虫爬取网页时报错：requests.exceptions.SSLError: HTTPSConnectionPool(host=‘www.cnblogs.com‘, port=443): Max r
qq_53545309的博客
03-15 2544
这个错误是由于 SSL 连接问题引起的。可能是由于与网站建立安全连接时出现了问题。
爬虫笔记9——使用requests请求时报错requests.exceptions.SSLError: HTTPSConnectionPool(XXX……)
Yima_Dangxian的博客
04-01 1096
使用requests请求时报错requests.exceptions.SSLError: HTTPSConnectionPool(XXX……)解决方法
【解决方案】requests.exceptions.SSLError: HTTPSConnectionPool
zlc1990628的博客
03-24 4402
requests.exceptions.SSLError: HTTPSConnectionPool
requests.exceptions.SSLError 请求异常，SSL错误，证书认证失败问题解决
热门推荐
明而决之
07-10 4万+
请求异常，SSL错误，证书认证失败解决方法 在爬取一些网站的数据时，有时候会碰到以下报错： requests.exceptions.SSLError: HTTPSConnectionPool(host='martin-audio.com', port=443): Max retries exceeded with url: xxx (Caused by SSLError(SSLError("bad handshake: Error ([('SSL routines', 'ssl3_get_se.
别再被requests的HTTPSConnectionPool(host, port=443)卡住了！Python爬虫/自动化脚本的5个实战修复方案
最新发布
weixin_26846533的博客
04-24 328
本文深度解析Python爬虫中常见的`HTTPSConnectionPool(host, port=443)`错误，提供5种工程级解决方案，包括智能速率控制、SSL验证安全平衡、连接管理优化、重试机制配置和熔断防御策略，帮助开发者高效修复爬虫脚本中的HTTPS连接问题。
requests.exceptions.SSLError: HTTPSConnectionPool(host=‘gw.wozaixiaoyuan.com‘, port=443): Max retrie
qq_62556797的博客
07-15 5207
4. 跳过证书验证（不推荐）：在某些情况下，你可以选择忽略证书验证错误，但这并不是一个安全的做法，因为它会使你的连接容易受到中间人攻击。1. 证书验证失败：服务器使用的SSL证书可能无效或不受信任。2. 客户端缺少根证书：你的客户端可能缺少必要的根证书，无法验证服务器的证书。1. 更新证书：确保你的操作系统和浏览器更新到最新版本，以获取最新的根证书列表。3. 代理配置问题：如果你在使用代理服务器进行网络请求，代理服务器的配置可能存在问题，导致SSL握手失败。不正确的日期和时间可能导致证书验证失败。
使用requests请求时报错requests.exceptions.SSLError: HTTPSConnectionPool
ProgramVAE的博客
01-15 8884
这个原因是因为把fiddler开着的，这个时候去请求就会报错，解决方法是降低requests的版本即可。 pip3 uninstall requests pip3 install "requests==2.20" 可以使用 pip list查看各个模块的版本，我之前的版本是2.26，降到2.20后就可以了。 ...
requests.exceptions.SSLError: HTTPSConnectionPool
成都_杨洋
03-04 4100
requests.exceptions.SSLError: HTTPSConnectionPool(host=‘auction.gorringes.co.uk’, port=443): Max retries exceeded with url: (Caused by SSLError(SSLError(“bad handshake: Error([(‘SSL routines’, ‘tls_process_server_certificate’, ‘certificate verify failed’)
解决：requests.exceptions.SSLError: HTTPSConnectionPool(host=‘x‘,port=x): Max retries exceeded with url
nings666的博客
11-18 4677
在使用selenium操作Chrome浏览器报错：requests.exceptions.SSLError: HTTPSConnectionPool(host=‘lv-pc-api-sinfonlineb.ulikecam.com’, port=443): Max retries exceeded with url: 经过查阅资料，发现这个报错是因为请求异常，连接超过最大连接次数，最后是由于证书认证失败。小伙伴们按下面的解决方法即可解决！然后就可以正常使用了。
已解决（Python爬虫requests库报错 请求异常SSL错误，证书认证失败问题）requests.exceptions.SSLError: HTTPSConnectionPool
努力让自己发光，对的人才能迎着光而来
07-06 2万+
成功解决（Python爬虫requests库报错 请求异常，SSL错误，证书认证失败问题）requests.exceptions.SSLError: HTTPSConnectionPool(host=‘httpbin.org’, port=443): Max retries exceeded with url: /get (Caused by SSLError(SSLError(1, ‘[SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1123
requests.exceptions.SSLError解决方案
qq_62204036的博客
09-21 3763
debug跟踪到了几处可能可以修改TLS握手特征的代码 路径如下：/usr/local/lib/python3.9/site-packages/urllib3/util/ssl_.py其中，的第一个参数表示这个适配器只在。中的加密算法，需要修改。上下文，并实现一个新的。
解决requests.exceptions.SSLError: HTTPSConnectionPool(host=‘v4.ketangpai.com‘, port=443): Max retries问
weixin_52196828的博客
12-09 843
在requests请求时，需要加上参数 verify。通过报错的提示知道，需要在文件顶部导入包。使用get侵权获取带有请求体的接口。
python使用requests时报错requests.exceptions.SSLError: HTTPSConnectionPool
leaves_story的博客
08-08 8973
错误信息如下： requests.exceptions.SSLError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, u'[SSL: CERTIFICATE_VERIFY_FAILED] certifi...
[684]requests时报错requests.exceptions.SSLError: HTTPSConnectionPool
周小董
10-31 2461
报错信息 raise SSLError(e, request=request) requests.exceptions.SSLError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, u'[SSL: CERT...
（转）Python关于requests.exceptions.SSLError解决方案
三七廿一的博客
04-21 1万+
一直学习爬虫，一直未实战，近期难得工作上比较轻松，开始通过一些案例深入学习爬虫知识。今天尝试读取某个网站API，https协议，使用requests.get('https://xxx', headers=headers)访问是，抛出如下错误信息： requests.exceptions.SSLError: HTTPSConnectionPool(host='https://xxx', port=443) 根据错误信息百度一下，主要解决方案如下： 1、先检查是否已安装requests的依赖安装包
爬虫笔记10——使用requests请求报错requests.exceptions.SSLError: HTTPSConnectionPool(host=‘XXX‘, port=443)
Yima_Dangxian的博客
04-09 1248
爬虫遇到 HTTPSConnectionPool(host=‘xxxxx‘, port=443) 解决思路
Python在使用requests模块时，报错requests.exceptions.SSLError: HTTPSConnectionPool(host=‘site‘, port=443): Max
荷塘月色
03-31 1190
不得不吐槽一下，这个https的ssl安全证书真的有点恶心，之前云厂商提供的免费证书是1年有效期的，但是最近变成3个月了（不知道这个限制具体是哪里开始限制的！），所以就导致了最近很多网站都会提示不安全（其中不妨一些大厂的官网），访问的时候都需要多点一下才能进去。访问了下这个网站，发现是ssl证书过期了，直接访问的话会提示：“您的连接不是私密连接”；网站访问的话，我们一般都是选择“继续前往”，但是程序被卡在这里了。然后去搜了下对应的API，里面有参数能够跳过ssl校验，即。
requests 警告：InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verif
memory_qianxiao的博客
08-24 4万+
  最近爬12306，没有安装证书。每次请求都会有下面的ss警告，看到不是很舒服。 InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/e...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

写python的鑫哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值