python爬虫关于Max retries exceeded with url 的错误

最新推荐文章于 2026-02-11 00:19:19 发布

原创最新推荐文章于 2026-02-11 00:19:19 发布 · 1.5k 阅读

本内容遵循CC 4.0 BY-SA版权协议

本文主要探讨了在爬取网站时遇到的Max retries exceeded with url错误，原因可能包括未关闭的HTTPS连接导致的433错误和访问频率过高。解决方案包括正确关闭连接以及使用代理，特别是从http://ip.zdaye.com/shanghai_ip.html#Free获取的代理。在使用代理时，需注意代理类型匹配（HTTP vs HTTPS），并以正确格式传入，同时检查代理的可用性以确保HTTP状态码为200。

爬取安逸花 https://vayh.msxf.com/ 时出现这种错误，总结如下：

1.https连接太多没有关闭导致的433，解决方法：

import requests
requests.adapters.DEFAULT_RETRIES = 5 # 增加重连次数
s = requests.session()
s.keep_alive = False # 关闭多余连接
s.get(url) # 你需要的网址

2.访问次数频繁，被禁止访问，解决方法：使用代理

import requests
s = requests.session()
url = "https://vayh.msxf.com/"
s.proxies = {"https": "47.100.104.247:8080", "http": "36.248.10.47:8080", }
s.headers = header
s.get(url)

查找代理的网址：http://ip.zdaye.com/shanghai_ip.html#Free
使用代理时需注意：
1.代理分为http和https两种，不能用混，如果把http的代理用作https也是会报上面的错误;
2.上面的代理以字典格式传入，例如上面的例子，可以是“47.100.104.247:8080”这种格式，也可以是“https://47.100.104.247:8080”这种格式
3.如果代理不可用一样会报上面的错误。
以下方法判断代理是否可用：

import requests
s = requests.session()
s.keep_alive = False
url = "https://vayh.msxf.com/loan/replacevToken?"
headers = {
            'Host': 'vayh.msxf.com',
            'X-Requested-With': 'XMLHttpRequest',
            'User-Agent': "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36 QBCore/4.0.1301.400 QQBrowser/9.0.2524.400 Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2875.116 Safari/537.36 NetType/WIFI MicroMessenger/7.0.5 WindowsWechat",
            'Cookie': cookie,
         }
params = {
    'mobile': phone,
    'password': '140e0d2deeb6d6b1b803087c03821448c95f3be61ffd27c89f6c391a3288a838',
    'saMobile': '',
    'smsCode': '',
    'channel': 'MS_WeChat_AYH',
}
url += urlencode(params)
response = s.get(url, headers=headers, proxies=proxies, verify=False,timeout=10)
print(response.status_code)

如果代理可用则正常访问，返回code==200说明问题已解决

标签