判断使用的代理IP是否有用

IP地址查询网站

要想判断所使用的代理IP是否有用，只需要通过代理IP访问IP地址查询网站抓取地址以及归属地信息并与不使用代理IP时的地址信息以及归属地信息进行比较即可。

这是未使用代理IP时得到的IP信息

下面使用代理IP

去网站上找一些免费代理IP

接下来利用requests库的Proxies功能使用代理IP

from bs4 import BeautifulSoup
import requests

url = 'http://ip.chinaz.com/'
proxies = {
    'http': 'http://60.167.23.213:27339',
    }
r = requests.get(url, proxies=proxies)
soup = BeautifulSoup(r.text, 'lxml')
parent_node = soup.find(class_="IpMRig-tit")
for i in parent_node.find_all('dd'):
    print(i.get_text())

得到结果

60.167.23.213
安徽省芜湖市 电信(纠错)
Unknown


Unknown 0.0 python-requests/2.18.4

代理IP可用

输出的最后一行是User-Agent即用户代理

当未用requests库时输出为

<dd><strong>Chrome</strong> Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36</dd>

这也从另一个方面说明了为什么不修改User-Agent有些爬虫就会被限制访问