用requests爬取百度搜索数据

最新推荐文章于 2026-04-12 12:58:45 发布

原创最新推荐文章于 2026-04-12 12:58:45 发布 · 6.1k 阅读

4 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

python 专栏收录该内容

11 篇文章

订阅专栏

本文展示了如何使用Python的requests库来发送HTTP请求，通过URL参数进行百度搜索，并将搜索结果页面保存为HTML文件。利用Python的强大功能简化了网页抓取过程，适合初学者和进阶开发者。

</pre><pre name="code" class="python">#-*- coding:utf-8 -*-

import requests

import sys

reload(sys)
sys.setdefaultencoding('utf-8')

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0'}
payload = {'wd':u'程序员'}

url = 'http://www.baidu.com/s'


r = requests.get(url, params=payload, headers=headers, timeout=5)
print r.url
print r.status_code

fp = open('search2.html', 'w')
for line in r.content:
	fp.write(line)
fp.close()