001 爬取百度贴吧并保存

最新推荐文章于 2026-06-30 16:59:15 发布

原创最新推荐文章于 2026-06-30 16:59:15 发布 · 302 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

sql+python项目专栏

当前文章被收录于：

sql+python项目专栏

11 篇文章 0 人学习

sql 、python 数据清洗探索分析数据分析机器学习等工作项目脱密整理

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文介绍了一种使用Python的requests库实现的百度贴吧爬虫，通过输入关键字、页数和爬取间隔时间，可以自动抓取指定贴吧的网页内容并保存为HTML文件，适用于初学者实践网络爬虫技术。

import requests
import time
def GetHtml(keywords,pages,timeSleep):





    url="http://tieba.baidu.com/f"
    kv={
        'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Mobile Safari/537.36'
    }
    for i in range(0,pages):
        File_name = '贴吧第'+str(i+1)+'页' + '.html'
        i=i*50
        kv2={'kw' : keywords , 'pn' : i}
        time.sleep(timeSleep)
        r=requests.get(url,params=kv2,headers=kv)
        print(r.url)
        r.encoding="utf8"
        with open(File_name,'w',encoding="utf8") as baiduFile:
            baiduFile.write(r.text)
if __name__ == '__main__':
    while True:
        keywords=input("请输入搜索关键字：")
        pages=int(input("请输入需要获得的页数："))
        timeSleep=int(input('请输入每次爬取的间隔时间：'))
        GetHtml(keywords, pages, timeSleep)
        print("成功")