Python爬虫 UA检测和UA伪装

最新推荐文章于 2024-05-29 23:15:31 发布

原创最新推荐文章于 2024-05-29 23:15:31 发布 · 1.7k 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#python

Python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一种使用Python和requests库爬取搜狗搜索引擎关键字搜索结果的方法，并提供了完整的代码示例，展示了如何设置User-Agent，发送GET请求，以及如何保存响应的HTML内容。

Python3.8

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

目标：爬取搜狗输入关键字对应搜索内容

import requests
if __name__=='__main__':
    headers={
        #UA伪装，下面有介绍怎么获取到User-Agent
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
    }
    url='https://www.sogou.com/web'
    kw=input('enter a woed:')
    #把参数封装到字典
    param={
        'query':kw
    }
    #对指定的url发起请求
    respo = requests.get(url=url,params=param,headers=headers)
    pespo_text=respo.text
    filename=kw+".html"
    #持久化保存，生成一个HTML文件
    with open(filename,'w',encoding='utf-8') as fp:
        fp.write(pespo_text)
        print(filename,'保存成功')