小福利，教你用python爬虫获取新闻

原创已于 2024-03-14 20:28:47 修改 · 122 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#python #爬虫

收录于

于 2022-04-03 14:51:24 首次发布

python 同时被 2 个专栏收录

156 篇文章

订阅专栏

爬虫

24 篇文章

订阅专栏

本文分享了一位开发者如何使用Python通过requests、lxml等库成功抓取QQ新闻列表，包括标题、网址和图片链接，展示了耐心与技术结合的成果。

小福利，教你用python爬虫获取新闻
在尝试了多个模块bs4,lxml,re,json，多种方法之后，终于找到了方法，功夫不负有心人，付出必有回报。

import requests, re, lxml
from lxml import etree
from bs4 import BeautifulSoup
import json
import pandas as pd


headers = {
            'Referer': 'https://news.qq.com',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; rv:46.0) Gecko/20100101 Firefox/46.0',

        }

url = 'https://i.news.qq.com/trpc.qqnews_web.kv_srv.kv_srv_http_proxy/list?sub_srv_id=24hours&srv_id=pc&offset=0&limit=20&strategy=1&ext={"pool":["top"],"is_filter":7,"check_type":true}'
res = requests.get(url, headers=headers)
res1=res.json()
res2=res1['data']
datas=res2['list']
datas_list = []
for i in datas:
    datas_dict = {}
    datas_dict['标题']=i['title']
    datas_dict['网址'] = i['url']
    datas_dict['图片网址'] = i['thumb_nail']
    datas_list.append(datas_dict)

df=pd.DataFrame(datas_list)
print(df)