盘点一个Pandas处理Excel表格实战问题（下篇）

最新推荐文章于 2024-05-06 20:54:16 发布

转载最新推荐文章于 2024-05-06 20:54:16 发布 · 113 阅读

本内容遵循CC 4.0 BY-SA版权协议

原文链接：https://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA==&mid=2247509918&idx=1&sn=1868184c8d0c169f1db2af96b73e3929&chksm=fdbb56d1c9276fd9936f577e8ba2b9cca6b2c9acf9f68b7596e09ed2371fe6ec02fe48d4b66c&scene=126&sessionid=0

GEO检测

标签

#pandas #excel

点击上方“Python爬虫与数据挖掘”，进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

我有功于人不可念，而过则不可不念。

大家好，我是皮皮。

一、前言

继续接着上一篇文章说，这一篇文章我们一起来看看大佬们的解决办法。

二、实现过程

这里【郑煜哲·Xiaopang】和【瑜亮老师】给了一个提示，如下图所示：

后来【隔壁😼山楂】给出了代码，如下所示：

from requests_html import HTMLSession
from fake_useragent import UserAgent
import pandas as pd


session = HTMLSession()
ua = UserAgent().random

day_url_all = [] # 取当前网页下所有交易行情数据的url

for i in range(1,2): #先爬取2页数据，待数据测试无问题后，在扩大数据爬取
    r = session.get(f"https://www.sge.com.cn/sjzx/mrhqsj?p={i}", headers = {'user-agent':ua})
#     print(r.html)
    xpath_url = r.html.xpath("//ul/li/a[@class]")
    for i in xpath_url:
        # 获取当前网页下所有交易行情数据的url
        url = "https://www.sge.com.cn" + i.find('a[href]')[0].attrs.get('href').lstrip('.')
        day_url_all.append(url)


df_all = []
for i in day_url_all:
    r = session.get(i,headers = {'user-agent':ua})
    
    data = pd.read_html(r.html.raw_html, header=0)[0]
    data['时间'] = r.html.xpath('//div[@class="title"]/p/span/text()')[0]
    df_all.append(data)

df_all = pd.concat(df_all)
df_all.to_excel("最终数据.xlsx")

顺利地解决了粉丝的问题。