xpath、findall检索文本内容比较

最新推荐文章于 2026-02-09 14:05:11 发布

原创最新推荐文章于 2026-02-09 14:05:11 发布 · 496 阅读

收录于

当前文章被以下社区和专栏收录：

python 网络公开数据实战专栏收录该内容

33 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文探讨了在Python爬虫中，使用etree库的xpath方法和findall方法检索文本内容的效率和效果。实验表明，两者在速度上差异不大，都能实现相同的结果。

利用etree、xpath与findall一样都可以检索文本内容。速度似乎没大的区别

import requests
from lxml import etree
from bs4 import BeautifulSoup
import re
import pandas as pd

hh=0
global jj,ress,jjjj
jjjj=pd.DataFrame()


def getHTMLtext(url):
    kv={'cookie':'bocms_visite_user_session=277AC1F5614BA3CA446EC409A84B55B0; __jsluid_h=5dba586b6de5a1b8c4781be2edf14691; JSESSIONID=850880BAC7029E42C6C88519BDE935AC; Hm_lvt_151cd78565747a0f35795a382380cbde=1629458498,1631354073; DWRSESSIONID=xZ7JufPhg!AltUSlFR~8l6mKCH1wQfQikLn; Hm_lpvt_151cd78565747a0f35795a382380cbde=1631354401',
        'user-agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'}
    try:
        r=requests.get(url,headers=kv,timeout=30)
        r.raise_for_status()

标签