xpath寻找网页内容与正则寻找网页内容对比

最新推荐文章于 2026-08-23 21:17:30 发布

原创最新推荐文章于 2026-08-23 21:17:30 发布 · 179 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

当前文章被以下社区和专栏收录：

该篇文章展示了如何使用Python的requests库获取网页内容，结合lxml的XPath进行HTML解析，以及使用正则表达式(re)匹配特定模式，从豆瓣电影排行榜页面中提取电影类型信息。

import re
import requests
import ua_info
import random
from lxml import etree


url = 'https://movie.douban.com/chart'
html = requests.get(url=url, headers={'User-Agent': random.choice(ua_info.ua_list)}).text
tree=etree.HTML(html)

#xpath寻找电影类型 #搜索针对的是页面对象解析为字符串后再解析为树节点
type_li= tree.xpath('//div[@class="types"]/span/a/@href')
print(type_li)

#正则寻找电影类型
#创建正则对象
pattern=re.compile('/typerank\?type_name=.*?&type=\d*?&interval_id=100:90&action=')
#搜索匹配正则表达式要求的字符串 #搜索范围为当前页面解析为字符串后
str_li = pattern.findall(html)
print(str_li)