Python中BeautifulSoup4库的find_all、select用法等

最新推荐文章于 2026-05-26 20:08:20 发布

原创

最新推荐文章于 2026-05-26 20:08:20 发布 · 9.7k 阅读

收录于

本文介绍了如何在Python中使用BeautifulSoup4库进行HTML解析，包括创建对象、find和find_all方法的使用，特别是find_all的limit和recursive参数，以及通过CSS选择器进行查询。此外，还详细讲解了如何获取tag对象的属性、文本内容及属性值。

Python中BeautifulSoup库的find_all、select用法等

创建beautifulsoup对象
解析html节点（find、find_all）
css选择器
- tag对象
直接获取标签（不推荐）

python中Bs4这个包是用来解析网页源码的包，爬虫程序常用这个包解析爬取网页源码进行分析，今天主要介绍这个包的一些基本使用。自行安装
可以直接查看官方文档： https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/

创建beautifulsoup对象

from bs4 import BeautifulSoup
import requests

headers = {
   
   
'Referer': 'https://hz.qk365.com/list/',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
base_url = 'https://www.baidu.com'  # 这个是你要爬的网址

response = requests.get(url=base_url, headers=headers)
# print(response.text)
soup = BeautifulSoup(html_str, 'lxml')