爬虫训练（三）：爬取酷狗音乐

最新推荐文章于 2026-05-10 14:12:39 发布

原创

最新推荐文章于 2026-05-10 14:12:39 发布 · 2.4k 阅读

标签

#python

收录于

本文介绍了使用Python爬虫抓取酷狗音乐排行榜的过程，包括安装requests、lxml、BeautifulSoup库，解决乱码问题，以及如何通过选择器定位元素。在实际操作中，作者发现使用pycharm能有效避免某些问题，并提醒读者在爬取数据时要适当地调整定位元素。

今天趁机一鼓作气，把简单爬虫内容一次学习完毕，最后以爬取酷狗音乐排行榜歌曲作为结束，然后对此次学习做一个整理和总结。而且前两篇有些混乱，这里把内容做一次阶段性总结。

一、安装包

爬虫三大包：requests、lxml、BeautifulSoup，根据自己的python配置情况进行安装，这里不再赘述。

二、爬虫简单尝试——爬取整个网页内容

1.请求头的查找
具体参考文章：爬虫训练：第一次真好~

2.简单爬虫代码
代码如下：

import requests
from bs4 import BeautifulSoup
headers={
   
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'}#请求头
res=requests.get('https://zhidao.baidu.com/',headers=headers)#请求网址
res.encoding='GBK'#解决爬取内容乱码
print(res.text)

这种爬虫方式容易出现乱码，可以添加一段代码解决，具体原因和解决方案参考：爬虫训练（二）：乱码问题

三、爬取具体元素

1.select函数定义元素位置
具体参考文章：爬虫训练：第一次真好~

2.爬取具体元素代码
代码如下：

import requests
from bs4 import BeautifulSoup
headers={
   
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'<