Mr_WHITE2的博客

python豆瓣电影爬虫 爬取网址：https://movie.douban.com/tag/#/?sort=U&range=0,10&tags=美国 我们爬取的内容为文本，爬取前我们需要进行网页的分析 如图所示：我们可以看到我们的主要爬取数据存储在响应的其中一个页面中 具体怎么查看和分析目前不做介绍了。 # coding=utf-8 from parse import pars...

python糗事百科爬虫 爬取url：https://www.qiushibaike.com/hot/ 此网页爬取分析时选取网页特定元素进行爬取，需了解xpath的用法和lxml库的用法 # coding=utf-8 from lxml import etree import requests import json class QiubaiSpider: def __init__...