Python爬虫-爬取豆瓣读书

最新推荐文章于 2025-12-19 11:52:56 发布
原创 最新推荐文章于 2025-12-19 11:52:56 发布 · 4.7k 阅读 · 13
本文介绍了如何使用Python爬虫抓取豆瓣读书的数据。通过网络请求获取HTML页面，利用Beautiful Soup解析，主要使用find_all方法查找特定标签。内容包括获取标签属性值、文本，以及从li标签下的div、h4、span等子节点提取信息。最后将数据存储到MongoDB，遇到并解决了主键重复的问题。

爬点什么好呢？最近老是浏览豆瓣上的帖子，那就爬取下豆瓣读书吧！
这里写图片描述
网络请求，返回值是html页面。
需要对返回回来的结果进行解析。使用Beautiful Soup来解析
参见（http://beautifulsoup.readthedocs.io/zh_CN/latest/）
说几个再爬虫中使用到的：
（1）find_all(tag,attributes,recursive,text,limit,keywords)
这个方法一般会大量使用，查找文档中含有该tag标签的所有信息

bsObj.find_all("li",{
  
  "class":""})

就是查找文档中所有的li标签，并且该标签的class属性为“”
（2）获取某个标签属性的值，可以使用tag.get(“属性名称”)


                

                
                
        

    






  


  

    

      标签
      

          #python
          #爬虫
          #豆瓣
      

    

  






        

            

                      
                        
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



              

                

              

            
              



	

		

			

				
					
爬取豆瓣读书

				
			

			

				

					08-28
				

			

		

		

			
				
爬取豆瓣读书某一列的标签，存储为CSV格式，为了不被系统封IP，用了点小技巧

			
		

	



              


  
              

                


	

		

			

				
					
爬虫实战5：豆瓣读书爬取

				
			

			

				

					A994958的博客
				

				

					12-12
					
					3737
					
				

			

		

		

			
				
# 模块安装
import requests
from lxml import etree
import csv
import time
import random
'''

'''
ip = ['183.56.105.58:32589',
      '114.104.139.57:27936',
      '115.202.140.134:23752',
      '220.179.102.189:32593',
      '36.57.87.3:35902',
      '11...

			
		

	





	

		

			

				
					
21张让你Python突飞猛进的速查表_python速查表

				
			

			

				

					2401_84572787的博客
				

				

					04-26
					
					566
					
				

			

		

		

			
				
随着深度学习的蓬勃发展，越来越多的小伙伴们开始使用python作为主打代码，python有着种类繁多的第三方库，这里为大家从网络上收集了一些代码速查表，希望可以帮你在码代码时提速。

			
		

	



		

			
		



	

		

			

				
					
爬虫实战案例 -- 爬取豆瓣读书网页内容

				
			

			

				

					几许的博客
				

				

					12-20
					
					1513
					
				

			

		

		

			
				
进入网站检查信息 , 确定请求方式。

			
		

	





	

		

			

				
					
python爬虫爬取豆瓣读书Top250，阿里面试官必问

				
			

			

				

					qd520_1314的博客
				

				

					03-30
					
					629
					
				

			

		

		

			
				
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。if intro[2].get_text().find(‘展开全部’)!if intro[1].get_text().find(‘展开全部’)!f.write("\n\n内容简介: ")

			
		

	





	

		

			

				
					
python scrapy实践-爬取豆瓣读书

				
			

			

				

					慕容卡卡
				

				

					03-02
					
					2688
					
				

			

		

		

			
				
文章目录scrapy简介初尝scrapy安装scrapy第一个scrapy项目创建项目修改爬虫运行爬虫提取网页数据可以把结果存储在json文件后续
scrapy简介
按scrapy官网的介绍来说，scrapy是一种快速的高级web crawling和web scraping，用于对网站进行爬取并从其页面提取结构化数据的框架，也就是爬虫。它可以用于数据挖掘、数据监控和自动化测试。
初尝scrapy
安装scrapy
在有python环境下，可以直接使用pip安装。
pip install scrapy

安装

			
		

	





	

		

			

				
					
python爬虫爬取豆瓣读书Top250

				
			

			

				

					2401_84003977的博客
				

				

					04-08
					
					959
					
				

			

		

		

			
				
if intro[0].get_text().find(“展开全部”)!if intro[2].get_text().find(‘展开全部’)!if intro[1].get_text().find(‘展开全部’)!f.write("\n\n内容简介: ")f.write("\n\n作者简介: ")

			
		

	





	

		

			

				
					
用Python爬虫爬取豆瓣电影、读书Top250并排序

					
热门推荐

				
			

			

				

					Alanzjl的专栏
				

				

					02-17
					
					1万+
					
				

			

		

		

			
				
概述经常用豆瓣读书的童鞋应该知道，豆瓣Top250用的是综合排序，除用户评分之外还考虑了很多比如是否畅销、点击量等等，这也就导致了一些近年来评分不高的畅销书在这个排行榜上高高在上远比一些经典名著排名还高，于是在这里打算重新给Top250纯按照用户打分排一下序。思路就是：先用爬虫爬下来豆瓣Top250的所有书目，然后存到本地之后进行排序，最后再做一个网站把排完序的书单重新挂上去。先挂上成品网站：豆瓣T

			
		

	





	

		

			

				
					
Python网络爬虫：利用正则表达式方法爬取‘’豆瓣读书‘’中‘’新书速递‘’条目

				
			

			

				

					止水
				

				

					09-05
					
					2562
					
				

			

		

		

			
				
1.简述：正则表达式是爬虫的方法之一，这里利用Requests库进行爬取，尽管Urllib也能进行爬取，但过程过于繁琐，在了解Urllib的爬取过程后，没有进行实战演练，但在学习了Requests的爬取后，进行了实战学习，因为考虑到确实之后会多用到Requests包，所以这一步还是要好好掌握学习一下的：)另外，还用到re包，主要在利用正则表达式进行爬虫是时用到匹配(re.match)、查找(re....

			
		

	





	

		

			

				
					
Python网络爬虫：利用BeautifulSoup爬取‘豆瓣读书’中的‘新书速递’条目

				
			

			

				

					止水
				

				

					09-05
					
					1381
					
				

			

		

		

			
				
上一节用了正则表达式进行爬虫，那个方法关键在于正则表达式（Regular Expression之后简称RE）的书写，我的猜想是会有一些要提取的内容的RE写起来会很复杂，甚至很难写出来（当然，只是我的猜想，做的爬虫并不多），所以利用BeautifulSoup（之后简称BS）就不用写那些复杂的RE了，BS更多用到了一些属性，比如典型的find()、find_all()（这让我想起re里的findall...

			
		

	





	

		

			

				
					
Python爬虫爬取豆瓣读书信息源码包介绍

				
			

			

				

					gitblog_06748的博客
				

				

					05-26
					
					980
					
				

			

		

		

			
				
Python爬虫爬取豆瓣读书信息源码包介绍
去发现同类优质开源项目:https://gitcode.com/
项目的核心功能/场景：高效爬取豆瓣读书信息，助力数据分析和行业研究。
项目介绍
在数字化时代，数据的力量无处不在。对于开发者而言，能够获取网站数据往往是进行深入分析的第一步。《Python爬虫爬取豆瓣读书信息》源码包正是为此而生。这款源码包旨在帮助开发者轻松爬取豆瓣读书的各类信息，无论是书...

			
		

	





	

		

			

				
					
Python爬虫实战：使用Scrapy与异步技术高效爬取豆瓣读书数据

				
			

			

				

					2201_76125261的博客
				

				

					07-09
					
					937
					
				

			

		

		

			
				
本文将详细介绍如何使用Python最新爬虫技术构建一个高效的豆瓣读书数据采集系统。我们将从基础的HTTP请求开始，逐步深入到Scrapy框架的应用，最后展示如何使用异步技术(aiohttp+asyncio)实现高性能爬取。文章包含完整的代码实现、反反爬策略、数据存储方案以及性能优化技巧，旨在为读者提供一套完整的爬虫解决方案。关键词：Python爬虫、Scrapy、异步爬虫、豆瓣读书、数据采集python复制下载。

			
		

	





	

		

			

				
					
Python爬虫实战：爬取豆瓣读书详细信息

				
			

			

				

					2201_76125261的博客
				

				

					04-30
					
					696
					
				

			

		

		

			
				
豆瓣读书板块汇集了众多图书的评价、书单、作者信息等，是读者获取图书信息的一个重要平台。对于爬虫开发者而言，爬取豆瓣读书的详细信息，不仅能够为数据分析提供丰富的数据来源，还能够在推荐系统、情感分析等领域应用。每一页评论的数据格式相同，我们可以使用Selenium模拟翻页操作，并逐一抓取每页的评论信息。等最新技术，结合反爬虫机制、动态加载页面等挑战，完整地演示如何获取豆瓣图书的详细数据，并展示如何对数据进行存储和分析。此外，每本图书页面还包含有评论信息和相关书单，我们可以通过抓取这些数据进行更进一步的分析。

			
		

	





	

		

			

				
					
python爬取豆瓣书评排行榜_爬虫：爬取豆瓣读书排行榜

				
			

			

				

					weixin_39594103的博客
				

				

					12-10
					
					999
					
				

			

		

		

			
				
写在前面的话单说爬虫豆瓣排行榜，好像有点无聊~如果说，利用我们爬取的信息，可以做一个自己的年度读书展示，会不会感觉有趣一点呢，嘻嘻~爬取豆瓣书籍的封面图，很快就可以做一个属于自己的读书小结啦~(参照下图)读书展示之前网友提示我，触发了豆瓣反爬机制， 。感谢网友提醒。现已更改。——2020.01.06完整代码import requests  # 获取网页数据from bs4 import Beaut...

			
		

	





	

		

			

				
					
python爬虫教程书籍-Python爬虫教程-爬取豆瓣读书

				
			

			

				

					weixin_37988176的博客
				

				

					11-01
					
					483
					
				

			

		

		

			
				
豆瓣读书爬虫Python所写，豆瓣读书的爬虫，方便大家搜罗各种美美书！写在前面通过豆瓣评分和评价人数等规则，可非常好的探索挖掘经典图书和隐藏好书，从中更高效地汲取书中智慧。 实现功能1 可以爬下豆瓣读书标签下的所有图书2 按评分排名依次存储3 存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Sheet4 采用User Agent...

			
		

	





	

		

			

				
					
【python爬虫基础】年轻人的第一个爬虫程序

				
			

			

				

					Yui_的博客
				

				

					10-18
					
					5496
					
				

			

		

		

			
				
【python爬虫基础】年轻人的第一个爬虫程序，爬取豆瓣读书的top250书籍及对应连接。

			
		

	





	

		

			

				
					
Python 爬虫实战：爬取豆瓣读书评论并分析

					
最新发布

				
			

			

				

					2503_91057718的博客
				

				

					12-19
					
					1466
					
				

			

		

		

			
				
摘要：本文以豆瓣读书《活着》评论数据为例，详细讲解Python爬虫开发与文本分析全流程。首先通过requests库爬取评论数据，解决分页、反爬等问题；然后利用BeautifulSoup解析页面提取评论内容、评分等核心信息；最后结合jieba进行关键词提取、snownlp完成情感分析，并通过可视化展示结果。分析显示该书评分以5星为主（占比70%），正面评论达82%，核心关键词为"活着""余华""生命"。全文包含完整代码与详细解析，帮助读者掌握非结构化

			
		

	





	

		

			

				
					
Python爬虫 - 爬取豆瓣读书TOP250电子书

				
			

			

				

					weixin_46336017的博客
				

				

					05-04
					
					2409
					
				

			

		

		

			
				
1.爬取思路


访问豆瓣读书top250，并提取书籍名称。


把提取的书籍名称，放到搜书网站(本文使用的是熊猫搜书)。


把搜索的结果保存到本地。


2.重点解析
1.豆瓣翻页爬取规律
#第一页网址，共10页，每页25个标题
url = "https://book.douban.com/top250?start=0"

#翻页只需更改索引，可用for循环遍历
for index in ra...

			
		

	





	

		

			

				
					
python爬虫——使用代理和xpath爬取豆瓣读书

				
			

			

				

					小爬虫的博客
				

				

					04-10
					
					950
					
				

			

		

		

			
				
根据豆瓣读书的所有标签自动创建文件夹，使用代理防止被反爬。但是我的代理好像是假的，还是被反爬了…通过设置cookie爬取，但是爬取一定数量后需要在浏览器手动进行验证码输入…总的来说，代码写的很麻烦
import requests
from lxml import etree
from fake_useragent import UserAgent
import threading
import q...

			
		

	





	

		

			

				
					
python爬虫练习之爬取豆瓣读书所有标签下的书籍信息

				
			

			

				

					STAR_LORD
				

				

					07-23
					
					7049
					
				

			

		

		

			
				
第一步，爬取所有图书标签及分类


  到达图书标签页，分类浏览，第一步需要爬取所有分类及其分类下的所有标签 
  并用dict存储




			
		

	



              




          





        



    




    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值