Python爬虫数据存哪里|数据存储到文件的几种方式

最新推荐文章于 2024-12-10 14:26:11 发布

原创最新推荐文章于 2024-12-10 14:26:11 发布 · 4.1k 阅读

标签

#python #爬虫 #数据存储

收录于

同哥带你学python 同时被 2 个专栏收录

54 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

Python爬虫从基础到实战

4 篇文章

订阅专栏

本文介绍了Python爬虫获取数据后如何存储，包括使用open()方法将数据保存到txt和csv文件，以及利用pandas模块保存到excel和csv。详细讲述了如何写入列表、字典数据到csv，并展示了使用pandas保存DataFrame对象的简便方法。

爬虫请求解析后的数据，需要保存下来，才能进行下一步的处理，一般保存数据的方式有如下几种：

文件：txt、csv、excel、json等，保存数据量小。
关系型数据库：mysql、oracle等，保存数据量大。
非关系型数据库：Mongodb、Redis等键值对形式存储数据，保存数据量大。
二进制文件：保存爬取的图片、视频、音频等格式数据。

首先，爬取豆瓣读书《平凡的世界》的3页短评信息，然后保存到文件中。

https://book.douban.com/subject/1200840/comments/

「具体代码如下（忽略异常）：」

import requests
from bs4 import BeautifulSoup

urls=['https://book.douban.com/subject/1200840/comments/?start={}&limit=20&status=P&sort=new_score'.format(str(i)) for i in range(0, 60, 20)] #通过观察的url翻页的规律，使用for循环得到3个链接，保存到urls列表中
print(urls)
dic_h = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"}
comments_lis

了解本专栏