中国古诗文网

首先来说下什么是爬虫，按照百度百科的说法是：是一种按照一定规则，自动抓取万维网信息的程序或者脚本；首先它是程序，需要我们定义好规则，然后程序就会按照定义好的规则抓取网络上的信息，数据抓取下来了之后，需要我们对这个庞大的数据进行筛选、提取，也就是我们通常说的数据清洗，获得我们需要的信息。这里需要说的一点是，爬虫并不是python的专利，用其他的语言也是可以做到的，只是因为python提供了很多方便我...

诗词诗人数据库 mysql文件 有13136个诗人 305131个诗词，还有诗词赏析和注解等

港股历史行情数据 API 接口 所有港股历史交易行情数据，完整历史交易 / 任意时间段查询。 1. 产品功能 支持所有历史港股交易查询； 支持指定任意时间段查询； 超高的查询效率，秒级返回； 所有的交易数据为未复权的数据； 全接口支持 HTTPS（TLS v1.0 / v1.1 / v1.2 / v1.3）； 全面兼容 Apple ATS； 全国多节点 CDN 部署； 接口极速响应，多台服务器构建 API 接口负载均衡。 2. API 文档 API 详情地址: https://www.gugudata

最近在做古诗相关的东西，做一个资源整理。都是在网上找到的，没时间去搜集。感谢大家~API:1. 极速数据api目前找到最好用的。里面挺详细的，解释、内容都有。够用 接口地址：http://api.jisuapi.com/tangshi/search apiKEY自己注册一下，python调用的demo:#!/usr/bin/python# e...

项目的Github地址：poetry 古诗词数据库 这个古诗词数据库是2017年从古诗文网爬取下来的，目前的数据总量虽不及古诗文网，但其诗词数据进行了一定的清洗整理和格式化，方便给需要的人做研究或者做些创意。这个古诗词数据库目前主要有73281首古诗词和3156个诗人的详细数据，并且已经应用在两个应用上：诗鲸Android客户端和诗鲸微信小程序。 数据说明 1.gushiwen 文件夹 这个文件...

爬虫初级二(爬中国古诗文网) 第一步先分析要爬取网站的网址 为什么要先分析网址呢？通过网址我们可以知道此网页页面是异步请求(post)还是同步请求（get) get请求：最常见的HTTP请求方式，普通上网浏览页面使用的就是get请求方式。get请求方式的参数直接跟在url后，一般以？开始。 post请求：post请求的参数没有直接跟在url后边，这个参数需要自己找，找到后用&连接到url后边。这里用到的是get请求就不说怎要找post请求的参数了 要爬取的url url=“https://www.g

4.1.中国天气网 网址：http://www.weather.com.cn/textFC/hb.shtml 解析：BeautifulSoup4 爬取所有城市的最低天气 import requests from bs4 import BeautifulSoup import html5lib def parse_page(url): headers = { ...

使用bs4，爬取古诗文网诗句。

首先，我们先对整个爬取框架进行分析，这与利用xpath爬取网页信息类似。通过requests获得网页信息，然后转换成text格式，通过findall方法，用正则表达式进行查找需要的信息，然后对采集到的信息进行过滤，拿到最后需要的信息。最后对信息进行序列化得到了我们想要的信息。 下面的是代码。 import re import requests Headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebK

上一篇我们介绍了requests代理的基本使用，本篇我们来学习如何利用requests的Cookie登录古诗文网。

python Scrapy项目 之 古诗文网案例呈现 通过python,Scrapy框架，爬取古诗文网上的诗词数据，具体包括诗词的标题信息，作者，朝代，诗词内容，及译文。爬取过程需要逐页爬取，共4页。

前言：今天是学习爬虫的第一天，因为看的教学视频比较老，所以很多案例都不能用了，于是我自己发挥动手操作，做了个比视频里更有含金量的练习，由于与视频案例大有不同，所以期间发生了点问题，经过探索现已解决，留此纪录。 前面是我一开始犯的错误，最后附上完整代码。 下面是我一开始的操作： 首先我访问古诗文网的登陆页面 登录古诗文网 (gushiwen.cn)https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/colle

今天，给大家推荐一个GitHub上的一个热门项目——Chinese-poetry ，截至今日，该项目已经获得了 9700 个「star」以及 1383 个「fork」。该...

注意： 用正则的思路不一样：不存在树结构，在正则眼里只当作‘str’ 关注zip的用法