安装icrawler

爬虫 轻松从网站抓取数据的工具 特征 干净简单的API 持久防错爬网 保存状态以进行连续爬网 用Cheerio解析类似jQuery的服务器端DOM 平行要求 代理列表和用户代理列表支持 HTTP标头和cookie设置 自动字符集检测和转换 控制台进度指示器 节点从0.10到6.0的支持 安装 npm install icrawler 用法 icrawler ( startData , opts , parse , done ) ; startData用于开始爬网的任务（或任务数组）。 单个抓取任务可以是（页面或API资源的） url或具有url字段的对象。 可选地，您可以将带对象的data字段用于POST请求（默认方法是GET ）。 您可以将其他任何字段用于自定义数据。 例如，当一个结果记录需要多个请求时，您可以将不同类型的任务标记为解析方式，或者可以将部分数据存储在任务中。 op

iWebCrawler百度谷歌搜索爬虫加速工具，新一代爬虫加速工具。

爬虫 介绍 文档： : 尝试使用pip install icrawler或conda install -c hellock icrawler 。 该软件包是Web搜寻器的微型框架。 通过模块化设计，它易于使用和扩展。 它很好地支持图像和视频等媒体数据，也可以应用于文本和其他类型的文件。 Scrapy重而有力，而icrawler小而有弹性。 使用此软件包，您可以专注于要爬网的内容，从而轻松编写多线程爬网程序，从而避免诸如异常处理，线程调度和通信之类的麻烦问题。 它还为流行的图像站点（例如Flickr）和搜索引擎（例如Google ， Bing和Baidu）提供了内置搜寻器。 （感谢所有贡献者，我们始终欢迎提出要求！） 要求 Python 2.7+或3.5+（推荐）。 例子 使用内置搜寻器非常简单。 最小示例如下所示。 from icrawler . builtin import

网络爬虫的lib库 crawler 还有mysql连接驱动