Python中Scrapy框架的代理使用

       本文的那个网站皆用GG所代替，请审核高抬贵手。

        scrapy框架，熟悉python爬虫的朋友们应该知道甚至有所了解，scrapy是一个爬虫框架，模块化程度高，可拓展性强，对相应的模块进行开发和拓展就能满足使用者想要得到的效果。

        所以本次我就简单介绍下scrapy的使用和代理的配置。

一、scrapy的配置

        说是配置，其实scrapy也没啥可配置的，因为他新建项目真的很简单，再你想要创建项目的目录下输入或者打开cmd输入：

scrapy startproject mySpider(你想要的项目名)

        但是前提是，你得需要pip安装scrapy：

pip install scrapy

        当你pip安装好scrapy并且部署好scrapy项目之后，最基础的东西就搭建好了。

二、scrapy的使用

        还是先看一下scrapy的目录结构吧家人们。

        首先我先创建了一个叫做 scrapytest 的项目，目录结构如下：