通过scrapy爬取图片、文件、视频

scrapy官方默认使用的下载文件是：

settings.py:'scrapy.pipelines.files.FilesPipeline': 1  # FilesPipeline要置于其他pipeline之前

items.py:     file_urls = scrapy.Field()        file = scrapy.Field()

scrapy官方默认下载图片是

settings.py:'scrapy.pipelines.images.ImagesPipeline': 1

items.py 

item必须有：  

image_urls = scrapy.Field()    image_name = scrapy.Field()

但如果我们之间使用官方定义的pipline则下载的文件名称是乱码，因为url进过哈希之后是一个字符串，所有我们要自定义我们的pipeline,查询源码发现，下载重命名则只需要重新file_path方法即可。下载图片、文件、视频都可以用下边这个pipeline去下载

区别：下载图片、文件不用设置heads，但下载视频必须要有Referer,不然会403爬不下来

当你的url在spider中传的是列表时，在 def_media_requests方法中的yield Request下方放开#for url in item即可

spider