scrapy 编写爬虫遇到NameError: Module ‘myspider.pipelines’ doesn’t define any object named 'SomePipeline’解决方案:
pipeLines.py
class MyspiderPipeline(object):
def process_item(self, item, spider):
return item
settings.py
# Configure item pipelines
# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
'myspider.pipelines.SomePipeline': 300,
}
以上问题是由于 pipeLines.py 文件中的类名与 settings.py 文件中的ITEM_PIPLINES中的 SomePipeline 不一致导致的。将settings.py配置文件中的SomePipeline改为类名 MyspiderPipeline即可。
本文介绍了一个常见的Scrapy爬虫问题,即在settings.py中配置的Pipeline名称与pipeLines.py中定义的类名不一致导致的NameError异常,并提供了解决方案。

3311

被折叠的 条评论
为什么被折叠?



