python2.7安装Scrapy

最新推荐文章于 2020-12-29 03:01:05 发布
原创 最新推荐文章于 2020-12-29 03:01:05 发布 · 840 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#python #Scrapy
本文详细介绍了在Windows 10系统中安装Scrapy爬虫框架的具体步骤，包括安装pip、下载并安装lxml库及pyOPENSSL等依赖项，并通过pip安装Scrapy。

先说下我的电脑 win10+64位

在windows下安装Scrapy真的好坑啊，没有为什么。你踩了就知道了

下面总结下我踩了无数坑后来成功的历程

1、参考Scrapy官网的安装教程官网链接

2、电脑上需要装有pip，不会的请参考我的另一篇吐血总结pip安装指导

3、下载必要库lxml库下载链接，我是python2.7，所以下载的这个

这里写图片描述

4、安装lxml。首先切换到 D:\Python27\Scripts（我安装的python位置），然后 pip.exe install （此处填lxml库的地址），等待安装成功

5、安装pyOPENSSL，在Windows下，是没有预装pyOPENSSL的，而在Linux下是已经安装好的。下载地址

6、最后一步用pip来下载包 python2 -m pip install Scrapy

这里写图片描述

Python 2.7.13+Scrapy 1.3.3
04-15
Python 2.7.13+Scrapy 1.3.3的安装包与全部的依赖，安装方式参看:http://blog.csdn.net/u011781521/article/details/70177275
Python2.7的scapy安装
12-18
可以在Python2.7上安装scapy，亲测可用，利用scapy抓包，发包分析包，完美！！！
安装 Scrapy for Python2.7
Forest毅青的专栏
05-04 725
1. 简介Scrapy是基于Python的网络爬虫框架，支持Python2.7 和 Python3.3以上。2. 安装安装平台： Mac 10.112.1 先决条件 python 2.7 pip setuptools lxml openssl 2.2 安装scrapypip install scrapy2.3 重新安装sixMac自带的six库需要重新安装~ sudo rm -rf /Librar
Python-2.7安装Scrapy 1.0爬虫实例
TURING.DT
04-13 2936
Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。 使用python2
kubeadm 安装集群 1.16.12
some demo
09-08 600
kubeadm 安装集群 安装 docker 添加源 mirror=https://mirrors.aliyun.com # mirror=https://mirrors.ustc.edu.cn ### docker 源 curl -fsSL ${mirror}/docker-ce/linux/ubuntu/gpg | sudo apt-key add sudo add-apt-repository "deb [arch=amd64] ${mirror}/docker-ce/linux/ubuntu
Python(2.7版本)安装scrapy
Gerald_Jones的博客
12-14 3037
1. 下载安装python（本文采取的是2.7.12版本）本文采用安装方法：下载安装python（本文采取的是2.7.12版本）官方下载网址： https://www.python.org/downloads/安装完成检验命令行窗口输入python输出版本号信息，为安装成功 2. 安装pywin32本文采用安装方法：下载地址：http://sourceforge.net/projects
Python2.7下安装Scrapy框架
耀相惜
03-17 8497
由于毕业设计的要求，需要在网站上抓取大量的数据，那么使用Scrapy框架可以让这一过程变得简单不少，毕竟Scrapy是一个为了爬去网站数据、提取结构性数据而编写的应用框架。于是，便开始了我的安装Scrapy框架之旅。可以说这个过程并不是很愉快，各种错误各种出，不过到最后，终于安装上了Scrapy框架。下面总结一下我的Scrapy框架的安装。
python2.7下安装scrapy
Xiaoyi_Zhang的博客
05-25 1万+
我自己的电脑是win7 64位系统，最近在学python爬虫，找了本python3的教材，看到scrapy这块安装好scrapy之后才发现win7现在不支持python3的scrapy，于是要换回python2. scrapy主要的问题是其需要的一系列包似乎需要c的一些代码包所以要安装visual studio之类的东西。 现在有python2.7.11和3.4.1，其中2.7里有scr
python2.7安装scrapy_python 2.7 的Scrapy安装介绍
weixin_39639518的博客
12-18 268
一、 Scrapy简介Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl websites and extract structured data from their pages. It can be used for a wide range of purposes, fro...
python2.7安装scrapy_python安装Scrapy框架
weixin_39943868的博客
12-18 275
看到自己写的惨不忍睹的爬虫，觉得还是学一下Scrapy框架，停止一直造轮子的行为我这里是windows10平台，python2和python3共存，这里就写python2.7安装配置Scrapy框架的过程1，python安装过程不用多说，安装好了之后记得要添加python到环境变量里面去我这里是G盘，所以添加的环境变量为:G:\python2.7\G:\python2.7\Scripts然后我们在...
windows环境下在python2.7下安装Scrapy
Sweet Baby，甜宝
08-17 3112
大数据越来越火，可是海量的数据很难轻易拿到，于是爬虫来了，早先人们用Java，c++语言进行数据的获取，可是后来Python的诞生与发展，由于其代码简洁易懂，并且有大量完美的库函数，使其在最近几年很火。     获取网站的数据的代码很多，并且也有很多框架，今天来说一说scrapy框架，它是人们获取海量数据一个很好的框架。scrapy = search + python；下面就来说一说scra
python2.7安装scrapy_Windows上Python2.7安装Scrapy过程
weixin_42503762的博客
12-29 150
需要执行：pip install scrapypip install requests在Windows下用pip安装Scrapy报如下错误，看错误提示就知道去http://aka.ms/vcpython27找解决方法了error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from htt...
scrapy+python2.7安装完整包
09-23
scrapy+python2.7安装完整包，包含所有的依赖库
基于Python2.7的Scrapy安装步骤
tskysky的博客
05-03 1744
Win10-64位系统下基于python2.7的scrapy安装步骤
python2.7相关安装配置的各种坑
qq_41020281的博客
07-22 934
Windows下python2.7的相关安装配置： 安装scrapy:  Python 2 / 3 升级pip版本：pip install --upgrade pip 通过pip 安装 Scrapy 框架pip install Scrapy 注意是大写的Scrapy   安装MySQLdb模块： 采用pip install MySQL-python 安装失败 下载对应pyt...
【Python】Python2.7.15 - Windows安装Python以及Python安装目录结构详解
一凡stkeke
03-28 8300
文章目录Python 2.7.15安装下载安装程序启动安装程序指定安装目录安装选项启用环境变量高级选项安装完毕安装成功验证检查Windows环境变量确认Python版本探索Python的安装目录安装目录结构Python安装目录下的子目录DLLs子目录Doc子目录include子目录Lib子目录libs子目录Scripts子目录tcl子目录Tools子目录 Python 2.7.15安装 下载安装程...
python安装scrapy遇到的一些坑
亓根火柴的专栏
05-21 895
python安装scrapy遇到的一些坑1.环境python3.6win7 64bitanaconda或者python自带环境都可以2.安装2.1安装scrapy前需要先安装Twisted，直接安装scrapy中间也会安装twisted失败。2.2先下载系统对应的Twisted，然后输入命令安装：pip install D:\Download\360极速浏览器下载\Twisted-18.4.0-c...
python安装不上一些库的解决办法
folnor的博客
10-15 5505
用windows安装python后经常出现一些库无法安装，诸如lxml，scrapy之类的。 1. 解决办法网上一般就是用http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml这个网站直接下载一些whl文件进行pip安装， 小技巧：进入whl所在文件，一般人都是在cmd中各种cd，其实直接打开所在文件，按着shift加鼠标右键就出现打开命令窗口，初
windows下多版本python安装与pip安装和pip使用 吐血总结
热门推荐
silence2015的专栏
02-22 6万+
Python 是一门很不错的语言，语言简单易学，又不失脚本语言的灵活性，还有海量的第三方库，覆盖的很全面。但也有不少“硬伤”，比如 Python 2.x 和 Python 3.x 版本之间的不兼容等等。注：我的电脑是win10+64位安装多版本python1、安装python需要到官网下载安装包，官网 安装的过程不需要多说，记得两个版本的py分别安装在不同文件夹下 2、接下来就是设置环境变量pa
Python正则匹配中文与编码总结
silence2015的专栏
03-04 3万+
字符串的编码乱码问题由来已久，真的是令人头疼。这不是在做正则匹配中文时候，编码又一次成了拦路虎，在这儿记录两点。第一，字符串编码。第二，正则匹配中文。早期编码都用ASCII编码，用一个字节来处理编码。如大写A编码为65，但处理中文时候，一个字节显然不够，至少两哥字节，还不能和ASCII冲突，，中国制定GB2312编码，把中文编进去。 类似的，韩国，日本都出来格子标准，结果就是多语言 混合的文本中会
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值