爬虫代理http协议和https协议的区别

最新推荐文章于 2024-06-13 18:57:11 发布

原创

最新推荐文章于 2024-06-13 18:57:11 发布 · 1.4k 阅读

本文介绍了HTTP和HTTPS的基本概念与区别，HTTPS作为HTTP的安全版，提供了加密和身份验证。HTTP连接无状态，信息明文传输，而HTTPS通过SSL建立安全连接。在爬虫实践中，使用HTTPS和代理有助于保持数据采集的稳定性和安全性。

1.HTTP和HITTPS的基本概念
HTTP：超文本传输协议（HTTP，HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议，是一个客户端和服务器端请求和应答的标准（TCP），用于从WWW服务器传输超文本到本地浏览器的传输协议，它可以使浏览器更加高效，使网络传输减少。
HTTPS：（全称：Hyper Text Transfer Protocol over Secure Socket Layer），是以安全为目标的HTTP通道，简单讲是HTTP的安全版。即HTTP下加入SSL层，HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。它是一个URI scheme（抽象标识符体系），句法类同http:体系。用于安全的HTTP数据传输。https:URL表明它使用了HTTP，但HTTPS存在不同于HTTP的默认端口及一个加密/身份验证层（在HTTP与TCP之间）。这个系统的最初研发由网景公司(Netscape)进行，并内置于其浏览器Netscape Navigator中，提供了身份验证与加密通讯方法。现在它被广泛用于万维网上安全敏感的通讯，例如交易支付方面。
2.HTTP和HTTPS的区别
• 二者都是网络传输协议，https是http的升级版、安全版，https是在http基础上进行加密的。
• 连接方式不同：http的连接很简单，是无状态的；https 协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议，比http协议安全。
• http是超文本传输协议，信息是明文传输；https则是具有安全性的ssl加密传输协议。
• http的端口是80；https的端口是443。
• https需要ca证书申请，一般免费证书较少，因而需要一定费用（证书其实就是一对公钥和私钥）。
3.HTTP协议过程
当我们在浏览器中输入URL后，会发生什么？比如https://www.baidu.com
我们可以用curl -v https://www.baidu.com 来研究这个过程，会发现总共有4个子过程。
1、查找域名对应的IP地址
Rebuilt URL to: https://www.baidu.com/*