python爬虫遵守规则

按照爬虫规模分类

注意：
针对爬取全网，python不提供第三方库。

爬虫可能会带来的问题

1.骚扰问题
2.法律问题
3.隐私泄露问题
受限于编写水平和目的，网络爬虫可能会给web服务器带来巨大的资源开销。

一般网站对爬虫的限制以及如何遵守

来源审查：
这种方法需要维护人员技术上的支持。

Robots协议：
不是强制性要求，违反可能会承担法律责任。


通过上述语法对不同代理，制定不同规范。
比如查看百度：
https://www.baidu.com/robots.txt

(截取了一部分)

最后
类人行为可不参考Robots协议，比如一个小时去浏览一次，而不是疯狂刷次数，对服务器的运行不会有过大影响。

截图来自北理工爬虫mooc