爬虫实战01

第一天

这个博客为B站爬虫实战教程的笔记，我按照学习天数来记录。

一.手刃一个小爬虫

（参考“小爬虫案例.py”）
需求：用程序模拟浏览器，输入一个网址，从该网址中获取到资源和内容。

from urllib.request import urlopen
url = "http://www.baidu.com"
resp = urlopen(url)
print(resp.read().decode("utf-8"))

实际上对于响应返回的东西输出发现，“ b’ ”代表的是字节，"charset=utf-8"代表编码方式是utf-8，所以我们还需要在解码的时候进行处理。

from urllib.request import urlopen
url = "http://www.baidu.com"
resp = urlopen(url)
#解码——注意看解码方式
print(resp.read().decode("utf-8"))
#存储文件
with open("mybaidu.html",mode="w") as f:
    f.write(resp.read().decode("utf-8")