py爬虫学习3.1-3.2

最新推荐文章于 2024-10-11 21:13:03 发布

原创

最新推荐文章于 2024-10-11 21:13:03 发布 · 1.6k 阅读

标签

#python

收录于

1.前言

爬虫真的难！

2.学习内容

2.1图片数据爬取

 #需求：爬取糗事百科中糗图板块下所有的糗图图片
 import requests
 if __name__ == '__main__':
     #如何爬取图片数据
     url='https://pic.qiushibaike.com/system/pictures/12487/124871233/medium/VZ7XN8XIPCOGTQVT.jpg'
     # .content返回的是二进制图片数据 （图片是二进制）
     #text返回的是字符串形式的图片数据，content是二进制 json()返回的是对象类型的数据
     img_data=requests.get(url=url).content
 
     with open('.qiutu.jpg','wb') as fp:
         fp.write(img_data)

2.2正则案例解析

 import requests
 import re
 import os
 if __name__ == '__main__':
     #创建一个文件夹用来保存所有图片
     if not os.path.exists('.qiutuLibs'):
         os.mkdir('qiutuLibs')
 
     url='https://www.qiushibaike.com/imgrank/'
     headers = {
         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) A