python采集某网小姐姐绝美氛围感心动系列

码龄4年

关注

原创 2023-03-04 22:38:44 268 阅读

Python抓取妹子图前言如果你对python爬虫感兴趣，不妨试一下python语言的魅力。学习一门新的语言怎么样才有动力呢，我比较喜欢妹子，如果在我python入门后，想学习下python爬虫技术，对象如果是一个丰富的妹子图网站，这是不是一个增益buff呢 [滑稽] 阅读详情

前言

看到这张图，你想到了什么呢？

没错！就是它，国内知名的弹幕网站

同时也是二次元、创意的Up主聚集得网站

今天我们就来采集一下它得小姐姐系列

开发环境:

版本: python 3.8

编辑器: pycharm 2022.3.2 专业版

requests >>> pip install requests

ffmpeg 音频合成软件

如果安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令

pip install 模块名 (pip install requests)

在pycharm中点击

Terminal(终端) 输入安装命令

代码实现(代码实现基本流程)

发送请求使用代码的方式访问网站

获取数据取出网页源代码

解析数据提取MP4链接

保存数据

代码展示

导入模块

import requests
import re       # 正则表达式模块
import json
import pprint
import subprocess
import os

伪装(请求头)

headers = {

用户信息

 "cookie": "buvid3=355AA300-6A61-04E5-A05C-E891D886F69632716infoc; b_nut=1675085932; i-wanna-go-back=-1; _uuid=387EA3810-FBF5-E92C-827E-2510B578C5B9A33232infoc; buvid4=15C69C98-F6A7-EC6A-872F-E69C1840DD6D33724-023013021-1pW1w45e5fZS9RtebDiGZw%3D%3D; nostalgia_conf=-1; CURRENT_FNVAL=4048; rpdid=|(kmJY|k))lY0J'uY~l|)lmY|; SESSDATA=17eb9f1a%2C1690782878%2C6a25c%2A22; bili_jct=4af9076b42f76603dfe4cf018ad2000f; DedeUserID=422789639; DedeUserID__ckMd5=fc4901c78719b545; CURRENT_QUALITY=80; b_ut=5; b_lsid=51ED8F105_1861C3EEC10; theme_style=light; is-2022-channel=1; sid=66dafqju; fingerprint=97ca5a8b555e63aca787c9cd27273c7e; buvid_fp_plain=undefined; buvid_fp=8cc52ae38b592ff26dc2b393eebd890b; PVID=2; innersign=1; bp_video_offset_422789639=758803412994228200",

防盗链

 "referer": "https://www.****.com/",

浏览器基本信息

 "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36"
}

发送请求

请求链接

url = 'https://www.***.com/video/BV1qv4y1k7UE/?vd_source=8f216a44bce0dbe14e3447c34c2ab3e2'

response = requests.get(url, headers=headers)

获取数据

html_data = response.text

解析数据

json_str = re.findall('__playinfo__=(.*?)</script>', html_data)[0]
# <h1 .*?>(.*?)</h1>
title = re.findall('<h1 .*?>(.*?)</h1>', html_data)[0]
# Python基础 字典
json_data = json.loads(json_str)
# pprint.pprint(json_data)
audio_url = json_data['data']['dash']['audio'][0]['baseUrl']
print(audio_url)
video_url = json_data['data']['dash']['video'][0]['baseUrl']
print(video_url)

保存数据

audio_data = requests.get(audio_url, headers=headers).content
with open(f'{title}.mp3', mode='wb') as f:
    f.write(audio_data)
video_data = requests.get(video_url, headers=headers).content
with open(f'{title}.mp4', mode='wb') as f:
    f.write(video_data)

ffmpeg = f'ffmpeg -i {title}.mp4 -i {title}.mp3 -acodec copy -vcodec copy {title+"-out.mp4"}'
subprocess.run(ffmpeg)
os.remove(f'{title}.mp4')
os.remove(f'{title}.mp3')