【Python】半次元COS图爬取

本文介绍了如何使用Python爬虫抓取半次元网站上的COS图。首先,作者在浏览半次元时发现图片链接,然后通过分析页面加载方式找到图片入口。在开发者工具中观察网络请求,确定爬取策略。虽然数据加载没有明显规律,但通过观察数据可以找到获取更多图片的方法。最后,将爬取的图片链接存储,以备后续使用,并提供了网页解析的代码实现。

半次元COS图爬取-写在前面

今天在浏览网站的时候,忽然一个莫名的链接指引着我跳转到了半次元网站 https://bcy.net/ 打开之后,发现也没有什么有意思的内容,职业的敏感让我瞬间联想到了 cosplay ,这种网站必然会有这个的存在啊,于是乎,我准备好我的大爬虫了。

把上面的链接打开之后,被我发现了吧,就知道我的第八感不错滴。接下来就是找入口,一定要找到图片链接的入口才可以做下面的操作

这个页面不断往下拖拽,页面会一直加载,当时当你拖拽一会,就停下来了,就是这个时机

发现入口,在我实际的操作中,其实还发现了很多其他的入口,这个就不一一的解释了,赶紧上车,进入 view more 之后,发现了页面依旧是一个下拉刷新的布局方式,专业术语 瀑布流

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值