flask爬虫项目本地跑正常,而服务器跑错误(报错IndexError: list index out of range )

一个Flask爬虫项目在本地运行正常,但在服务器上遇到'IndexError: list index out of range'错误。经过排查,确定问题出在服务器上的爬虫部分。错误可能由于服务器的cookie与本地不一致导致。解决方案是在服务器的Ubuntu环境中搭建可视化界面,通过浏览器获取新cookie并替换原有爬虫文件中的cookie,从而使项目恢复正常运行。

flask项目本地跑正常,postman测试正常,但部署到服务器有问题

排查:1、可以在flask项目中加入

这段代码用于测试究竟是服务器与flask衔接问题,还是因为部署在服务器上的爬虫错误

2、显然在我用postman测试后服务器与flask衔接是没有问题的,那么只可能是服务器上的爬虫错误

爬虫可能的错误原因:1、ip被封禁(网上很多人说是这个原因,但其实不是),2、爬虫内部cookie问题(在本地测试时,我们的cookie与本机对应,而部署服务器cookie应该与服务器保持一致,换了cookie就可以正常运行了)

本地的 

服务器的

解决办法:在服务器的浏览器上重新获取cookie,那么怎么获取尼?首先云服务器 搭建 Ubuntu 可视化界面-最佳实践-文档中心-腾讯云 (tencent.com)

根据这个进行服务器可视化操作,然后在打开的首页上

选中internet——点击谷歌浏览器,输入爬取网站的网址——F12——network——找到你要的请求里面的cookie复制,然后替换你爬虫文件里的cookie就欧克了,有问题可以留言,我会的话也会回复。

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值