基于Python urllib自定义时间间隔访问网页

原创已于 2023-03-27 12:29:05 修改 · 2.2k 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

Python

当前文章被收录于：

Python

7 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

于 2023-03-10 09:55:42 首次发布

该代码示例展示了一个使用Python的urllib库定时访问网页的程序。它遍历一个URL列表，每次访问后暂停10分钟（60*10秒）。程序通过设置User-Agent避免被识别为机器人，并打印出访问次数和当前时间。

基于Python urllib自定义时间间隔访问网页

from urllib import request
import time

def see():
	list = ['129405944','129378890','129367317','129367138','129363802','129363256','103523438','103496553']
	for i in list:
		#输入要访问的url
		url = 'https://XXXXXX' + i + '?XXXXX'
		headers = {
			'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.63'
		}
		#访问网页
		res = request.Request(url, headers = headers)
		rec = request.urlopen(res)

if __name__ == '__main__':
	#设置计数器
	count = 0
	while 1:
		see()
		#每访问一次计数器+1
		count += 1
		day = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))
		#打印计数器及本地时间
		print(r'在' + day + '访问了第' + str(count) + '次')
		#自定义设置时间间隔
		time.sleep(60*10)