爬虫+数据导入Excel

最新推荐文章于 2024-11-22 14:29:45 发布

原创最新推荐文章于 2024-11-22 14:29:45 发布 · 1.2w 阅读

17 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#爬虫 #python

python爬虫专栏收录该内容

1 篇文章

订阅专栏

本文介绍了如何使用Python入门级爬虫获取网页数据，通过正则表达式处理HTML内容，并将提取的数据导入Excel。首先，通过urllib2库获取网页响应；然后，利用re模块提取<td>标签内的数据；最后，通过xlrd和pyExcelerator库将数据写入Excel文件。

Python3.8

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

由于需要将服务端传到网页的数据做成表格，于是就有了下面一系列。。。

首先还是先说明一下，下面写的水平只是入门，因为一个小时前，我还不知道Python原来是一门语言。。。

一、使用爬虫获取网页传回来的respond

import urllib2

response = urllib2.urlopen('http://xxxxxxxxxxxxxxx')
html = response.read()

就是这么快，只要三句话

二、正则处理回应数据

import re

items=[]

nums=re.findall("<td>(.*?)</td>",html)
for num in nums:
items.append(num)

在回应数据里找到<td></td>中间的数据（由于网页也属于超简单的那种）

然后再将提取出来的数据直接导入列表

三、安装（xlrd,pyExelerator）

1. 到官网下载下两个压缩包

2.任意文件夹下解压

3.cmd进入该文件夹

4.分别cd进入xlrd,PyExelerator解压后的文件夹执行 python setup.py install

安装完毕

四、将数据导入Excel

# -*- coding:UTF-8 -*-
from pyExcelerator import *

sheetTems=[]
rows=0
cols=0
def excelCreate(items):
	icount=0
	row1=1
	row2=1
	row221=1
	w=Workbook()
	w1=w.add_sheet('id_1')
	w2=w.add_sheet('id_2')
	w221=w.add_sheet('id_221')
	sheetTems.append(w1)
	sheetTems.append(w2)
	sheetTems.append(w221)
	for wnum in sheetTems:
		wnum.write(rows,cols,u'IMEI')
		wnum.write(rows,cols+1,u'设备号')
		wnum.write(rows,cols+2,u'服务器接收时间')
		wnum.write(rows,cols+3,u'创建时间')
		wnum.write(rows,cols+4,u'模式')
		wnum.write(rows,cols+5,u'状态')
		wnum.write(rows,cols+6,u'剩余电量（%）')
		wnum.write(rows,cols+7,u'信号强度')
	for itemp in items:	
		if itemp=='866104028369828':
			w1.write(row1,cols,items[icount])
			w1.write(row1,cols+1,items[icount+1])
			w1.write(row1,cols+2,items[icount+2])
			str1=items[icount+3]
			w1.write(row1,cols+3,str1[38:50])
			w1.write(row1,cols+4,str1[33])
			w1.write(row1,cols+5,str1[31])
			w1.write(row1,cols+6,str1[34:36])
			w1.write(row1,cols+7,str1[50:52])
			row1+=1
		elif itemp=='866104028270158':
			w2.write(row2,cols,items[icount])
			w2.write(row2,cols+1,items[icount+1])
			w2.write(row2,cols+2,items[icount+2])
			str2=items[icount+3]
			w2.write(row2,cols+3,str2[38:50])
			w2.write(row2,cols+4,str2[33])
			w2.write(row2,cols+5,str2[31])
			w2.write(row2,cols+6,str2[34:36])
			w2.write(row2,cols+7,str2[50:52])
			row2+=1
		elif itemp=='866104028270109':
			w221.write(row221,cols,items[icount])
			w221.write(row221,cols+1,items[icount+1])
			w221.write(row221,cols+2,items[icount+2])
			str221=items[icount+3]
			w221.write(row221,cols+3,str221[38:50])
			w221.write(row221,cols+4,str221[33])
			w221.write(row221,cols+5,str221[31])
			w221.write(row221,cols+6,str221[34:36])
			w221.write(row221,cols+7,str221[50:52])
			row221+=1
		icount+=1
		#print "icount:",icount
	w.save(u'20161204.xls')

主要的几个函数如下：

Workbook()打开EXCEL add_sheet('id_1')创建表格 write(rows,cols,u'xxxx') 在某行某列写入数据 save(u'xxxx.xls')保存EXCEL

您可能感兴趣的与本文相关的镜像