爬虫初体验，解析网页Table

最新推荐文章于 2026-06-19 17:00:49 发布

原创最新推荐文章于 2026-06-19 17:00:49 发布 · 1.8k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#python #爬虫

python 专栏收录该内容

7 篇文章

订阅专栏

本文记录了一位初学者使用Python进行爬虫的体验，爬取了http://www.cnyes.com/futures/basicmetal.aspx网页的Table。过程中涉及到requests库获取网页，BeautifulSoup4解析HTML，以及pandas进行数据处理。遇到的问题包括编码识别（utf-8）、HTML解析和list操作的误解。

前言

闲来无事，学了点python，然后就开始想些点小爬虫，python这种语言喜欢轮子，来减少一些消耗，可是自己总是跨不过这个坎总觉得接受不了（总之就是有点菜），所以写来记录一下

爬取网站：http://www.cnyes.com/futures/basicmetal.aspx的table
工具：requests（用来请求，爬取网页），BeautifulSoup4（解析网页），pandas（数据处理）

程序

1、先将要使用得轮子导入：

import requests
from bs4 import BeautifulSoup
from pandas import DataFrame

2、get_info()函数：

def get_info():

    flag = list()
    info = list()

    url = "http://www.cnyes.com/futures/basicmetal.aspx"
    r = requests.get(url)
    #print(r.encoding)
    soup = BeautifulSoup(r.text, 'html5lib')
    for td in soup.select("tbody tr td"):
        #print(td.text)
        #因为爬下来最前面出现三个空字符串，清除
        if len(td.text) != 0:
            flag.append(td.text)
        #如果list：flag有12个元素就清除
        if len(flag) == 12:
            #print(i)
            #print(flag)
            # df = DataFrame(flag)
            # print(df)
            info.append(flag[:])
            del flag[:]

    #将二维数组转化为DataFrame数据
    df = DataFrame(info)
    # print(df)
    df.to_csv("df.csv")

问题分析

1、尝试获取某个网页使用requests.get()方法，会返回一个response对象, 通过r.text可以获取到网页，此外通过r.encoding获取网页的编码，这个是重点，因为编码问题真的伤人，我所爬取的网页的编码为“utf-8”
2、

 soup = BeautifulSoup(r.text, 'html5lib')

html5lib是一种解析器，还有其他解析器详见BeautifulSoup文档
3、

for td in soup.select("tbody tr td"):
        #print(td.text)
        #因为爬下来最前面出现三个空字符串，清除
        if len(td.text) != 0:
            flag.append(td.text)
        #如果list：flag有12个元素就清除
        if len(flag) == 12:
            #print(i)
            #print(flag)
            # df = DataFrame(flag)
            # print(df)
            info.append(flag[:])
            del flag[:]

info.append(flag[:])这段代码是博主遇到的问题，刚刚开始写的是append(flag)，以为是将flag这个长度为12的list存入进去，却发现出来的结果info是错误的
类似下面问题：

>>> l = [1,2,3]
>>> l2 = list()
>>> for i in range(4):
        print(l.append(4))
        print(l2.append(l))
None
None
None
None
None
None
None
None
>>> for i in range(4):
        l.append(4)
        l2.append(l)
>>> l2
>>> [[1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4], [1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4], [1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4], [1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4], [1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4], [1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4], [1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4], [1, 2, 3, 4, 4, 4, 4, 4, 4, 4, 4]]