python爬虫之Beautiful Soup库（3）

最新推荐文章于 2026-03-30 15:46:44 发布

原创最新推荐文章于 2026-03-30 15:46:44 发布 · 376 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#python

python网络爬虫专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一个针对中国大学MOOC排名的爬虫程序实现，包括基本爬虫实例及优化版实例。爬虫使用Python的requests库获取网页数据，并通过BeautifulSoup进行解析，抓取了大学排名、名称、所在地和类型等信息。

文章目录

一. “中国大学mooc排名定向爬虫”实例

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return""
def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds=tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])
            
def printUnivList(ulist,num):
    print("{:^10}\t{:^10}\t{:^10}\t{:^10}".format("排名",'院校','所在地','类型'))
    for i in range(num):
        u=ulist[i]
        print('{:^10}\t{:^10}\t{:^10}\t{:^10}'.format(u[0],u[1],u[2],u[3]))
def main():
    uinfo=[]
    url="http://www.dxpmw.com/"
    html=getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,6)#20 univs
main()

二.“中国大学mooc排名定向爬虫”实例优化 chr(12288)

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return""
def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds=tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])
            
def printUnivList(ulist,num):
    print("{:^10}\t{:^14}\t{:^10}\t{:^10}".format("排名",'院校','所在地','类型',chr(12288)))
    for i in range(num):
        u=ulist[i]
        print('{:^10}\t{:^10}\t{:^10}\t{:^10}'.format(u[0],u[1],u[2],u[3]),chr(12288))
def main():
    uinfo=[]
    url="http://www.dxpmw.com/"
    html=getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,6)#20 univs
main()

三.注释：

1.查看此网页是否遵循robots协议:
https://www.shanghairanking.cn/robots.txt
如果出现404，则说明没有robots协议。
2.[sublime]将很乱的代码一键对齐：
按ctrl+shift+p，弹出选项，选择下面这项Indentation:Reindent Lines
3.怎么理解soup=BeautifulSoup(html,‘html.parser’)
是指定Beautiful的解析器为“html.parser”
博客参考链接: https://blog.csdn.net/winterto1990/article/details/47806175.
4.isinstance() 函数来判断一个对象是否是一个特定类型，类似于type()函数。
isinstance(tr, bs4.element.Tag) 这一语句可以用来判断tr(一个预先获取或定义的内容）是否属于bs4库中tag类型。
如果是，返回True；如果不是，返回False。
5.系统默认填充的是英文空格，而我们输出占用的是中文字符的宽度。单位不一致，就会出现不能对齐的状况。
——解决方法：