python beautifulsoup抓取京东商品名称和价格

最新推荐文章于 2024-06-06 16:26:09 发布

原创

最新推荐文章于 2024-06-06 16:26:09 发布 · 1.8k 阅读

标签

#python #beautiful

收录于

本文介绍如何利用Python的BeautifulSoup库抓取京东网站上的商品名称及对应的价格，实现数据的自动化采集。

使用beautifulsoup抓取京东商品的名称和价格

#coding=utf-8

import urllib
import urllib2
import cookielib
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding("utf-8") #处理编码

product ="ThinkPad i5"

text = urllib.urlopen("http://search.jd.com/Search?keyword="+product+"&enc=utf-8").read()
soup = BeautifulSoup(text)

content = soup.find_all('div', attrs={'class':'lh-wrap'})
for wrap in content:
name_tags = wrap.find_all('div', attrs={'class':'p-name'})
for name in name_tags:
print '商品：'+name.find('a').get_text()
price_tags = wrap.find_all('div', attrs={'class':'p-price'})
for price in price_tags:
print '价格：'+price.find('stro