京东商品简单页面爬取并存储为csv文件

最新推荐文章于 2024-04-23 19:57:37 发布

原创最新推荐文章于 2024-04-23 19:57:37 发布 · 538 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

python

本文介绍了一种使用Python Selenium库实现的京东商品信息爬取方法。通过自动化浏览器操作完成商品搜索，并滚动页面加载更多商品，最后解析并保存商品名称、价格等信息到CSV文件中。适合初学者学习网页爬虫技术。

在这里插入图片描述

上代码：

from selenium import webdriver

import time
import csv

def get_profuct(keywords):
    """商品搜索（输入关键字）"""
    keys='#key'  """这个#key就是上面图片3步骤所复制的selector"""
    driver.find_element_by_css_selector(keys).send_keys(keywords)
    driver.find_element_by_css_selector('#search > div > div.form > button').click()
    driver.maximize_window()
    driver.implicitly_wait(10)

def drop_down():
    for i in range(1,11,2):
        time.sleep(0.5)
        j=i / 9
        js='document.documentElement.scrollTop=document.documentElement.scrollHeight * %f' %j

        driver.execute_script(js)






def parse_data():
    lis=driver.find_elements_by_css_selector('.gl-item')
    for li in lis:
        """title=li.find_element_by_css_selector('.p-name a em').text"""
        name=li.find_element_by_css_selector('.p-name a em').text

        name=name.replace('京品电脑',"").replace('"','').replace('\n','')
        price=li.find_element_by_css_selector('div.p-price strong i').text+'元'
        deal=li.find_element_by_css_selector('div.p-commit strong a').text
        title=li.find_element_by_css_selector('span.J_im_icon a').get_attribute('title')


        print(name,price,deal,title,sep=' | ')
        with open('京东数据2.csv',mode='a',encoding='GBK',newline='') as fr:
            csv_wirter=csv.writer(fr)
            csv_wirter.writerow([name,price,deal,title])





word = input("请输入商品关键字：")
driver=webdriver.Chrome()

driver.get("https://www.jd.com/")


get_profuct(word)
drop_down()
parse_data()

标签

#爬虫 #python