Python Scrapy 框架连接mysql数据库

最新推荐文章于 2024-12-17 11:13:20 发布

原创最新推荐文章于 2024-12-17 11:13:20 发布 · 1k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

智能钻完井同时被 2 个专栏收录

253 篇文章

订阅专栏

Python在石油工程中应用

81 篇文章

订阅专栏

本文详细介绍了如何在Python的Scrapy爬虫框架中集成MySQL数据库，包括安装必要的库，配置数据库连接，以及在爬取过程中存储数据到MySQL的步骤。

class MySQLPipeline(object):
    def __init__(self):
        # 连接数据库
        self.connect = pymysql.connect(
            host='xxx.xxx.x.xxx',  # 数据库地址
            port=3306,  # 数据库端口
            db='mysql',  # 数据库名
            user='root',  # 数据库用户名
            passwd='xxxxxxx',  # 数据库密码
            charset='utf8',  # 编码方式
            use_unicode=True)
        # 通过cursor执行增删查改
        self.cursor = self.connect.cursor()
    def process_item(self, item, spider):
        self.cursor.execute(
            """insert into test(A ,B,C,D,E,F,G,H,I,J,K,L,M) # 使用%s格式化字段值
value (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)""",         
            (
                item['A'],
                item['B'],
                item['C'],
                item['D'],
                item['E'],
                item['F'],
                item['G'],
                item['H'],
                item['I'],
                item['J'],
                item['K'],
                item['L'],
                item['M],))
        # 提交sql语句
        self.connect.commit()
        self.cursor.close()
        self.connect.close()
        return item  # 必须实现返回

作者：WangB