python监听数据库表的变化_Python监听MySQL日志

最新推荐文章于 2025-03-03 15:35:39 发布

原创最新推荐文章于 2025-03-03 15:35:39 发布 · 3.1k 阅读

6 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#python监听数据库表的变化

本文介绍如何使用Python监听MySQL数据库表的变化，通过开启MySQL的log功能，结合Python读取日志文件，实现实时监控SQL执行情况，简化调试过程。

Python3.8

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

前言

在使用后台语言开发中,每天都是在与数据库打交道,而很多时候出问题都出在SQL语句上,而调试起来也不太方便,当然大佬例外哈,我等新手还真没办法在短时间内练习出一些技巧,我是用PHP的,之前在网上也搜索的时候,见别人使用的PHP工具箱,里面有个SQL追踪工具,感觉很不错,能够监听到当前执行的SQL语句,然而那个东西需要自动手动去点击刷新,作为程序猿,要的就是懒,还要手动点,不开心!

既然想懒,那就做成自动的,经过查询资料了解,MySQL内置了log功能,只需要将其开启,然后我们监听其内容变化即可,思路通了,接下来就是开搞了.

动手开搞

这里我选用的是Python来写,毕竟"人生苦短,我用Python"

先上代码,然后再来依次讲解,代码精简一下其实50行不到,我这个完全没优化啥的,主要是实现功能,哪位大佬有时间可以帮忙改改,万分感谢！点击下载

import pymysql

import re

import time

import os

import subprocess

# 数据库信息

host = 'localhost'

user = 'root'

password = '123456'

port = 8889

db = 'JCL'

# 表前缀(如果没有就留空)

prefix = 'xh_'

logpath = os.getcwd() + '/mysql.log'

def connectMySQL(ip, user, pwd, port, db):

# 开始连接数据库

connect = pymysql.connect(

host=ip,

user=user,

passwd=pwd,

port=port,

db=db,

charset='utf8'

)

# 获取游标

cur = connect.cursor()

# 开启mysql标准日志

cur.execute('set global general_log = on')

connect.commit()

currentPath = 'set global log_output = \'file\''

cur.execute(currentPath)

connect.commit()

cur.execute('set global general_log_file=' + '\'' + logpath + '\'')

connect.commit()

connect.close()

def monitor():

command = 'tail -f ' + logpath

popen = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True)

try:

while True:

line = popen.stdout.readline().strip()

encodeStr = bytes.decode(line)

pattern = re.findall('Query\s*(.*)', encodeStr, re.S)

if len(pattern) != 0:

selectStr = pattern[0]

if selectStr != "COMMIT":

joinTime = time.strftime("%H:%M:%S", time.localtime()) + ' '

if prefix != "":

reg = re.findall(r'\b' + prefix + '\w*', encodeStr, re.S)

if len(reg) != 0:

table = '操作的表:' + reg[0]

joinTime += table

print(joinTime + ' ' + selectStr)

except KeyboardInterrupt:

os.remove(logpath)

if __name__ == '__main__':

connectMySQL(host, user, password, port, db)

time.sleep(2)

monitor()

讲解

首先是需要导入需要使用到的库

pymysql连接数据库

re正则匹配

time时间

os系统库,我这用来获取路径

subprocess用于调用终端命令

在开始我们定义一下数据库信息和日志保存的路径,我这里是直接使用了脚本当前目录生成一个名为mysql.log的文件

# 数据库信息

host = 'localhost'

user = 'root'

password = '123456'

port = 8889

db = 'JCL'

# 表前缀(如果没有就留空)

prefix = 'xh_'

logpath = os.getcwd() + '/mysql.log'

3.连接数据库,开启数据库的日志,并设置日志输入目录和保存类型

def connectMySQL(ip, user, pwd, port, db):

# 开始连接数据库

connect = pymysql.connect(

host=ip,

user=user,

passwd=pwd,

port=port,

db=db,

charset='utf8'

)

# 获取游标

cur = connect.cursor()

# 开启mysql标准日志

cur.execute('set global general_log = on')

connect.commit()

currentPath = 'set global log_output = \'file\''

cur.execute(currentPath)

connect.commit()

cur.execute('set global general_log_file=' + '\'' + logpath + '\'')

connect.commit()

connect.close()

上段代码中有个'set global log_output = \'file\'',MySQL其实还有个输出方式是Table,日志会保存到mysql数据库下的general_log表里面,刚开始我就用的这种方法,想的是待会做数据提取的时候方便,但是使用后发现,好像无法直接清除日志(我没找到简单办法),而且性能没写文件好,所以我舍弃了Table使用了File方式,因为没有直接改动my.cnf,所以在MySQL重启后,这个设置就消失了.如果需要一直保持的话,可以自己去修改my.cnf.

因为这里连接数据库的作用只是用来开启一下设置而已,所以在开启设置后将数据库连接关闭掉

4.开始监听数据,因为linux上有个tail命令就可以直接实时监听某个文件的变化,所以就直接使用subprocess来调用tail命令

def monitor():

command = 'tail -f ' + logpath

popen = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True)

try:

while True:

line = popen.stdout.readline().strip()

encodeStr = bytes.decode(line)

pattern = re.findall('Query\s*(.*)', encodeStr, re.S)

if len(pattern) != 0:

selectStr = pattern[0]