MySQL binlog解析脚本binlog_summary.py使用手册

原创已于 2022-09-15 23:21:50 修改 · 559 阅读

收录于

当前文章被以下社区和专栏收录：

于 2021-05-30 12:46:03 首次发布

MySQL运维专栏收录该内容

27 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文档详细介绍了MySQL binlog解析脚本binlog_summary.py的使用，包括脚本编辑、参数解析及常见应用场景，如分析TPS、事务排序、表操作和事务内容等。

文章目录

MySQL binlog解析脚本binlog_summary.py使用手册

MySQL binlog解析脚本binlog_summary.py使用手册

1. 编辑脚本binlog_summary.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time  : 2022-04-18
# @Author: Victor 
# @Blog  : https://www.cnblogs.com/ivictor

from __future__ import print_function
import os
import re
import sqlite3
import<

标签

#mysql #数据库 #运维 #linux #centos

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Zhi@Li

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

mysql binlog分析脚本及binlog结构内容

u010719917的专栏

08-21

725

基上结构图写个python脚本来分析binlog日志： #_*_ coding:utf8 _*_ import os import sys import re import time import datetime import re # binlog_name = sys.argv[1] binlog_path='/mysqlbinlog/' if len(sys.argv) ...

参与评论您还未登录，请先登录后发表或查看评论

MySQL查询性能分析：用SHOW PROFILE快速定位SQL瓶颈

weixin_30784501的博客

06-21

451

MySQL查询性能分析是数据库调优的基础能力，其核心在于通过语句级时间采样揭示SQL执行各阶段的真实耗时。原理上，它依托Server层12个标准执行阶段的毫秒级计时，精准反映解析、优化、锁等待、IO读写等底层行为。该技术具备零侵入、低开销、高时效的特点，无需修改代码或重启服务，特别适合开发自测与线上应急诊断。典型应用场景包括慢接口根因排查、索引有效性验证、内存与磁盘临时表问题识别，以及亚秒级‘伪健康’查询的深度剖析。本文聚焦MySQL原生`SHOW PROFILE`机制，结合`Sending data`、`

工具分享丨分析GreatSQL Binglog神器

GreatSQL2021的博客

03-25

897

本文分享的神器的名字就叫做，出自陈臣老师的手笔，也是开源的Python脚本文件，开源地址。

MySQL 从零到实战：安装部署、核心操作与进阶管理指南

weixin_30908103的博客

07-07

329

这次我们来看 MySQL 数据库。无论你是刚接触编程的新手，还是需要快速搭建后端服务的开发者，MySQL 都是绕不开的核心技能。它开源、免费、性能稳定，是绝大多数 Web 应用、企业系统和云服务的首选数据库。这篇文章的重点不是空谈理论，而是让你能立刻动手，从零开始把 MySQL 用起来。我们会覆盖从下载安装、基础配置、核心操作到进阶管理的完整流程。你会知道在 Windows、macOS 和 Linux 上分别怎么装，如何用命令行和图形化工具（如 Navicat、MySQL Workbench）操作数据库，

MySQL--运维内参中的binlog_summary脚本

weixin_34026484的博客

05-23

273

#!/bin/bash ##===================================================## ## 脚本出自《MySQL运维内参》 ##===================================================## BINLOG_EXE="/export/servers/mysql/bin/mysqlbinlog" ...

binlog_summary分析MySQL Binlog

william823的专栏

11-22

315

使用mysqlbinlog解析时，建议指定-v（显示Pseudo SQL，即伪SQL）和--base64-output=decode-rows（不会显示Base64的编码结果）这两个参数，这样，生成的文本文件才是最小的，相应地，binlog_summary.py解析起来也是最快的。当命令类型是transaction时，默认是按照事务的执行顺序输出的，可指定size，按事务大小排序，也可指定time，按事务的持续时间排序。Binlog中，除了具体的SQL，其实，还包含了很多有价值的信息，如，

基于Python实现MySQL binlog实时解析

u012429202的博客

08-07

1984

python环境：3.7.5pip包：这个 Python 库，它是一个纯 Python 实现的 MySQL binlog 解析库，提供了一种方便的方式来解析 binlog 事件。同时，还需要一个可以让你访问到 binlog 的 MySQL 服务器，并且对于要解析的数据库，需要打开 binlog 功能。

Binlog分析利器-binlog_summary.py

ivictor521的博客

08-08

2369

Binlog中，除了具体的SQL，其实，还包含了很多有价值的信息，如，事务的开始时间。事务的结束时间。事务的开始位置点。事务的结束位置点。操作的开始时间（一个事务通常会包含多个操作）。表的操作信息，如哪些表执行了哪些操作。拿到上面这些信息，我们可以做哪些事情呢？基于事务的开始位置点和结束位置点，我们可以得到事务的大小。知道了事务的大小，可用来判断它是否为大事务，是否是导致主从延迟的原因。基于事务的开始时间和结束时间，我们可以得到事务的持续时间。通过分析表的操作信息，可间接定位出线上

linux下安装mysql-python出错EnvironmentError: mysql_config not found

qq_28509513的博客

06-09

853

pip install mysql-python时报如下错误： Traceback (most recent call last): File "<string>", line 1, in <module> File "/tmp/pip-build-YEYPJp/mysql-python/setup.py", line 17, in <module> ...

数据工程工具链实战地图：20个核心工具分层解析与选型指南

闲谈

06-23

437

数据工程工具链是支撑现代企业数据能力的基础设施，其本质是围绕数据生命周期——接入、存储、计算、治理与消费——构建的协同系统。理解各工具的技术原理（如Airflow的DAG编排、dbt的Transformation-as-Code、Flink的Event Time语义）是避免选型失当的前提；其技术价值在于将数据可靠性、模型可信度、实时准确性、质量可预防性及跨源可分析性从理想变为可落地的工程实践。典型应用场景包括金融实时风控、电商T+1报表、SaaS多源BI分析等。本文聚焦真实生产验证的20个高价值工具，尤其深

VPS全生命周期管理工具箱：监控建站一体化运维方案

cmff98425的博客

07-06

453

VPS（虚拟专用服务器）作为中小团队和独立开发者的主流基础设施，其运维本质是围绕系统初始化、安全加固、服务部署、运行监控与故障响应的闭环管理。传统方式依赖零散脚本与人工干预，导致环境不一致、上线延迟高、安全基线薄弱。现代VPS运维需兼顾‘开箱即用’的效率与‘可审计可回滚’的工程可靠性，核心在于将监控、建站、网络诊断等能力深度集成于统一调度引擎。技术价值体现在3分钟内完成从裸机到HTTPS建站的生产就绪交付，并支持ARM/x86多架构自适应、前台进程感知告警、MySQL主从自动容灾等进阶能力。典型应用场景包括

构建轻量级数据编织原型：实现异构数据存储的自动化治理

最新发布

weixin_30387799的博客

08-07

488

数据治理是企业数据平台建设的核心环节，旨在确保数据的可发现、可理解、可信任与可管控。其核心原理在于通过系统化的方法对数据进行全生命周期管理，以提升数据资产的价值与合规性。在技术实现上，自动化与智能化是关键趋势，能够有效应对传统手工治理模式流程冗长、难以跟上数据产生速度的挑战。数据编织（Data Fabric）作为一种新兴的架构理念，其技术价值在于通过整合现有工具，为分布在各类异构存储（如MySQL、Hive、Kafka）中的数据建立一个统一的逻辑层，实现“数据不动，治理先行”。这尤其适用于需要快速响应业务需

mysql+binlog+查看+加密_MySQL Binlog信息查看

weixin_33328213的博客

01-18

529

Mysql之binlog日志浅析

月生的静心苑

08-01

5655

MySQL的binlog日志有三种格式，分别是Statement格式、Row格式和Mixed格式。Statement格式Statement格式是最简单的binlog格式，记录的是执行的SQL语句，可以通过解析SQL语句来恢复数据。这种格式的优点是简单、易于理解和分析，缺点是可能会出现数据不一致的情况，因为同一个SQL语句在不同的环境下可能会产生不同的结果。Row格式Row格式是记录每一行数据的变化，包括插入、删除和更新操作。

MySQL 主从延迟的常见原因及解决方法

m0_50180963的博客

04-19

808

主从延迟作为 MySQL 的痛点已经存在很多年了，以至于大家都有一种错觉：有 MySQL 复制的地方就有主从延迟。对于主从延迟的原因，很多人将之归结为从库的单线程重放。但实际上，这个说法比较片面，因为很多场景，并行复制方案也解决不了，譬如从库 SQL 线程被阻塞了，从库磁盘 IO 存在瓶颈等。很多童鞋在分析此类问题时缺乏一个系统的方法论，以致无法准确地定位出主从延迟的根本原因。下面就如何分析主从延迟做一个系统、全面的总结。本文主要包括以下两方面的内容。

Java 解析离线 MySQL binlog 文件

qq_38148090的博客

11-30

1022

这个需要我们在线查询源数据库的表元数据，它能查询某张表的所有属性名称，属性的数据类型，是否是主键，是否自增等信息。5，现在我们已经知道表名，数据库名，列名，前后发生变化的数据值以及这些数据值的类型，这样我们就可以根据这些信息构造 sql 了。在数据同步的时候，有时候无法在线实时同步，需要解析已归档的 MySQL binlog 文件做数据补偿，此时就需要解析已归档的 binlog 文件为我们需要的 sql 文本文件，再把这个 sql 文本文件到数据库里按时间顺序依次执行。

MySQL主从同步（开GTID）

m0_57126939的博客

05-24

2448

RESET MASTER--是删除所有的二进制日志，创建一个.000001的空日志。RESET MASTER并不会影响SLAVE服务器上的工作状态，所以盲目的执行这个命令会导致slave找不到master的binlog，造成同步失败，我们要删除同步，所以必须执行它。做了如上的配置后，还是可以继续使用fileName和position找点，但是不推荐这样做了，如果非要这样做，设置MASTER-AUTO-POSITION=0。在创建数据库主从配置后，若想删除数据库的主从服务可根据以下步骤来删除数据库主从。

MySQL 在线开启 GTID

分享既学习

06-29

3976

生产环境上也会遇到需要开启 GTID ，有什么风险？如何在线开启？本篇文章将介绍。由于基于 GTID 复制依赖于事务，所有开启 GTID 时，有些 MySQL 特性不支持