MySQL 开源工具集合

上次聊到MySQL官方运维工具。这次在了解下常用的开源的工具。
目前已收集的开源工具 并且 实际环境中用过的工具如下：

可以说掌握了这些工具（原理和使用技巧），MySQL日常运维就更简单。

备注：介绍中图片部分是开源社区的，部分是自己按照思路画的，画图有助于理解。

在线DDl变更

pt-osc&gh-ost都是在线变更ddl的工具。

• pt-osc在于触发器原理
  
• gh-ost不依赖于触发器,通过模拟从库,在binlog中获取增量变更,再异步应用到ghost表
  
  备注：最终都会有RENAME表名的动作。

备份恢复工具：

• xtrabackup 二进制在线热备份工具，支持增量备份。目前物理备份中唯一的选择。全量方面，其实mysql8.0 clone也算是不错的选择。（高版本innobackupex以废弃）
  
• mydumper是多线逻辑备份工具，一些自研产品常用的工具，myloader是sql语句导入工具 ，同一个软件包，跟mydumper结合使用。
  

压测工具

• TPCC测试模拟了一个比较复杂的 OLTP应用环境， 是一个在线零售公司，此公司对10W种商品进行销售，业务模型：批发零售系统，订单处理下的数据库的表现。
  
• sysbench是一个开源的、模块化的、跨平台的多线程性能测试工具，可以用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。单语句INSERT，SELECT，UPDATE下的数据库的表现。
  

区别在于tpcc测试的业务流程，sysbench测试的单语句执行性能。按照自需选择测试工具。

闪回工具：

有时会误删或者误更新数据，binlog格式必须为row,且binlog_row_image=full，并且保留下来的情况下。可以分析binlog回转SQL语句进行恢复。就是delete→insert ，insert→delete，update→update方式按照时间顺序倒序回放。
常用的工具binlog2sql，MyFlash

大众点评 binlog2sql：

• 数据库服务必须在线状态
• 开发语言Python 2.7, 3.4+
• 仅支持 MySQL 5.6, 5.7
  https://github.com/danfengcao/binlog2sql

由美团点评MyFlash：

• 仅支持MySQL 5.6与5.7
• 只能回滚DML（增、删、改）
• 开发语言c，mysqlbinlog工具配合sed、awk
• 离线解析
  https://github.com/Meituan-Dianping/MyFlash

MyFlash做的性能对比：

• binlog2sql是要分析数据库运行中的一些状态 和 BINLOG_DUMP协议获取binlog内容，
• mysqlbinlog是因为要把binlog解析的不是标准的SQL语句
• MyFlash是直接生成标准sql语句，效率上更高

慢日志分析

pt-query-digest是 Percona-Toolkit 的组件之一，非常不错的日志分析工具，优于mysqldumpslow，可以从 普通日志、慢查询日志、二进制日志以及show processlist和tcpdump中对SQL进行分析。

主从一致性验证

pt-table-checksum 是 Percona-Toolkit 的组件之一，用于检测MySQL主、从库的数据是否一致。其原理是在主库执行基于statement的sql语句来生成主库数据块的checksum，把相同的sql语句传递到从库执行，并在从库上计算相同数据块的checksum，最后，比较主从库上相同数据块的checksum值，由此判断主从数据是否一致。recursion-method 方式选择host方式。

其他：

• undrop-for-innodb分析ibd文件进行数据恢复工作。当误删除数据，无备份，确保本地ibd文件没有写入，数据能恢复的。特别是中文解析可能失败需注意。

• innodb_rub
  innodb_ruby 主要可查看innodb数据库数据表的各种存储，解析innodb的文件，用于学习数据库底层的一些存储。

备注：这里可以结合官方innnchecksum，分析MySQL8.0的ibd文件结构，便于做个类似的工具

SQL审核web工具

基于Python 及 Django，利于二次开发改造，有开发能力，可以参考。主要是依赖于pt-toolkit进行整合开发的。

• Yearning
  自动化SQL语句审核，可对SQL进行自动检测并执行。DDL/DML语句执行后自动生成回滚语句。前身是Inception。
  https://github.com/cookieY/Yearning

• Archery
  集成SQL查询、审核、执行、备份，慢日志管理 等功能
  https://github.com/hhyo/Archery

客户端图形化管理工具

主要解决数据库管理员、程序开发者提供可视化的Sql开发、数据操作、以及数据库管理功能，易学易用。特别是数据导入导出功能，二进制数据转化图片方面。比较方便。但对于DBA来说是一个潜在的风险，长时间使用这些工具，命令行易忘记。
从上到下推荐：

• Navicat
• SQLyog
• HeidiSQL：采用 Delphi 开发，支持 Windows 操作系统。支持 MySQL、MariaDB、Percona Server 和微软的 SQL Server
• MySQL Workbench 官方管理重量级工具
• PhpMyAdmin 安装部署比较麻烦，早起使用的多

总结

对于MySQL5.7版本这些工具目前支持的都非常友好，但8.0版本目前很多工具不兼容。
工具就是替代一部分功能，提高效率的。MySQL运维中提高工作效率，就需要引入这些工具，也需要使用得当，理解，熟悉用法，才是运维之道。

结合：MySQL官方工具 + 开源工具详细讲解
视频：https://www.modb.pro/course/play/97?lsId=4647
PPT：https://www.modb.pro/doc/38657