MySQL Binlog日志三种模式

小柒助手

529
文章

133
评论

2020年8月5日10:00:33MySQL评论60.7K1字数 3142阅读10分28秒阅读模式2022年11月25日

binlog 基本认识

MySQL的二进制日志可以说是MySQL最重要的日志了，它记录了所有的DDL和DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。

一般来说开启二进制日志大概会有1%的性能损耗(参见MySQL官方中文手册 5.1.24版)。
文章源自小柒网-https://www.yangxingzhen.cn/7421.html

二进制有两个最重要的使用场景:
文章源自小柒网-https://www.yangxingzhen.cn/7421.html

其一：MySQL Replication在Master端开启binlog，Mster把它的二进制日志传递给slaves来达到master-slave数据一致的目的。
文章源自小柒网-https://www.yangxingzhen.cn/7421.html

其二：自然就是数据恢复了，通过使用mysqlbinlog工具来使恢复数据。
文章源自小柒网-https://www.yangxingzhen.cn/7421.html

二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的DDL和DML(除了数据查询语句)语句事件。
文章源自小柒网-https://www.yangxingzhen.cn/7421.html

Mysql复制主要有三种方式：
文章源自小柒网-https://www.yangxingzhen.cn/7421.html

基于SQL语句的复制(statement-based replication, SBR)
基于行的复制(row-based replication, RBR)
混合模式复制(mixed-based replication, MBR)

对应的，Binlog的格式也有三种：STATEMENT、ROW、MIXED。
文章源自小柒网-https://www.yangxingzhen.cn/7421.html

1）STATEMENT模式（SBR）

每一条会修改数据的sql语句会记录到binlog中。优点是并不需要记录每一条sql语句和每一行的数据变化，减少了binlog日志量，节约IO，提高性能。缺点是在某些情况下会导致master-slave中的数据不一致(如sleep()函数， last_insert_id()，以及user-defined functions(udf)等会出现问题)
文章源自小柒网-https://www.yangxingzhen.cn/7421.html

2）ROW模式（RBR）

不记录每条sql语句的上下文信息，仅需记录哪条数据被修改了，修改成什么样了。而且不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发无法被正确复制的问题。缺点是会产生大量的日志，尤其是alter table的时候会让日志暴涨。
文章源自小柒网-https://www.yangxingzhen.cn/7421.html

3）MIXED模式（MBR）

以上两种模式的混合使用，一般的复制使用STATEMENT模式保存binlog，对于STATEMENT模式无法复制的操作使用ROW模式保存binlog，MySQL会根据执行的SQL语句选择日志保存方式。
文章源自小柒网-https://www.yangxingzhen.cn/7421.html

行模式和语句模式的区别

1）语句模式：100万条记录，只需1条delete * from test;就可以删除100万条记录

2）row模式：100万条记录，记录100万条删除命令

企业场景如何选择binlog模式

1、互联网公司，使用MySQL的功能相对少（存储过程、触发器、函数）选择默认的语句模式，Statement Level（默认）

2、公司如果用到使用MySQL的特殊功能（存储过程、触发器、函数）则选择Mixed模式

3、公司如果用到使用MySQL的特殊功能（存储过程、触发器、函数）又希望数据最大化一致，此时最好选择Row level模式

binlog复制配置

# 在数据库中查看binlog模式

mysql> show global variables like "%binlog_format%";

查询结果是ROW模式，这里我想修改成MIXED模式

方法一：无需重启Mysql，重启Mysql失效

mysql> set global binlog_format='MIXED';

方法二：永久生效，需要重启Mysql生效

在Mysql的配置文件my.cnf中，可以通过以下选项配置binglog相关

# bin-log日志文件
log-bin = mysql-bin
# Mysql服务ID号
server-id = 1
# binlog日志过期清理时间
expire_logs_days = 7
# 定义binlog的模式为Mixed Level模式，默认为Statement Level
binlog_format = MIXED
# 设置binlog日志文件最大大小,达到512M，自动生成新的Binlog文件
max_binlog_size = 512M
# binlog缓存大小
binlog_cache_size = 4m
# 最大binlog缓存大小
max_binlog_cache_size = 512m

MIXED说明

对于执行的SQL语句中包含now()这样的时间函数，会在日志中产生对应的unix_timestamp()*1000的时间字符串，slave在完成同步时，取用的是sqlEvent发生的时间来保证数据的准确性。另外对于一些功能性函数slave能完成相应的数据同步，而对于上面指定的一些类似于UDF函数，导致Slave无法知晓的情况，则会采用ROW格式存储这些Binlog，以保证产生的Binlog可以供Slave完成数据同步。

现在来比较以下SBR和RBR 两者中模式各自的优缺点：

SBR 的优点：

历史悠久，技术成熟
binlog文件较小
binlog中包含了所有数据库更改信息，可以据此来审核数据库的安全等情况
binlog可以用于实时的还原，而不仅仅用于复制
主从版本可以不一样，从服务器版本可以比主服务器版本高

SBR 的缺点：

不是所有的UPDATE语句都能被复制，尤其是包含不确定操作的时候。
调用具有不确定因素的 UDF 时复制也可能出问题
使用以下函数的语句也无法被复制：
* LOAD_FILE()
* UUID()
* USER()
* FOUND_ROWS()
* SYSDATE() (除非启动时启用了--sysdate-is-now选项)
INSERT ... SELECT会产生比RBR更多的行级锁
复制需要进行全表扫描(WHERE 语句中没有使用到索引)的 UPDATE 时，需要比 RBR 请求更多的行级锁
对于有 AUTO_INCREMENT 字段的 InnoDB表而言，INSERT 语句会阻塞其他 INSERT 语句
对于一些复杂的语句，在从服务器上的耗资源情况会更严重，而 RBR 模式下，只会对那个发生变化的记录产生影响
存储函数(不是存储过程)在被调用的同时也会执行一次 NOW() 函数，这个可以说是坏事也可能是好事
确定了的 UDF 也需要在从服务器上执行
数据表必须几乎和主服务器保持一致才行，否则可能会导致复制出错
执行复杂语句如果出错的话，会消耗更多资源

RBR 的优点：

任何情况都可以被复制，这对复制来说是最安全可靠的
和其他大多数数据库系统的复制技术一样
多数情况下，从服务器上的表如果有主键的话，复制就会快了很多
复制以下几种语句时的行锁更少：
* INSERT ... SELECT
* 包含 AUTO_INCREMENT 字段的 INSERT
* 没有附带条件或者并没有修改很多记录的 UPDATE 或 DELETE 语句
执行INSERT、UPDATE、DELETE语句时锁更少
从服务器上采用多线程来执行复制成为可能