X
活动推荐

阿里云高性能云主机2折293元/年

企业级性能云服务器限时2折起
新用户5折爆款服务器会场
查看详情
阅读模式:

mysql5.7主从同步中binlog同步模式详解

查看:4761  回复:0  类型:  来源:博客园-chuquan.ou  标签 centos linux mysql

        mysql5.7主从同步中binlog同步模式(binlog_format)中MIXED模式效率和稳定性最好。

        mysql复制主要有三种方式:基于SQL语句的复制(statement-based replication, SBR),基于行的复制(row-based replication, RBR),混合模式复制(mixed-based replication, MBR)。对应的,binlog的格式也有三种:STATEMENT,ROW,MIXED。

一、同步模式

    1.STATEMENT模式(SBR) 

        每一条会修改数据的sql语句会记录到binlog中。优点是并不需要记录每一条sql语句和每一行的数据变化,减少了binlog日志量,节约IO,提高性能。缺点是在某些情况下会导致master-slave中的数据不一致(如sleep()函数, last_insert_id(),以及user-defined functions(udf)等会出现问题)

    2.ROW模式(RBR)

        不记录每条sql语句的上下文信息,仅需记录哪条数据被修改了,修改成什么样了。而且不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发无法被正确复制的问题。缺点是会产生大量的日志,尤其是alter table的时候会让日志暴涨。

    3.MIXED模式(MBR)

        以上两种模式的混合使用,一般的复制使用STATEMENT模式保存binlog,对于STATEMENT模式无法复制的操作使用ROW模式保存binlog,MySQL会根据执行的SQL语句选择日志保存方式。


二、binlog复制配置

    在mysql的配置文件my.cnf中,可以通过一下选项配置binglog相关

binlog_format           = MIXED                         //binlog日志格式,mysql默认采用statement,建议使用mixed
log-bin                 = /data/mysql/mysql-bin.log    //binlog日志文件
expire_logs_days        = 7                           //binlog过期清理时间
max_binlog_size         = 100m                       //binlog每个日志文件大小
binlog_cache_size       = 4m                        //binlog缓存大小
max_binlog_cache_size   = 512m                     //最大binlog缓存大小

三 MIXED说明

        对于执行的SQL语句中包含now()这样的时间函数,会在日志中产生对应的unix_timestamp()*1000的时间字符串,slave在完成同步时,取用的是sqlEvent发生的时间来保证数据的准确性。另外对于一些功能性函数slave能完成相应的数据同步,而对于上面指定的一些类似于UDF函数,导致Slave无法知晓的情况,则会采用ROW格式存储这些Binlog,以保证产生的Binlog可以供Slave完成数据同步。

现在来比较以下 SBR 和 RBR 2中模式各自的优缺点:

SBR 的优点:

历史悠久,技术成熟
binlog文件较小
binlog中包含了所有数据库更改信息,可以据此来审核数据库的安全等情况
binlog可以用于实时的还原,而不仅仅用于复制
主从版本可以不一样,从服务器版本可以比主服务器版本高


SBR 的缺点:

不是所有的UPDATE语句都能被复制,尤其是包含不确定操作的时候。
调用具有不确定因素的 UDF 时复制也可能出问题
使用以下函数的语句也无法被复制:
* LOAD_FILE()
* UUID()
* USER()
* FOUND_ROWS()
* SYSDATE() (除非启动时启用了 --sysdate-is-now 选项)
INSERT ... SELECT 会产生比 RBR 更多的行级锁
复制需要进行全表扫描(WHERE 语句中没有使用到索引)的 UPDATE 时,需要比 RBR 请求更多的行级锁
对于有 AUTO_INCREMENT 字段的 InnoDB表而言,INSERT 语句会阻塞其他 INSERT 语句
对于一些复杂的语句,在从服务器上的耗资源情况会更严重,而 RBR 模式下,只会对那个发生变化的记录产生影响
存储函数(不是存储过程)在被调用的同时也会执行一次 NOW() 函数,这个可以说是坏事也可能是好事
确定了的 UDF 也需要在从服务器上执行
数据表必须几乎和主服务器保持一致才行,否则可能会导致复制出错
执行复杂语句如果出错的话,会消耗更多资源

RBR 的优点:

任何情况都可以被复制,这对复制来说是最安全可靠的
和其他大多数数据库系统的复制技术一样
多数情况下,从服务器上的表如果有主键的话,复制就会快了很多
复制以下几种语句时的行锁更少:
* INSERT ... SELECT
* 包含 AUTO_INCREMENT 字段的 INSERT
* 没有附带条件或者并没有修改很多记录的 UPDATE 或 DELETE 语句
执行 INSERT,UPDATE,DELETE 语句时锁更少
从服务器上采用多线程来执行复制成为可能

RBR 的缺点:

binlog 大了很多
复杂的回滚时 binlog 中会包含大量的数据
主服务器上执行 UPDATE 语句时,所有发生变化的记录都会写到 binlog 中,而 SBR 只会写一次,这会导致频繁发生 binlog 的并发写问题
UDF 产生的大 BLOB 值会导致复制变慢
无法从 binlog 中看到都复制了写什么语句
当在非事务表上执行一段堆积的SQL语句时,最好采用 SBR 模式,否则很容易导致主从服务器的数据不一致情况发生

另外,针对系统库 mysql 里面的表发生变化时的处理规则如下:
如果是采用 INSERT,UPDATE,DELETE 直接操作表的情况,则日志格式根据 binlog_format 的设定而记录
如果是采用 GRANT,REVOKE,SET PASSWORD 等管理语句来做的话,那么无论如何都采用 SBR 模式记录
注:采用 RBR 模式后,能解决很多原先出现的主键重复问题。

来源:https://www.cnblogs.com/langtianya/p/5504774.html

分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
shell脚本统计当前服务器并发连接数   阅读:6049php翻转字符串   阅读:2627javascript点击复制内容   阅读:5673mysql 为什么添加索引可以提高访问速度   阅读:5229web项目高并发量网站解决方案   阅读:3896javascript点击复制内容   阅读:5673linux教程,鸟哥私房菜(pdf全集)   阅读:7706霍金24岁博士毕业论文在线预览   阅读:4822把php session 会话保存到redis   阅读:6275phpexcel 超简单从数据库一键导出数据到excel教程   阅读:6412mysql中文分词全文搜索索引讯搜的安装   阅读:5714centos 7 添加 redis 3.2.9 开机启动脚本   阅读:8197php文件下载防盗链   阅读:8713html5 离线缓存的使用   阅读:3698centos 7 开启网络   阅读:5479给 centos 7 安装桌面环境   阅读:15599一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:117250关于PHP程序员技术职业生涯规划   阅读:2006mysql5.7开启sql日志的配置   阅读:7625网站局部小图片优化-base64编码图片   阅读:8223javascript点击复制内容   阅读:5673php生成二维码   阅读:5385用php从1乘到100的值   阅读:5511移动端自适应rem原理   阅读:8642最简单的Banner轮播淡入淡出效果代码及实现思路(附带源码)   阅读:11970比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:4379centos 7 安装 nginx-1.11.10   阅读:7260php压缩页面的html代码一行显示   阅读:6148linux时间戳有趣的情人节秒1234567890   阅读:4749mysql共享锁和排他锁详解   阅读:6194centos 7 设置 nginx-1.11.10 开机启动   阅读:7103html5 离线缓存的使用   阅读:3698分享:淘宝技术这十年   阅读:4108面试都会问你为什么你从上一家公司离职的真实意思   阅读:9678php中地址引用&的真正理解-变量引用、函数引用、对象引用   阅读:4840csv文件一键导入数据到mysql数据库   阅读:5763面试的时候回去等通知,等电话的真实意思   阅读:20753shell脚本批量删除几天前的文件   阅读:8006centos 7 添加 redis 3.2.9 开机启动脚本   阅读:8197给 centos 7 安装桌面环境   阅读:15599linux rarcrack破解rar、zip和7z压缩包简单密码的工具   阅读:14024php 统计网页打开耗时和脚本运行内存   阅读:5910php打印九九加法表   阅读:8373关于PHP程序员技术职业生涯规划   阅读:2006web性能测试工具ab的测试方法   阅读:4000php删除一个文件夹内的所有文件夹和文件   阅读:4151php翻转字符串   阅读:2627php显示刚刚、几分钟前、几小时前、几天前的函数   阅读:7040霍金24岁博士毕业论文在线预览   阅读:4822session与cookie的区别   阅读:3570