`
hot66hot
  • 浏览: 442424 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

MySQL 研究innodb_max_purge_lag分享

阅读更多
现象:
线上数据库每个表分配一个ibdata,但是总的ibdata文件很大,超过10G,用相关工具查看,大部分空间都是undo_log

分析了db33的ibdata1的记过
Total number of page: 2398464: 2.4M的page * 16K = 38G
Insert Buffer Free List: 2659
B-tree Node: 5720
Freshly Allocated Page: 12725
Undo Log Page: 2352027
File Segment inode: 25333
可以看到绝大部分的空间,都是被undo log占用了....


分析:
undo log 过大 看来是Mysql的一个“problematic feature” 从03年到现在一直都有人抱怨这个问题。有补丁(需要自己修改源码编译),但是不知道是否可靠...
http://bugs.mysql.com/bug.php?id=57611
http://bugs.mysql.com/bug.php?id=1341
出现的原因的一个可能原因:purge 线程赶不上速度,没有即使回收不用的undo page。可以增加一些
这里面http://bugs.mysql.com/bug.php?id=45173 有人提出一些优化参考的方案:
增大innodb_io_capacity (mysq 5.0不支持 5.1才有)
设置独立的purge thread mysql 5.0不支持,5.5才有
调节 innodb_max_purge_lag 这个值表明,当purge赶不上写操作的时候,写操作delay的时间指标,我们是0,表示不等待,有可能大并发写,purge落后

查看了一下文档,结论:不推荐用innodb_max_purge_lag来实现undo log扩充的问题。
主要原因如下:
1,innodb_max_purge_lag调节参数不好设定,调整不好会强烈影响到正常insert,update的时效,得不偿失
2,innodb_max_purge_lag,有人实验证明,该参数调节影响不是很大,对delete,insert没有作用,副作用大,强烈不推荐 http://mysqldump.azundris.com/archives/81-DELETE,-innodb_max_purge_lag-and-a-case-for-PARTITIONS.html

undo log较大的原因是:
1,Mysql 每10S操作一次purge
2,每次purge mysql做多回收20 page 的undo log

如果10S之内删除,update的数据操作20 page,也就是320K的东西,就会出现purge 回收不及时的情况,就会出现undo log过大。

对应的 queue表,是删除过一次,平均queue数据长度为292 因此只要1S删除queue表超过100行,就会出现上述情况。因此只要线上大规模 delete 数据就会出现删除不干净的情况。


解决方案:
1,delete操作,脚本控制,不要一口气删除感觉,要sleep,控制在1S删除100条的速度  这个已经证明是一个非常好的方案。删除短信数据的时候,如果速度过快,ibdata显著增加,如果控速适当,该文件是根本不会增加的
2, 如果是全表删除,推荐truncate,ddl不会写undo
3, 如果是delete + where 删除的需求,也可以考虑建立新表,导入部分旧表数据+truncate 旧表的方式,
4, DAO层面支持分表操作,彻底去掉删除大表数据这种事情
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics