你好,游客 登录 注册 搜索
背景:
阅读新闻

HBase写入性能调优

[日期:2016-01-25] 来源:Manny很忙  作者: [字体: ]

优化指定客户机群的单台HBase节点的稳定写入速度至不少于9.4MB/s。(1)关掉HLog

put.setWriteToWAL(false);

(2)加大JVM内存>=90GB

(3)使用mapreduce批量写入(4)调大写缓存,调小读缓存

hbase.regionserver.global.memestore.upperlimit = 0.5
 hfile.block.cache.size = 0.3

(5)使用批量写

table.put(puts)

(6)autoflush设置

table.setAutoFlush(false)
 ...
 table.flushCommits();
 或者设置 hbase.client.write.buffer

(7)延迟日志flush

hbase.regionserver.optionallogflushinterval
 默认1s,增大改值

(8)增大regionserver handler数量

hbase.regionserver.handler.count=300




收藏 推荐 打印 | 录入:elainebo | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款