你好,游客 登录
背景:
阅读新闻

Apache HBase2.0已经正式发布

[日期:2018-05-07] 来源:网络大数据  作者: [字体: ]

激动

HBase2.0 啥时候发布?好奇宝宝也是期待了很久,曾几何时都把stack问“烦”了,就在2018年4月30日中午,期待已久的HBase 2.0发布啦!

 

HBase

 

你是不是也很迫不及待想了解它?这次,作为一枚HBase搬运工,已经为你准备好了一大波 HBase 2.0.0导读材料,拿走不谢~

北京时间2018年4月30日(星期一) 中午12:24,HBase的“掌门人”Michael Stack 在Announce Mail List中宣布了HBase 2.0.0 版本正式Release,大家可以开始下载使用了。

膜拜

拜读stack大神announce email原文,激动人心的时刻:

邮件简述了HBase 2.0.0 有新版Assignment Manager V2,offhead read/write, in-memory compaction等。你是不是也很好奇,HBase 2.0 到底还有有哪些features?https://s.apache.org/hbase-2.0.0-JIRA-changes 上显示了HBase2.0.0相关的issue多达4551个issue, 这么多改动,还有哪些features值得关注一下呢?

了解

下面整理了一些HBase2.0.0 主要的feature介绍,更多特性,可以参考上述链接:

1.A new Region assignment manager ("AMv2") ,HBASE-14350 , HBASE-14614

AssignmentManager V2基于Procedure V2实现,能够更快速的分配Region,维护的region状态机存储不再依赖于ZooKeeper。亲可以搭建一个hbase2.0 集群,查看ZK节点列表,已经找不到类似region-in-transistion节点了。

2.Offheaping of Read/Write Path HBASE-11425,HBASE-15179

读写路径中,使用Offheap区的内存,大大减少GC压力,提高稳定性、降低99延时。细节见下面offheap扩展阅读材料。

3.In-Memory Compaction HBASE-17343

重新设计了CompactingMemStore 替代 DefaultMemStore,数据会在内存中事先进行合并compact,有效提高后续常规compaction的效率。

4.NettyRpcServer HBASE-17263 其实并不新鲜,早在1.x 淘宝就有使用,现在2.0 开始默认使用NettyRpcServer

使用Netty替代HBase原生的RPC server,大大提升了HBaseRPC的吞吐能力,降低了延迟

5.Async Client HBASE-16833 HBASE-15921

Client不在是原来同步等待,而是利用异步RPC机制,大大提高Client端请求并发度,有效提高资源利用率,扩大吞吐。

7. Support for MOB (Medium-Sized Objects) HBASE-11339

MOB特性使得HBase支持存储小于10MB 的中等媒体对象数据,相比原来直接存储大对象插入hbase,其读写效率更高;Mob数据存储还是以hfile格式存储,兼容HBase现有特性,如snapshot、bulkload、replication等。MOB数据文件有独立的compaction和expire clean机制,稳定性更可控。

研究

还不过瘾?下面还真为热爱专研的砖友们网罗了一些hbase2.0特性详细的扩展阅读!都是大神执笔的干货:

1. hbase2.0 in-memory compaction
2. hbase2.0 read replicas 功能介绍
3. 基于HBase2.0上的备份恢复
4. hbase2.0 offheap write
5. hbase2.0 offheap read
https://issues.apache.org/jira/browse/HBASE-11425
https://blogs.apache.org/hbase/search?q=offheap
6. hbase2.0 MOB 设计文档
7. HBase2.0 MOB 使用手册
8. HBase2.x Backup/Restore
9. HBase2.0 release issue
10. HBase 2.0 NettyRpcServer
11. hbase2.0 In-memory compaction
12. HBase 2.0 AMv2
https://docs.google.com/document/d/1jkIblLGxO4qgjo5lQOhAAypgDfxA_BEfxiPmcgDK0Do/edit
https://docs.google.com/document/d/1eVKa7FHdeoJ1-9o8yZcOTAQbv0u0bblBlCCzVSIn69g/edit#heading=h.xp9zndoycwj
https://docs.google.com/document/d/1DS44uwadHCbEK5rbx5itcjan-KsBlfQCQYYXB0A_gAM/edit?usp=sharing
13. HBase 2.0 ProcedureV2

官方下载&指南

HBase 2.0.0 安装包下载地址:http://www.apache.org/dyn/closer.lua/hbase/2.0.0/

官方阅读:

1. https://s.apache.org/hbase-2.0.0-JIRA-changes 所有hbase2.0相关的jira,subtask

2. http://hbase.apache.org/2.0/book.html#hbase.versioning.post10 最新的HBase 2.0.0官方指南

3. http://apache.mirrors.tds.net/hbase/2.0.0/compatibiliity_report_1.2.6vs2.0.0.html 整理了v1.2.6和v2.0.0版本之间的兼容性报告

其他更多优化特性,不一一列举,后续可能会由”云HBase“小组为你带来更多HBase 2.0细节上的特性优化文章分享。





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款