hbase的主要内容（Hbase与HDFS是什么关系）
本文目录
Hbase与HDFS是什么关系
HDFS是GFS的一种实现，他的完整名字是分布式文件系统，类似于FAT32，NTFS，是一种文件格式，是底层的，Hadoop HDFS为HBase提供了高可靠性的底层存储支持。
HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统。
扩展资料：
Hadoop 中各模块的作用：
1、Hadoop HDFS为HBase提供了高可靠性的底层存储支持。
2、Hadoop MapReduce为HBase提供了高性能的计算能力。
3、Zookeeper为HBase提供了稳定服务和failover机制。
4、Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变得非常简单。
5、Sqoop则为HBase提供了方便的RDBMS（关系型数据库）数据导入功能，使得传统数据库数据向HBase中迁移变得非常方便。
HBase MemStore简介
MemStore 是 HBase 非常重要的组成部分，MemStore 作为 HBase 的写缓存，保存着数据的最近一次更新，同时是HBase能够实现高性能随机读写的重要组成。
HBase Table 的每个 Column family 维护一个 MemStore，当满足一定条件时 MemStore 会执行一次 flush，文件系统中生成新的 HFile。 而每次 Flush 的最小单位是 Region 。
MemStore的主要作用：
如果一个 HRegion 中 MemStore 过多（Column family 设置过多），每次 flush 的开销必然会很大，并且生成大量的 HFile 影响后续的各项操作，因此建议在进行表设计的时候尽量减少 Column family 的个数。
MemStore 无论是对 HBase 的写入还是读取性能都至关重要，其中 flush 操作又是 MemStore 最核心的操作。MemStore 在多种情况下会执行一次 Flush 操作：
再次注意，MemStore 的 最小 flush 单元是 HRegion 而不是单个 MemStore 。
更新被阻塞对单个节点和整个集群的影响都很大，需要关注 MemStore 的大小和 Memstore Flush Queue 的长度。
为了减少 flush 过程对读写的影响，HBase 采用了类似于两阶段提交的方式，将整个 flush 过程分为三个阶段：
上述 flush 流程可以通过日志信息查看：
整个 flush 过程可能涉及到 compact 操作和 split 操作，因为过于复杂，不做详细讲解。
正常情况下，大部分 Memstore Flush 操作都不会对业务读写产生太大影响，比如：定期刷新 MemStore、手动触发、单个 MemStore flush、Region 级别的 flush 以及超过 HLog 数量限制等情况，这几种场景只会短暂的阻塞对应 Region 上的写请求，阻塞时间很短，毫秒级别。
然而 一旦触发 Region Server 级别的限制导致 flush，就会对用户请求产生较大的影响 。会阻塞所有落在该 RegionServer 上的更新操作，阻塞时间很长，甚至可以达到分钟级别。
导致触发 RegionServer 级别限制的主要因素：
- Region Server 上运行的 Region 总数
Region 越多，Region Server 上维护的 MemStore 就越多。根据业务表读写请求量和 RegionServer 可分配内存大小，合理设置表的分区数量（预分区的情况）。
- Region 上的 Store 数（表的 Column family 数量）
每个 Column family 会维护一个 MemStore，每次 MemStore Flush，会为每个 Column family 都创建一个新的 HFile。当其中一个CF的 MemStore 达到阈值 flush 时，所有其他CF的 MemStore 也会被 flush，因此不同CF中数据量的不均衡将会导致产生过多 HFile 和小文件，影响集群性能。很多情况下，一个CF是最好的设计。
频繁的 MemStore Flush 会创建大量的 HFile。在检索的时候，就不得不读取大量的 HFile，读性能会受很大影响。为预防打开过多 HFile 及避免读性能恶化（读放大），HBase 有专门的 HFile 合并处理（HFile Compaction Process），根据一定的策略，合并小文件和删除过期数据。后续的文章会有详细介绍。
HBase应用场景
1、用户画像
比如大型的视频网站，电商平台产生的用户点击行为、浏览行为等等存储在HBase中为后续的智能推荐做数据支撑。
2、消息/订单存储
这个场景主要应用在电商平台，因为HBase提供了一个低延时、高并发的访问能力
3、对象存储
这里的对象存储实际是中等对象存储，是对HDFS存储文件的一个缓冲过度，因为如果我们大量的1M或2M这种小文件直接存储在HDFS上，会对NAMENODE造成元数据维护的压力，所以在HBase中可以很好的做过度合并后在持久化到HDFS上。HBase提供了中等对现象的存储能力，中等对象的大小范围在100k至10M之间。
4、时序数据
这里的时序数据是指随着时间而变化的数据，比如速度的展示，天气、温度、风速、车流量等等
5、Cube分析（KyLin）
通过KyLin将Hive或kafka中的数据，来构建Cube，这些Cube会存储在HBase中，以供其他的应用或其他的系统做实时查询或实时展示。
6、Feeds流
这个场景主要是应用在抖音、或其他小视频系统中，可以把Feeds流理解为一种内容聚合器，它可以帮助用户实时的获取最新的订阅源内容。
更多文章：
entertainment系列（全球一线游戏制作公司有哪些）
2025年9月21日 01:00
下拉框选择怎么设置多个内容（Excel数据有效性设置的下拉菜单内容有多个，但选择时只能单选，如何设置下拉菜单，可以在选择时多选）
2025年7月29日 03:15
2026年8月9日 12:00
find命令排除目录（如何用find命令只查找到文件，但不包括目录）
2026年2月25日 16:15
坐卧铺换票卡是什么意思（火车上，卧铺的车票为什么要换牌有什么作用）
2025年10月31日 08:45
2025年8月7日 04:15
microchip英文介绍（帮忙翻译，要求使用被动语态，谢谢啊）
2026年9月3日 12:00
2025年12月27日 13:15
2026年3月12日 01:45
2026年9月14日 06:00
网页游戏小小忍者游戏单机版，有源代码的详细说下怎么弄（本人菜鸟）？求网页游戏《倾城》服务端和客户端源码
2026年7月11日 08:45
2026年9月3日 18:15
2026年3月3日 03:00
java颜色代码表（Cult3D 高级教程之改变材质颜色的java代码）
2025年7月27日 00:00
C#如何将UTF8的编码转回汉字？各位大神这个编码怎么转换成汉字，必须
2025年7月30日 12:30
502 bad gateway nginx是什么意思（电脑出现502bad gateway怎么解决）
2026年3月7日 02:30
2026年9月18日 22:00
2025年6月16日 10:00
2026年8月4日 03:45
gridview更新编辑（C#后台动态生成的gridview怎么加入 编辑 更新 取消）
2026年5月30日 05:15
