千锋教育-做有情怀、有良心、有品质的职业教育机构
0.96以下版本的三层架构
meta表的rowKey由表名、起始key、时间戳组成，如果起始key为空，则表示第一个region，按照起始key排序使得行键不需要终止key就能表示范围。 值则是终止Key、列族、列值，该RegionServer的地址等等。
meta表由于数据量过大可能被分割由多个RS存储，因此又设置了root表存放meta表中所有的region，以及该region所属的meta表的位置。
因此三层架构需要三次跳转才能获取到HRegion，如果缓存失效则需要6次，理论上三层架构最少都能存储2ZB的数据。
0.96以上版本的双层架构,三层架构使hbase最少存2ZB的数据，事实上根本用不到这么多，于是删除了root表，只使用meta表定位，meta表的一个region最多可以定位16TB的行键范围，假设一个行键范围包括10条数据，就已经是160TB了，假如一个region大于128M，则更多了，因此根本不需要root表。
hive外部表是使用external关键字并指定一个hdfs目录创建的表。hive内部表在创建时会在对应hive目录下创建相应的文件夹，外部表则以指定文件夹为...详情>>
2022-09-02 17:21:00
Checkpoint是为runtime准备的，Savepoint 是为用户准备的。Checkpoint 机制的目标在于保证Flink作业意外崩溃重启不影响exactly once 准确性，通...详情>>
2022-09-02 16:59:22
State：指一个具体的Task/Operator的状态。State可以被记录，在失败的情况下数据还可以恢复，Flink中有两种基本类型的State： Keyed State， Op...详情>>
2022-09-02 16:59:19
Flink 内部是基于producer-consumer模型来进行消息传递的，Flink的反压设计也是基于这个模型。Flink 使用了高效有界的分布式阻塞队列，就像 Jav...详情>>
2022-09-02 16:59:16
虽说水位线(Watermark)表明早于它的事件不应该再出现，但是接收到水位线以前的的消息是不可避免的，这就是所谓的迟到事件。实际上迟到事件是乱...详情>>
2022-09-02 16:59:00
京公网安备 11010802030320号