离线数仓导入数据时，kafka如何保证数据有序性？ 2022-08-29
kafka本身就是保障分区内的数据有序，但是主题有多个分区，这个主题的多有数据不敢保证有顺序，所以我们需要为进入topic的数据做好key的分配(...详情>
HRegionServer宕机后如何保证可用性 2022-08-25
HMaster 收到 HRegionServer 宕机的通知，它的职责是重新分配 region，分配的方式是把 region 信息放在 Zookeeper ，等待健康的 Regionserver ...详情>
HBase数据写入流程分析 2022-08-25
1、向 zookeeper 发起请求，获得 META 所在的 region，再根据 table、namespace、rowkey 信息去 META 表中找到目标数据对应的 Region 信息以及...详情>
HBase的Compact流程 2022-08-25
* Minor 操作会获取相邻的部分小StoreFile来执行合并操作，不做清理多版本数据和删除数据的操作，尽量不影响集群的正常工作。 * Major 操作是...详情>
HBase Region分裂流程是什么？ 2022-08-25
* 首先更改当前 Region 在 Zookeeper 中的状态为 SPLITING。master 也会同步这个状态。 * 生成两个子文件，只存储切分点 splitkey 和一个 Bool...详情>
国内代理IP如何收集大数据 2022-08-18
例如，电子表格中的行和列中呈现的数据通常属于结构化类型。它不仅可以是时间，还可以是位置、联系人或设备信息以及 IP 地址。半结构化数据的...详情>
代理IP下如何使用大数据分析 2022-08-18
通过评估描述型数据，诊断分析工具能够让数据分析师深入地分析数据，钻取到数据的核心ip转换软件。通过代理ipip转换软件开展爬虫挖掘数据是第...详情>
大数据采集方法有哪些 2022-08-18
该系统采用分布式结构，可以满足每秒数百MB的日志数据采集和传输需要，例如，Scribe是Facebook开放源码的日志采集系统，可以从各种日志源中收...详情>
数据仓库开发架构包含层次说明 2022-08-12
数据仓库是大数据技术应用的重要体现方式之一，数据仓库开发架构主要分为STG、ODS、DWD、DWS、ADS和DIM共6个层次，数据从底层开始，向上层进行...详情>
IntelliJ Idea常用快捷键列表(建议收藏) 2022-08-12
【常用命令】Ctrl+Shift + Enter，语句完成；“!”，否定完成，输入表达式时按 “!”键；Ctrl+E，最近的文件；Ctrl+Shift+E，最近更改的文件；...详情>
京公网安备 11010802030320号