过来人的职场经验,如何寻找适合自己的企业? 2022-09-14
但并不是所有人都足够幸运,能够快速找到适合自己的测试工作,如果当你找到了其它平台下的测试,也不用过于担心,就像小编说的,可能不同的项...详情>
Flink是如何保证Exactly-once语义? 2022-09-02
Flink通过实现两阶段提交和状态保存来实现端到端的一致性语义。分为以下几个步骤: 开始事务( beginTransaction ) 创建一个临时文件夹,来写...详情>
CEP复杂事件处理 2022-09-02
可以针对特定的要求进行复杂事件处理。例如一个窗口中可以添加CEP功能,对多条件的数据进行多次判断,如果一旦达到标准就触发次复杂事件详情>
Flink 中的Watermark机制 2022-09-02
Watermark是一种衡量Event Time进展的机制,可以设定延迟触发,Watermark是用于处理乱序事件的,而正确的处理乱序事件,通常用Watermark机制结...详情>
Flink支持哪几种重启策略?分别如何配置? 2022-09-02
重启策略种类:固定延迟重启策略(Fixed Delay Restart Strategy)故障率重启策略(Failure Rate RestartStrategy)无重启策略(No Restart St...详情>
Trigger条件触发功能 2022-09-02
可以针对时间大小或者数据量充当条件,在整个窗口未达到标准的时候,进行任务执行,触发运行Job。然后当编写trigger后,就需要对流数据进行判...详情>
什么是ETL? 2022-09-02
1. Nginx的日志可以通过Flume抽取到HDFS上。2. Mysql的数据可以通过 Sqoop 抽取到 Hive 中,同样 Hive 的数据也可以通过 Sqoop 抽取到 Mysql ...详情>
迟到的数据该怎样处理? 2022-09-02
一般的app数据采集可能会存在数据上报延时,因此数据会存在两个时间:数据生成的时间和服务器收到的时间。由于我们底层数据都是按时间来做天的...详情>
ClickHouse支不支持更新? 2022-09-01
但不是真正的更新和删除,使用:alter table xxx 实现 更新、删除的数据,只有在分片时才会真正的清理详情>
Flume会不会发生数据重复,解释说明?(常见) 2022-09-01
会,我们在获取Channel批次数据的时候,每个批次是基于一个事务性的,一旦发生宕机或者Flume进行挂掉,那么就会回滚,数据写入失败,下次再重...详情>