千锋教育-做有情怀、有良心、有品质的职业教育机构
Memory Channel有很大的丢数据风险，而且容量一般，File Channel虽然能缓存更多的消息，但如果缓存下来的消息还没写入Sink，此时Agent出现故障则File Channel中的消息一样不能被继续使用，直到该Agent恢复。
而Kafka Channel容量大，容错能力强。
有了Kafka Channel可以在日志收集层只配置Source组件和Kafka组件，不需要再配置Sink组件，减少了日志收集层启动的进程数，有效降低服务器内存、磁盘等资源的使用率。
而日志汇聚层，可以只配置Kafka Channel和Sink，不需要再配置Source。
kafka.consumer.auto.offset.reset，当Kafka中没有Consumer消费的初始偏移量或者当前偏移量在Kafka中不存在（比如数据已经被删除）情况下 Consumer选择从Kafka拉取消息的方式，earliest表示从最早的偏移量开始拉取，latest表示从最新的偏移量开始拉取，none表示如果没有发现该 Consumer组之前拉取的偏移量则抛出异常。
上一篇
说说File Channel下一篇
介绍一下Kafka几种Sink
hive外部表是使用external关键字并指定一个hdfs目录创建的表。hive内部表在创建时会在对应hive目录下创建相应的文件夹，外部表则以指定文件夹为...详情>>
2022-09-02 17:21:00
Checkpoint是为runtime准备的，Savepoint 是为用户准备的。Checkpoint 机制的目标在于保证Flink作业意外崩溃重启不影响exactly once 准确性，通...详情>>
2022-09-02 16:59:22
State：指一个具体的Task/Operator的状态。State可以被记录，在失败的情况下数据还可以恢复，Flink中有两种基本类型的State： Keyed State， Op...详情>>
2022-09-02 16:59:19
Flink 内部是基于producer-consumer模型来进行消息传递的，Flink的反压设计也是基于这个模型。Flink 使用了高效有界的分布式阻塞队列，就像 Jav...详情>>
2022-09-02 16:59:16
虽说水位线(Watermark)表明早于它的事件不应该再出现，但是接收到水位线以前的的消息是不可避免的，这就是所谓的迟到事件。实际上迟到事件是乱...详情>>
2022-09-02 16:59:00
京公网安备 11010802030320号