所有events,增加头,类似json格式里的"headers":{" key":" value"} 时间戳（头部插入时间戳）、主机（头部插入主机名和IP）、静态（头部插入指定KV）、正则过滤（留下符合条件的）、自定义 拦截器作用 1）ETL拦截器：轻度清洗，过滤出Json格式不完整的数据 2）时间拦截器：提取日志时间作为分区的依据，避免零点漂移问题 自定义拦截器步骤 1）实现Interceptor 2）重写方法 （1）initialize初始化方法 （2）public Event intercept(Event event) 处理单个Event （3）public List intercept(List events) 处理多个Event，在这个方法中调用Event intercept(Event event) （4）close方法 3）静态内部类，实现Interceptor.Builder 4）打包，上传至flume/lib目录下 5）在配置文件中关联：全类名 + $builder 拦截器可以不用吗？ 可以不用，在hive的dwd层或sparkStream中处理即可，也可以用，但会影响性能，不推荐用在实时性高的场景
京公网安备 11010802030320号