大数据面试题：经典面试题答疑（十一）

　　1. 如果下级存储不支持事务，Flink 怎么保证 exactly-once？

　　答案：端到端的exactly-once对sink要求比较高，具体实现主要有幂等写入和事务性写入两种方式。

　　幂等写入的场景依赖于业务逻辑，更常见的是用事务性写入。而事务性写入又有预写日志(WAL)和两阶段提交(2PC)两种方式。

　　如果外部系统不支持事务，那么可以用预写日志的方式，把结果数据先当成状态保存，然后在收到 checkpoint 完成的通知时，一次性写入 sink 系统。

　　2. Flink的内存管理是如何做的？

　　答案：Flink 并不是将大量对象存在堆上，而是将对象都序列化到一个预分配的内存块上。此外，Flink大量的使用了堆外内存。如果需要处理的数据超出了内存限制，则会将部分数据存储到硬盘上。Flink 为了直接操作二进制数据实现了自己的序列化框架。

　　3. Flink是如何支持批流一体的？

　　答案：Flink的开发者认为批处理是流处理的一种特殊情况。批处理是有限的流处理。Flink 使用一个引擎支持了DataSet API 和 DataStream API。

　　4. Flink是如何处理反压的？

　　答案：Flink 内部是基于 producer-consumer 模型来进行消息传递的，Flink的反压设计也是基于这个模型。Flink 使用了高效有界的分布式阻塞队列，就像 Java 通用的阻塞队列(BlockingQueue)一样。下游消费者消费变慢，上游就会受到阻塞。

　　更多关于大数据培训的问题，欢迎咨询千锋教育在线名师。千锋教育拥有多年IT培训服务经验，采用全程面授高品质、高体验培养模式，拥有国内一体化教学管理及学员服务，助力更多学员实现高薪梦想。