repartition只是coalesce接口中shuffle为true的实现
不经过 shuffle，也就是coaleasce shuffle为false，是无法增加RDD的分区数的，比如你源RDD 100个分区，想要变成200个分区，只能使用repartition，也就是coaleasce shuffle为true。
如果上游为Partition个数为N，下游想要变成M个Partition
N > M , 比如N=100 M=60, 可以使用coaleasce shuffle为false。但是如果N远大于M，比如N=100, M=1, 分区有一个激烈的变化时，此时如果用coalesce就只有一个task处理数据，资源利用不够，Executor空跑，这时repartition是一个比较好的选择，虽然有shuffle但是和只有1个Task处理任务比起来效率还是较高。 N < M , coaleasce shuffle为false 不能增加分区，只能用repartition
更多关于“大数据培训”的问题，欢迎咨询千锋教育在线名师。千锋教育多年办学，课程大纲紧跟企业需求，更科学更严谨，每年培养泛IT人才近2万人。不论你是零基础还是想提升，都可以找到适合的班型，千锋教育随时欢迎你来试听。
京公网安备 11010802030320号