Hive数据倾斜

　　MapReduce任务中，Map输出数据按Key Hash分配到Reduce中，由于Key分布不均匀、业务数据本身的特性、建表时考虑不周、某些SQL语句本身就有数据倾斜等原因造成的reduce上的数据量差异过大，如何将数据均匀的分配到各个Reduce中，就是解决数据倾斜的根本所在，举三个例子

　　Map 端聚合

　　-- 设置如下参数即可开启map端聚合，就是在Map端将相同的Key先做一次聚合计算，减少往reduce发送的数据

　　set hive.map.aggr=true

　　GroupBy 产生的数据倾斜

　　-- 设置如下参数，在GroupBy时，生成两个Job,第一个Job给GroupBy的key加随机数，随机分布到Reduce中，每个Reduce做

　　部分聚合操作，先缩小数据量。第二个Job再进行真正的数据处理，完成最终的聚合

　　set hive.groupby.skewindata = true

　　count(distinct)

　　-- count(distinct) 数据倾斜，可以使用 sum + groupby 来完成等价转换，

　　-- 原始SQL

　　select count(distinct uuid) from t1;

　　-- 等价转换SQL， 其实就是采用分治思路，我们按照uuid的前n位进行GROUP BY，并做COUNT(DISTINCT )操作，

　　然后再对所有的COUNT(DISTINCT)结果进行求和

　　select sum(agg_part) result from

　　(

　　select substr(uuid,1,3) uuid_part,

　　count(distinct substr(uuid,4)) as agg_part

　　from t1

　　group by substr(uuid,1,3)

　　)t