[TOC] 默认情况下,Map阶段同一key数据分发给一个reduce,当一个key数据过大时就倾斜了. 并不是所有的聚合操作都需要在reduce端完成,很多聚合操作都可以先在map端进行部分聚合,最后在reduce端得出最终结果 1. 开启map端聚合参数设置 * 是否在map端进行聚合,默认为true ~~~ hive.map.aggr=true ~~~ * 在map端进行聚合操作的条目数目 ~~~ hive.groupby.mapaggr.checkinterval=100000 ~~~ * 有数据倾斜的时候进行负载均衡(默认是false) ~~~ hive.groupby.skewindata=true ~~~ **当选项设定为true,生成的查询计划会有两个MR Job.** 第一个MR Job中,Map的输出结果会随机分布到Reduce中,每个Reduce做部分聚合操作,并输出结果,这样处理的结果是**相同的Group By Key有可能被分发到不同的Reduce中**,从而达到负载均衡的目的. 第二个MR Job再根据预处理的数据结果按照Group By Key分布到Reduce中(这个过程可以保证相同的Group By Key被分布到同一个Reduce中),最后完成最终的聚合操作