## 用 mapreduce 怎么处理数据倾斜问题？ 首先要定位到哪些数据 导致数据倾斜。确定完之后常见的处理方法有： - 1. 在加个combiner函数， 加上combiner相当于提前进行reduce,就会把一个mapper中的相同key进行了聚合，减少shuffle过程中数据量，以及reduce端的计算量。这种方法可以有效的缓解数据倾斜问题，但是如果导致数据倾斜的key 大量分布在不同的mapper的时候，这种方法就不是很有效了。 - 2. 局部聚合加全局聚合。 第二种方法进行两次mapreduce，第一次在map阶段对那些导致了数据倾斜的key 加上1-n的随机前缀， 这样之前相同的key 也会被分到不同的reduce中，进行聚合，这样的话就有那些倾斜的key进行局部聚合，数量就会大大降低。 然后再进行第二次mapreduce这样的话就去掉随机前缀，进行全局聚合。这样就可以有效地降低mapreduce了。 不过进行两次mapreduce，性能稍微比一次的差些。