参数调优
如何开启map输出阶段压缩
背景：map完产生了很多中间文件，被保存在磁盘上，然后等待reduce通过网络来拉取，如果开启map输出阶段压缩，可以减少Map和Reduce间的数据传输量。
1）开启hive中间传输数据压缩功能
set hive.exec.compress.intermediate=true;
2）开启mapreduce中map输出压缩功能
set mapreduce.map.output.compress=true;
3）开启mapreduce中map输出数据的压缩方式
