遇到特殊格式怎么破？

处理许多层嵌套的JSON数据时现成的输入格式兴许不够用。这时你能继承FileInputFormat类，并沉写createRecordReader方法。注意跨块记录拼接，避免将半个JSON对象发送给Mapper。你也能利用Hive/Spark进行预处理，将麻烦格式转换为结构化数据。

MapReduce开发优化文档：六巨大关键领域

MapReduce优化基本上：数据输入、 Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。

1. 合理设计桶的巨大细小：插入桶时 桶的数目应与Reducer数目一致，结合Map的输出巨大细小合理设置桶的巨大细小，否则在Reduce阶段会非常磨蹭。

优化输入格式的四个黄金法则

• 合并细小文件要趁早：在数据入库阶段就做优良文件合并，别把压力都甩给MapReduce。
• 压缩格式选对省一半：用Snappy压缩比Gzip更省CPU，特别是处理文本数据时。
• 分片巨大细小别死板：根据集群实际材料配置，通常设置为HDFS块巨大细小的整数倍。
• 自定义格式要谨慎：不到万不得已别自己造轮子，先看看有没有现成的实现。

怎么正确设置MapReduce输入格式？

第一步，了解数据情况。文件平均许多巨大？存储格式是纯文本还是序列文件？有没有压缩？第二步，，特别是maxSize和minSize这两个值，它们直接关系到任务并行度。

常见的输入格式有哪些坑？

新鲜手最常遇到的问题就是文件切分不合理。比方说 用默认的TextInputFormat处理一巨大堆细小文件时个个细小文件都会单独生成一个Map任务。想象一下一边启动1000个任务，光是调度开销就能把集群搞瘫痪。还有在用KeyValueTextInputFormat时记不得指定分隔符， 后来啊数据字段全粘在一起，下游处理直接抓瞎。

输入格式到底有啥作用？

轻巧松输入格式就像超市收银台的扫码枪。你的原始数据兴许分散在几十个文件里有的文件特别巨大，有的特别细小。输入格式的作用就是告诉Hadoop：怎么把这些个零散的数据块扫描进来按啥规则切成片发给不同的Mapper处理。如果这玩意儿环节没整明白，后面的计算再高大效也是白搭。

性能调优的隐藏开关

很许多人不晓得输入格式还管着本地性优化。通过设置InputSplit的location信息，能确保任务优先在存有数据块的节点上施行。对于超巨大规模集群，适当调整参数，能让任务启动时候缩短暂20%以上。还有那东西轻巧松被遗忘的，用来过滤临时文件特别管用。

搞明白输入格式就像掌握了数据处理的开关阀门。别看它处在任务施行的最前端，其实直接关系到着整个作业的成败。下次跑任务前，不妨许多花5分钟检查下输入配置，兴许就会少许浪费5个细小时排查问题。记住优良的开头真实的是成功的一半，特别是在巨大数据处理这件事上。

注意：

---