MapReduce FAILED Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess

MapReduce任务报错 FAILED Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
在跑MapReduce任务时，遇到过几次这样的错误，现整理已经踩过的坑

1. 大部分情况报这个错的原因是：使用的udf文件脚本本身有问题，避免踩坑的方法也很简单，线下单独跑一边脚本即可
2. udf脚本没问题，问题出在脚本中需要调用配置文件，但是在MapReduce中未添加该文件名。
   比如下面例子，my_script.py需要调用‘conf.data’，但是没有使用"-file conf.data"将其添加，也会报错

			hadoop jar ${HADOOP_HOME}/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar \-D mapred.reduce.tasks=0 \-input  ${input_path} \-output ${output_path} \-mapper 'python my_script.py' \-file my_script.py

其他坑，后续补充~