MapReduce FAILED Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess

MapReduce任务报错FAILED Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1在跑MapReduce任务时，遇到过几次这样的错误，现整理已经踩过的坑大部分情况报这个错的原因是：使用的udf文件脚本本身有问题，避免踩坑的方法也很简单，线下单独跑一边

leap_ruo

755人浏览 · 2020-08-06 13:00:16

leap_ruo · 2020-08-06 13:00:16 发布

MapReduce任务报错 FAILED Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
在跑MapReduce任务时，遇到过几次这样的错误，现整理已经踩过的坑

大部分情况报这个错的原因是：使用的udf文件脚本本身有问题，避免踩坑的方法也很简单，线下单独跑一边脚本即可
udf脚本没问题，问题出在脚本中需要调用配置文件，但是在MapReduce中未添加该文件名。
比如下面例子，my_script.py需要调用‘conf.data’，但是没有使用"-file conf.data"将其添加，也会报错

			hadoop jar ${HADOOP_HOME}/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar \
            -D mapred.reduce.tasks=0 \
            -input  ${input_path} \
            -output ${output_path} \
            -mapper 'python my_script.py' \
            -file my_script.py

其他坑，后续补充~