运行:
Jar_path=/home/ppstat/hadoop/contrib/streaming/hadoop-streaming-0.20.203.0.jar
out_put_path=/userstat/cc/check
cd /home/ppstat/hadoop
bin/hadoop fs -test -e $out_put_path
if [ $? -eq 0 ];then
bin/hadoop fs -rmr $out_put_path
fi
bin/hadoop jar $Jar_path -Dmapred.reduce.tasks=40 -file /home/ppstat/cc/mr/CheckRepeatedRegMapper.py -mapper CheckRepeatedRegMapper.py -file /home/ppstat/cc/mr/CheckRepeatedRegReducer.py -reducer CheckRepeatedRegReducer.py -input /user/ppstat/userlog/logon/2012/09/* -output $out_put_path
全是粗心惹的祸,万一以后又不小心随手写错了,来这里看看,帮自己做个记录。
1、syntax error:unexpected end of file
文件是否从windows拷到linux?if fi是否结对出现?
2、PipeMapRed.waitOutputThreads(): subprocess failed with code 1
很有可能是程序出错,特别检查下是否有下标越界的情况。
python中 if后面 没有冒号(:)也会出现这样的情况
3、PipeMapRed.waitOutputThreads(): subprocess failed with code 2
mapper 和 reducer是否都只写了脚本名。此外尝试在程序最上面加上 #!/usr/bin/env python
4、出现打开jar错误之类的
请确认变量名是否有缺失 譬如从windows拷到linux 第一行的aaa=bbb很可能就缺失成a=bbb,那下面的$aaa自然也访问不到了
分享到:
相关推荐
deepstream-test1-app_rtsp-master基于Deepstream实现RTSP视频流的读取,c++源代码
基于Stream流实现SQL Server图像字段的存取.pdf
基于deepstream-python yolov8的车辆识别检测模型.完整代码详细教程
# dnf clean all # dnf install zabbix-server-mysql zabbix-web-mysql zabbix-apache-conf zabbix-sql-scripts zabbix-selinux-policy zabbix-agent # mysql -uroot -p password mysql> create database zabbix ...
System.Drawing.Image.FromStream 出现参数无效的解决方法
h5stream安装程序与API 中文手册,使用它可以实现Chrome浏览器播放rtmp,rtsp视频
netty案例,netty4.1中级拓展篇十一《Netty基于ChunkedStream数据流切块传输》源码 ...
STREAM 是事实上的行业标准基准用于测量持续的内存带宽。
DeepStream 基于 Python 的行人统计模块代码解析,三十分钟搭建
deepstream6.0 python环境安装(csdn)————程序
yolo yolo_基于deepstream开发的yolo实现_支持deepstream6+deepstream5_优质项目源码+教程
TS STREAM4 TS STREAM4 TS STREAM4 TS STREAM4
资源微服务SpringBoot整合Redis基于Redis的Stream消息队列实现异步秒杀下单知识分享
基于DeepStream6.0和yolov5-6.0的目标检测 1、关于Yolov5n.engine模型的生成,参考 https://github.com/wang-xinyu/tensorrtx 2、关于调用deepstream部分,参考 ...
开源项目Stream-2-Stream_1.0.zip
Citrix应用程序发布-流发布Stream
Elecard.Streameye.Tools v4.0,一个强大的视频序列或码流分析软件,YUV分析,264文件分析软件,H.264视频编解码学习必备的东西,Elecard StreamEye Suite是一套用于专业视频压缩领域的功能强大的工具 ,能够帮助...
双击打开exe,重新启动stream程序即可,如果还是不行,那么请先运行加速器,然后打开stream
h5stream-master h5stream-master h5stream-master h5stream-master