免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 5921 | 回复: 6

python shell 命令控制台打印输出 [复制链接]

论坛徽章:
0
发表于 2016-06-28 14:08 |显示全部楼层
我用subprocess执行shell hadoop 命令
commond = "hadoop fs -text /user/gosear/liwei/output/clusterCenter/clusterCenter* >  /search/taoyongbo/clusterCenter"
sub = subprocess.Popen(commond , cwd=cwd, stdout=subprocess.PIPE,shell=True,bufsize=4096)

我想把控制台打印出hadoop 执行的过程log如下, 保留到文件里,该如何处理
16/06/28 13:58:27 INFO security.UserGroupInformation: Using the configured user name and password, user name is go2search
16/06/28 13:58:28 INFO hdfs.DFSClient: SMALL_BUFFER_SIZE is 512
16/06/28 13:58:30 INFO lzo.GPLNativeCodeLoader: Loaded native gpl library
16/06/28 13:58:30 INFO lzo.LzoCodec: Successfully loaded & initialized native-lzo library [hadoop-lzo rev 7041408c0d57cb3b6f51d004772ccf5073ecc95e]

论坛徽章:
2
2015年迎新春徽章
日期:2015-03-04 09:55:28IT运维版块每日发帖之星
日期:2016-07-29 06:20:00
发表于 2016-06-28 15:29 |显示全部楼层
你已经完成了90%,再多写一行就行了。
out = sub.stdout.read()
然后把out的内容写入文件,可以用open方法

论坛徽章:
0
发表于 2016-06-28 17:19 |显示全部楼层
这个我试过了,不行的,因为我要把hadoop 启动日志保存下来,不是hadoop 运行结果的日志回复 2# ning_lianjie


   

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
发表于 2016-06-28 17:57 |显示全部楼层
hadoop 启动日志是非标准输出吧???

试试利用 script 命令吧

commond = """script -q -c 'hadoop fs -text /user/gosear/liwei/output/clusterCenter/clusterCenter* >  /search/taoyongbo/clusterCenter' /tmp/hadoop_start.log """

论坛徽章:
0
发表于 2016-06-28 18:11 |显示全部楼层
试试写一个 线程写 stdout 的内容

论坛徽章:
11
2015年迎新春徽章
日期:2015-03-04 09:55:282017金鸡报晓
日期:2017-02-08 10:39:4215-16赛季CBA联赛之辽宁
日期:2016-12-15 10:24:1715-16赛季CBA联赛之佛山
日期:2016-11-30 09:04:2015-16赛季CBA联赛之江苏
日期:2016-04-29 15:56:1215-16赛季CBA联赛之同曦
日期:2016-04-12 13:21:182016猴年福章徽章
日期:2016-02-18 15:30:3415-16赛季CBA联赛之山东
日期:2016-02-16 11:37:52每日论坛发贴之星
日期:2016-02-07 06:20:00程序设计版块每日发帖之星
日期:2016-02-07 06:20:0015-16赛季CBA联赛之新疆
日期:2018-01-09 16:25:37
发表于 2016-07-05 13:59 |显示全部楼层
这个问题我研究过
对于控制台命令,需要模拟控制台的shell,也就是

cmd = 'xxx' #带| >> && 等
wrap_cmd = "/bin/sh -c '%s'"%cmd
包装一下...再执行,才有效果

论坛徽章:
0
发表于 2016-07-08 12:40 |显示全部楼层
能基于我这个帮我改下么,我没看懂第一行是啥意思回复 6# bskay


   
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP