python shell 命令控制台打印输出

mvplove123

我用subprocess执行shell hadoop 命令
commond = "hadoop fs -text /user/gosear/liwei/output/clusterCenter/clusterCenter* >  /search/taoyongbo/clusterCenter"
sub = subprocess.Popen(commond , cwd=cwd, stdout=subprocess.PIPE,shell=True,bufsize=4096)

我想把控制台打印出hadoop 执行的过程log如下， 保留到文件里，该如何处理
16/06/28 13:58:27 INFO security.UserGroupInformation: Using the configured user name and password, user name is go2search
16/06/28 13:58:28 INFO hdfs.DFSClient: SMALL_BUFFER_SIZE is 512
16/06/28 13:58:30 INFO lzo.GPLNativeCodeLoader: Loaded native gpl library
16/06/28 13:58:30 INFO lzo.LzoCodec: Successfully loaded & initialized native-lzo library [hadoop-lzo rev 7041408c0d57cb3b6f51d004772ccf5073ecc95e]

ning_lianjie

你已经完成了90%，再多写一行就行了。
out = sub.stdout.read()
然后把out的内容写入文件，可以用open方法

mvplove123

这个我试过了，不行的，因为我要把hadoop 启动日志保存下来，不是hadoop 运行结果的日志回复 2# ning_lianjie


   

reyleon

hadoop 启动日志是非标准输出吧???

试试利用 script 命令吧

commond = """script -q -c 'hadoop fs -text /user/gosear/liwei/output/clusterCenter/clusterCenter* >  /search/taoyongbo/clusterCenter' /tmp/hadoop_start.log """

python爱好者

试试写一个 线程写 stdout 的内容

bskay

这个问题我研究过
对于控制台命令,需要模拟控制台的shell,也就是

cmd = 'xxx' #带| >> && 等
wrap_cmd = "/bin/sh -c '%s'"%cmd
包装一下...再执行,才有效果

mvplove123

能基于我这个帮我改下么，我没看懂第一行是啥意思回复 6# bskay