管道/重定向问题：怎么让一个输入给多个命令使用？

ouiki

有一个很大的gzip文件（a.gz）,有3个针对这个文件的处理脚本（a.pl,b.pl,c.pl）,处于效率上的考虑，能不能只读一次文件，就做这3个处理？
类似下面这样：
gzip -dc a.gz | a.pl; b.pl; c.pl

另，能不能类似下面这样重定向输出？
gzip -dc a.gz | a.pl > a.out; b.pl > b.out ; c.pl > c.out

关阴月飞

你可以把三个处理脚本合成一个

ouiki

这是总公司做的设计，没法改。
这个问题困扰我很久了。

关阴月飞

回复 3# ouiki


    那就先把gzip的输出用文件保存，其它命令再对文件进行处理

jason680

X-Y problem?
http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=4118053

ouiki

关阴月飞 发表于 2014-06-18 14:35
回复 3# ouiki

压缩文件挺大的，硬盘又不是特别合适，我想尽量避免这么做吧。

jason680 发表于 2014-06-18 14:35
X-Y problem?
http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=4118053

谢谢你的提醒，我把我的需求仔细讲一下。

上面人做的设计，没法改。
对压缩文件 a.gz 做三个处理，分别是：
（比方说a.gz的格式是：
a  2
b  3
a  5
c  1）
1. a.pl： 如果第一列是a，累计第二列的和
2. b.pl:  如果第一列是b，累计第二列的和
3. c.pl:  如果第一列是c，累计第二列的和
(实际情况要复杂一些，大体上就是这么回事)

现在的做法是：
gzip -dc a.gz | a.pl > a.out
gzip -dc a.gz | b.pl > b.out
gzip -dc a.gz | c.pl > c.out
很明显，一遍循环可以做完的事，偏分三遍来做，由于a.gz本身很大，所以效率惨不忍睹。
这才有了主贴里的问题。

jason680

回复 6# ouiki

摩滴一次一人

你要三人...
1. 三人三台摩滴（a.pl, b.pl, c.pl）
2. 打滴一次（x.pl）
   

q1208c

兄弟, 我有个建议, 你可以试试.

因为你的 a.pl b.pl c.pl 是处理文件, 输出到了标准输出. 那是不是可以这样, 稍稍修改一下, 就是把 正常的输出, 转到 STDERR, 然后, 把STDIN直接转发到 STDOUT.

这样, 你就可以 象你说的一样, gzip -dc a.gz | a.pl 2> a.out | b.pl 2>b.out | c.pl 2> c.out > /dev/null


这样的修改不需要修改原来的逻辑. 只修改了 输出. 应该不要紧吧.

jason680

回复 8# q1208c

>>因为你的 a.pl b.pl c.pl 是处理文件, 输出到了标准输出. 那是不是可以这样, 稍稍修改一下, 就是把 正常的输出, 转到 STDERR, 然后, 把STDIN直接转发到 STDOUT.
   
you need modify a.pl, b.pl, and c.pl ....

q1208c

回复 9# jason680

如果这些文件实在不能改, 能不能加个 壳 呢?

aa.pl bb.pl cc.pl 这样