xargs的一个问题

netcafe

遇到这样一个实际问题，一个目录下有10000个文件，如果我从中查找包含 pattern的字符串，直接使用 grep "pattern" * 会报参数太长不能执行；
而使用 ls | xargs grep "pattern" 则没有问题，这个问题若干年前shell版是有讨论过的，我没有找到，请大家给我解释一下 xargs 为什么使得 grep 可以接受那么多的参数。

walkerxk

因为有*，bash会把*解析成a.txt b.txt c.txt，然后就会参数太长，如果你grep -R "pattern" .就不会了。

eeeef

管道把ls出来的数据当作了一个巨长的字符串，自然会报参数太长错误


try：
ls | xargs -n1 ls
ls | xargs -n2 ls
ls | xargs -n3 ls
ls | xargs -n4 ls

然后你就可以看出xargs是具备控制一次性处理参数个数的能力

爱知

xargs命令每次只获取一部分文件而不是全部,它可以先处理最先获取的一部分文件，然后是下一批，并如此继续下去。

7717060

你 要找的是这个吗

1. xargs 命令
   
2. 用途
   
3. 构造参数列表并运行命令。
   
4. 语法
   
5. xargs [  -p ] [  -t ] [  -e [ EOFString ] ] [  -E EOFString ] [  -i [
   
6. ReplaceString ] ] [  -I ReplaceString ] [  -l [ Number ] ] [  -L Number ] [  -n
   
7. Number  [  -x ] ] [  -s Size ] [ Command [ Argument ... ] ]
   
8.   注： 不要在小写的标志和参数之间放置空格。
   
9. 描述
   
10. 生成的命令行长度是 Command 和每个作为字符串对待的 Argument，包括用于每个字符串的空字节结束符号，大小（以字节计算）的总和。xargs
    
11. 命令限制命令行的长度。当构造的命令行运行时，组合的 Argument 和环境列表不能超过 ARG_MAX 字节。在这一约束里，如果不指定 -n 或 -s
    
12. 标志，缺省命令行长度至少是 LINE_MAX 指定的值。
    
13. 标志
    
14.       -e[EOFString]废弃的标志。请使用 -E 标志。
    
15.       将 EOFString 参数用作逻辑 EOF 字符串。如果不指定 -e 或 -E 标志，则采用下划线（_）为逻辑 EOF 字符串。如果不指定
    
16.       EOFString 参数，逻辑 EOF 字符串能力被禁用且下划线被照字面含义使用。xargs 命令读取标准输入直到达到 EOF 或指定的字符串。
    
17.       -E EOFString指定逻辑 EOF 字符串以替换缺省的下划线（_）。 xargs 命令读取标准输入直到达到 EOF 或指定的字符串。
    
18.       -i[ReplaceString]废弃的标志。请使用 -I（大写 i）标志。
    
19.       如果没有指定 ReplaceString 参数，使用字符串 "{}"。
    
20.         注：-I（大写 i）和 -i 标志是互相排斥的；最后指定的标志生效。
    
21.       -I ReplaceString（大写 i）。插入标准输入的每一行用 Command 参数的自变量，把它插入出现的每个 ReplaceString
    
22.       的 Argument 中。ReplaceStrings 不能在超过 5 个自变量中使用。在每个标准输入行开始的空字符被忽略。每个 Argument
    
23.       能包含一个或多个 ReplaceStrings，但不能大于 255 字节。-I 标志同样打开 -x 标志。
    
24.         注：-I（大写 i）和 -i 标志是互相排斥的；最后指定的标志生效。
    
25.       -l[Number]（小写的 L）。废弃的标志。请使用 -L 标志。
    
26.       如果没有指定 Number 参数，使用缺省值 1。-l 标志同样打开 -x 标志。
    
27.         注： -L、-I（小写的 L）和 -n 标志是互相排斥的；最后指定的标志生效。
    
28.       -L Number用从标准输入读取的非空参数行的指定的数量运行 Command 命令。如果保留少于指定的 Number，Command
    
29.       参数的最后调用可以有少数几个参数行。一行以第一个换行字符结束，除非行的最后一个字符是一个空格或制表符。后续的空格表示延续至下一个非空行。
    
30.         注： -L、-I（小写的 L）和 -n 标志是互相排斥的；最后指定的标志生效。
    
31.       -n Number运行 Command 参数，且使用尽可能多的标准输入自变量，直到 Number 参数指定的最大值。xargs
    
32.       命令使用很少的自变量，如果：
    
33.         如果被积累的命令行长度超过了由 -s Size 标志指定的字节。
    
34.         最后的迭代有少于 Number（但是非零）的自变量保留。
    
35.           注： -L、-I（小写的 L）和 -n 标志是互相排斥的；最后指定的标志生效。
    
36.       -p询问是否运行 Command 参数。它显示构造的命令行，后跟一个 ?...（问号和省略号）提示。输入肯定的、特定于语言环境的响应以运行
    
37.       Command 参数。任何其它响应都会引起 xargs 命令跳过那个特定的参数调用。每个调用都将询问您。 -p 标志同样打开 -t 标志。
    
38.       -s Size设置构造的 Command 行的最大总大小。Size 参数必须是正整数。如果满足以下条件，则使用很少的自变量：
    
39.         自变量的总数超出 -n 标志指定的自变量数。
    
40.         总行数超出 -L 或 -I（小写 L）标志指定的行数。
    
41.         累加至在 Size 参数指定的字节数之前达到 EOF。
    
42. 
    
43.       -t启用跟踪方式并在运行之前将构造的 Command 行回送到标准错误。
    
44.       -x如果有任何 Command 行大于 -s Size 标志指定的字节数，停止运行 xargs 命令。如果指定 -I（大写 i）或 -l（小写
    
45.       L）标志，则打开 -x 标志。如果没有指定 -i、-I（大写 i）、-l（小写 L）、-L 或 -n 标志，则 Command 行的总长度必须在
    
46.       -s Size 标志指定的限制内。
    
47. 
    
48. 出口状态
    
49. 该命令返回下列出口值：
    
50.       0所有 Command 参数的调用都返回出口状态 0。
    
51.       1-125不能组装满足指定要求的命令行，一个或多个 Command 参数的调用返回一个非零出口状态，或发生一些其它的错误。
    
52.       126Command 已找到但不能被调用。
    
53.       127找不到 Command。
    
54. 
    
55. 如果不能组装满足指定要求的命令行，则不能调用这个命令，命令的调用被一个信号终止，或一个命令调用以出口状态 255 退出。xargs
    
56. 命令将写一条诊断消息并退出而不处理任何保留的输入。
    
57. 示例
    
58.   要对名称在一个文件中列出的文件使用命令，输入：
    
59. xargs lint -a <cfiles如果 cfiles 文件包含下面的文本：
    
60. main.c readit.c
    
61. gettoken.c
    
62. putobj.cxargs 命令就构造并运行下面的命令：
    
63. lint -a main.c readit.c gettoken.c putobj.c如果 cfiles 文件包含比列出在单一外壳程序命令行上的文件名更多的文件名（最多 LINE_MAX），xargs 命令会用列出的文件名运行 lint
    
64.   命令。然后它使用余下的文件名构造并运行另一个 lint 命令。根据在 cfiles 文件中列出的文件名，命令看起来可能类似于如下所示的内容：
    
65. lint -a main.c readit.c gettoken.c . . .
    
66. lint -a getisx.c getprp.c getpid.c . . .
    
67. lint -a fltadd.c fltmult.c fltdiv.c . . .这一命令序列同用所有的文件名运行 lint 命令一次不完全一样。lint 命令检查文件之间的交叉引用。然而，在这个示例中，它不能在 main.c 和
    
68.   fltadd.c 文件之间，或任意两个在分开的命令行上列出的两个文件之间进行检查。
    
69.   由于这个原因，仅当所有的文件名都在一行上列出时，才可能运行命令。要将这个指定到 xargs命令，通过输入以下命令使用 -x 标志：
    
70. 
    
71.   xargs  -x lint -a <cfiles
    
72.   如果在文件 cfiles 中的所有文件名没有在一个命令行上列出，xargs 命令显示一条错误消息。
    
73.   要构造包含一定数量文件名的命令，输入：
    
74.   xargs  -t  -n 2 diff <<EOF
    
75.   starting chap1 concepts chap2 writing
    
76.   chap3
    
77.   EOF
    
78.   这一命令序列构造并运行每个包含两个文件名的 diff 命令（-n 2）：
    
79. diff starting chap1
    
80. diff concepts chap2
    
81. diff writing chap3-t 标志使 xargs 命令在运行每个命令之前显示该命令，所以能看到正在发生的事件。<<EOF 和 EOF 模式匹配字符定义一个 here
    
82.   document，它把在结尾行之前输入的文本用作对 xargs 命令的标准输入。
    
83.   要把文件名插入命令行的中间，输入：
    
84.   ls | xargs  -t  -I {} mv {} {}.old
    
85.   这一命令序列通过在每个名字结尾添加 .old 来重命名在当前目录里的所有文件。-I 标志告诉 xargs 命令插入有｛｝（花括号）出现的 ls
    
86.   目录列表的每一行。如果当前目录包含文件 chap1、chap2 和 chap3，这会构造下面的命令：
    
87. mv chap1 chap1.old
    
88. mv chap2 chap2.old
    
89. mv chap3 chap3.old要对独立选择的文件运行命令，输入：
    
90.   ls | xargs  -p  -n 1 ar r lib.a
    
91.   这一命令序列允许选择文件以添加到 lib.a 库。-p 标志告诉 xargs 命令去显示每一个它构造的 ar命令并询问是否想运行它。输入 y
    
92.   来运行命令。如果不想运行这个命令按任意其它键。
    
93.   会显示一些类似于下面的内容：
    
94. ar r lib.a chap1 ?...
    
95. ar r lib.a chap2 ?...
    
96. ar r lib.a chap3 ?... 要构造包含特定数量自变量的命令并将那些自变量插入一个命令行的中间，输入：
    
97. ls | xargs -n6 | xargs -I{} echo {} - some files in the directory如果当前目录包含从 chap1 到 chap10 的文件，构造的输出将会是下列内容：
    
98. chap1 chap2 chap3 chap4 chap5 chap6 - some files in the directory
    
99. chap7 chap8 chap9 chap10 - some file in the directory文件
    
100.       /usr/bin/xargs包含 xargs 命令。

复制代码

netcafe

grep -R 是递归的意思，不是我要的。

netcafe

原帖由 eeeef 于 2008-8-1 20:55 发表
管道把ls出来的数据当作了一个巨长的字符串，自然会报参数太长错误


try：
ls | xargs -n1 ls
ls | xargs -n2 ls
ls | xargs -n3 ls
ls | xargs -n4 ls

然后你就可以看出xargs是具备控制一次性处理参 ...

>>管道把ls出来的数据当作了一个巨长的字符串，自然会报参数太长错误
??
我用 ls | xargs grep "pattern" 没有问题，不是管道的问题。

netcafe

原帖由 爱知 于 2008-8-1 21:57 发表
xargs命令每次只获取一部分文件而不是全部,它可以先处理最先获取的一部分文件，然后是下一批，并如此继续下去。

照你的意思， ls | xargs grep "pattern" 会把10000个文件若干批，假设为5，每次为2000个，功执行了5次grep 操作？
把grep 命令换成你自己的命令，或者一个脚本，打印一些信息，发现它会执行1次。

netcafe

谢谢哥们，不过我还是没从中找出我想要的信息。
另外，奇怪的是我晚上在自己的ubuntu 8.04上执行 grep "pattern" * (1万个文件）没有提示参数过长。 没注意我之前有问题的那个环境具体是那个版本，应该是redhat的早一点的一个版本。

我在ubuntu下是 seq 10000 | xargs touch 创建的这些空文件，因该和文件无关吧，可能是我当前的grep 已经能支持 超长参数了？

我ubuntu下grep版本是 2.5.3，等下周我再检查一下之前有问题的环境是什么版本。

eeeef

没说是管道造成的问题。是因为你目录下的文件太多，没加xargs的时候，grep就想一口气吃一个大胖子，结果憋死了。xargs的作用就在于，它会按照自己的能力来吃，比如一次性只吃100个，再吃100个...........
这个的意思：
ls | xargs -n1 ls      一次只能吃一个包子
ls | xargs -n2 ls      一次只能吃两个包子
ls | xargs -n3 ls      一次只能吃仨个包子