Chinaunix

标题: bash中，集合的数目到底能有多大 [打印本页]

作者: abcbuzhiming 时间: 2014-01-24 16:45
标题: bash中，集合的数目到底能有多大
今天突发奇想，看到这样的命令
for file in `find $searchDir2 -name *.cpp`

file是find命令得到的集合，有两个问题，1，能否方便的取到这个集合的数目（最大下标），2。bash里这种集合最大允许有多少个元素，或者说这个数字和什么有关？

作者: chmod755 时间: 2014-01-24 17:03
1.
find $searchDir2 -name *.cpp | wc -l

2.
我们公司有个目录下有48w个文件，目前还在增长

我有个脚本类似这样
for i in *
do

xxx

done

脚本依旧可以跑，所以，我觉得应该是没有上限，或者和内存大小有关。。。。

作者: q1208c 时间: 2014-01-24 17:23
find 其实不是一次性提交整个结果集的.
是分批的. 单次提交的结果集是有上限的. 我有次测试的时候发现的.

作者: Shell_HAT 时间: 2014-01-24 17:32

getconf ARG_MAX

复制代码

看看结果是多少

作者: abcbuzhiming 时间: 2014-01-24 23:36

q1208c 发表于 2014-01-24 17:23
find 其实不是一次性提交整个结果集的.
是分批的. 单次提交的结果集是有上限的. 我有次测试的时候发现的. ...

那么新问个问题，bash下的字符串最长能有多长，我想把file文件的路径作为字符串拼起来

作者: abcbuzhiming 时间: 2014-01-24 23:36

chmod755 发表于 2014-01-24 17:03
1.
find $searchDir2 -name *.cpp | wc -l

你有没有试过把i拼成字符串，会不会溢出？

作者: chmod755 时间: 2014-01-26 08:48
回复 6# abcbuzhiming

没测试过，脚本要上生产环境，一般都用比较保险的做法，不会冒险

作者: q1208c 时间: 2014-01-26 09:17
回复 5# abcbuzhiming

单个文件的路径总长度是有限制的. 如果你是把多个文件接起来, 我不知道会出现什么情况.

其实, 主要是我没有遇到过你说的场景. 不如, 你说说你到底要做什么? 或许有更简单的或更合适的方法.

作者: abcbuzhiming 时间: 2014-02-18 20:32
本帖最后由 abcbuzhiming 于 2014-02-18 20:35 编辑

q1208c 发表于 2014-01-26 09:17
回复 5# abcbuzhiming

单个文件的路径总长度是有限制的. 如果你是把多个文件接起来, 我不知道会出现什么 ...

我公司要在mac下开发cpp程序，makefile文件要自己写，有个地方要吧所有参与编译的源码文件名全列出来，格式类似下面这样的

scr_file=xxxx.cpp /
         xxxx.cpp /
         xxxx.cpp /
         xxxx.cpp /
         xxxx.cpp

于是我就想到了用mac下的bash shell写脚本来生成
这样我需要遍历目标路径下的所有cpp文件，还必须在每个cpp文件的后面加上/这个换行符号，而且最后一个文件是不加的。因为加/这个动作是在一个for循环内完成，每完成一个就写入makefile文件，导致最后一个xxxx.cpp后面跟着一个多余的/，我想了很多办法都没法直接去掉，后来想到的办法就是拼接cpp文件的路径，然后去掉最后一个/,最后再写入到makefile里去

作者: q1208c 时间: 2014-02-19 06:57
回复 9# abcbuzhiming

如果我没记错的话, Makefile 有通配符的, 应该不需要一个个全写上的.

OBJFILES = $(patsubst %.pl, $(DIST_DIR)/%.do, $(wildcard web-*.pl))

复制代码

这个是我以前用过的, 仅供参考.

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)