免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12
最近访问板块 发新帖
楼主: Osirix
打印 上一主题 下一主题

How to process billions of small files with limited memory? [复制链接]

论坛徽章:
0
11 [报告]
发表于 2010-05-28 15:20 |只看该作者
Billions of files!!{:2_170:}

试过以下命令,均报 "Out of Memory"

  1. ls -1 >>../index.txt
  2. find ./ -type f >>../index.txt
复制代码

论坛徽章:
0
12 [报告]
发表于 2010-05-28 16:13 |只看该作者
太简单了批量处理

根据日期,整一大堆find放到一个文件里
然后执行

哈哈

论坛徽章:
3
15-16赛季CBA联赛之辽宁
日期:2017-12-28 12:15:1015-16赛季CBA联赛之福建
日期:2017-12-28 12:26:5115-16赛季CBA联赛之新疆
日期:2018-03-07 15:09:17
13 [报告]
发表于 2010-05-28 17:38 |只看该作者
本帖最后由 XQKA 于 2010-05-28 17:44 编辑
太简单了批量处理

根据日期,整一大堆find放到一个文件里
然后执行

哈哈
welcome008 发表于 2010-05-28 16:13



文件太多,内存太少,所以有可能运行任何貌似简单的命令都会报错。
看他在11楼的测试。

论坛徽章:
0
14 [报告]
发表于 2010-05-28 17:42 |只看该作者
如果
find . -type f -mtime +1000都不能跑的话,那还是看其他高人的办法吧
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP